天宝五载（746年），王维在李林甫的红人、年轻才子苑咸的帮助下，升为库部郎中，正式掌握了实权。天宝九载（750年），王维母崔氏病故。王维平时以孝闻名，在居丧期间，他“柴毁骨立，殆不胜丧”。服丧期满，天宝十一载（752年），王维任吏部郎中，相当于中组部副部长，正五品上，官阶又升了两级。这一年，最令他振奋的事，是李林甫死了。但高兴不多时，杨国忠上台，国事已不可为。王维继续抱着“无可无不可”的宗旨，尽量避开朝中大事，乐得顺水推舟。天宝九载（750年），王维再升吏部给事中，相当于中组部部长，不过工资更高而已，王维知道自己只是一个摆设。
李林甫掌权19年，杨国忠又任宰相，这期间是朝廷最黑暗的时期，王维不但是官场的不倒翁，反而节节登高，除了他名气大，还与他接受的佛教教义，他致力经营自己的别业有关，赵殿成《王右丞集笺注序》说:“（王维）天机清妙，与物无竞，举人事之升沉得失，不以胶滞其中。”他不构成政敌，没人为难他。其实，他所谓“无可无不可”，自己何尝了却是非心？所谓“得失随缘”，他又怎能“得失随缘”？他有进取心，有困苦，有无奈，这一年，他在《送綦毋潜校书弃官还江东》中说：“明时久不达，弃置与君同。天命无怨色，人生有素风。……余亦从此去，归耕为老农。”诗中表明他虽处高位，但形同虚设。即使抱守安贫乐道的信条，他都想和綦毋潜一起去隐居务农，可见王维当时对朝廷确实绝望了。就在他想退隐的时候，这年十月，杜甫来到朝廷，杜甫积极入仕的热情无形中给了他留下来的信念。但朝政没有任何好转的迹象，正当王维再次想退隐的时候，一场席卷整个唐朝、对中国历史有重大影响的大风暴来临了。