只有让大臣们认识到他们所依靠攀附的人物靠不住，朋党才能不攻自散。
乾隆五年开始，皇帝就不断地打击性格傲慢、行事张扬的鄂尔泰。同时，皇帝一刻也没有放松对张廷玉的观察和挑剔。幸亏张廷玉平时对于朋党嫌疑懔如临渊。作为官场中人，人际往来谁也无法避免，特别是作为相国，他的家是京城人际交往的中心。“薄暮还寓，则宾客门生，车驾杂沓，守候于外舍者如鲫矣。”（《清稗类钞》）但张廷玉绝不轻易帮人说话，也绝不轻易介入人事纠纷，而是听从花开花落。他的名言是：“予在仕途久，每见升迁罢斥，众必惊相告曰：此中必有缘故。余笑曰：天下事，安得有许多缘故。”（《郎潜纪闻》）他从政原则是事不关己，则谨守本分绝不发言。有人因此指责他说：“如张文和（张廷玉）之察弊，亦中人之才所易及。乃画喏坐啸，目击狐鼠之横行，而噤不一语。”（《郎潜纪闻》）连乾隆皇帝都说他过于谦抑，说“张廷玉则善自谨而近于懦者”。在与鄂尔泰的斗争中，他始终处于下风，也始终不争不怒，打太极拳。正因为如此谨慎，所以在鄂尔泰连连受到指责和处理时，他却安然无恙。
然而，鄂尔泰死后，皇帝的注意力必然完全集中到他身上。树欲静而风不止，虽然他不想成为朋党领袖，但是身处如此高位，想不被攀附是不可能的。主动要投靠他的人如蝇之附，驱而不走。同时，身处官僚政治的利益场中，他再摆出一副正大至公的神态，也无法完全掩饰自己手中巨大权力的偏向。几十年间，他私下办的事，偷偷送出的好处也车载斗量，虽然手腕高明，毕竟不是完全没有形迹。所以，虽然皇帝的大棒一直没有落下，张廷玉心中却无时不处于紧张之中。他知道，统治者是从来不讲什么恩义的。虽然自己给乾隆的父祖卖了几十年的命，但如果政治需要，皇帝打击起自己来并不会手软。
张廷玉感觉，自己退出政治舞台的时间到了。
在乾隆即位之初，张廷玉确实是大清帝国不可或缺的政治元老。他头脑中装着大清帝国官僚体系中每一个零件的说明书和使用记录。那个时候的乾隆一天也离不开他。不过，乾隆七年（1742年）以后，皇帝对他的倚重却越来越少了，不再事事向他咨询。皇帝已经不再那么需要这样一个活档案。雄心炽烈的皇帝急于进取，而张氏“稳重和平”“八面玲珑”的个性已经不太适合一个大刀阔斧、除旧布新的时代。
乾隆十年（1745年），鄂尔泰去世，皇帝起用三十多岁的讷亲为军机大臣。讷亲是青年权贵，初获任用，就位列于张廷玉之前，成为首席军机大臣，
