这让张廷玉心中有些不舒服。乾隆十一年（1746年）十月，皇帝说“大学士张廷玉服官数十年。今年逾古稀，每日晨兴赴阙，未免过劳，朕心轸念。嗣后可仿此意，不必向早入朝”。这实际上是宣布，张廷玉不再参与核心机密，讷亲将独自面承圣旨。很显然，张廷玉在大清朝廷中的实际地位大大降低了。
皇帝的这个决定不是没有理由。自然规律是不能抗拒的，虽然一直以精力充沛著称，但从乾隆三年（1738年）起，张廷玉已明显感觉自己有些老了。乾隆三年他在给乾隆请辞兼摄吏部的奏折中说：“今犬马之齿六十有七，自觉精神思虑迥不如前，事多遗亡，食渐减少。”不但眼睛花得看文件越来越吃力，写字时手也开始打战。年龄的增长使他在政治钢丝上走得越来越费力了。乾隆十一年，他的长子内阁学士张若霭病故，这对他又是一个意外的打击。白发人送黑发人，他备觉伤悼，身体一下子大不如前。各种老年性疾病，慢慢都找上身来。这种身体状况显然已经不适于承担帝国政治中枢的繁重工作了。
在这种情形下，皇帝对朋党政治的大力打击，就如同在张廷玉头上悬起了一把沉重的达摩克利斯剑，随时有可能落下来，让一辈子没有犯过错误的他陷于大戾。一是自己门下任何一个*员出了事，都有可能把自己牵扯进去；二是人一老，就容易糊涂，“错误耽延，在所不免”，让皇帝抓到自己的辫子。
凡事过犹不及。张廷玉的官已经做到了极致了：身仕三朝，功名利禄达到极致，张家一门也都安排得妥妥当当。两个弟弟张廷璐、张廷缘分别官至礼部侍郎和内阁学士，两个儿子张若霭和张若澄也都入值南书房和军机处，参与机要。“一门之内，朝绅命服，辉映闾里，天下荣之。”为官如此，夫复何求？
臣术中最重要的一条，是平安降落。没有这一条，那么其他方面再成功，也不过是一场春秋大梦而已。因此，退休的念头越来越强烈地出现在张廷玉心中。
乾隆十三年正月，张廷玉进宫出席皇帝为近臣举行的一次新年宴会，宴会后他得到与皇帝私下谈话的机会。乾隆十一年以后，这样的机会越来越少了。机不可失，他趁皇帝情绪不错，提出自己“年近八旬，请得荣归故里”。
张廷玉有充分的理由认为，皇帝会痛快地批准他的这个请求。
没想到，皇帝拒绝了他。乾隆从来没有想到一贯勤勤恳恳的张廷玉会提出退休的要求。虽然张廷玉已经不能承担繁巨的工作，但毕竟他的政治经验还是十分丰富的，在朝中作为顾问，对大清政治不无裨益。因此，皇帝回答说：“卿受两朝厚恩，并且奉了
