虽被皇帝称赞，但张廷玉深知“谦受益，满招损”的道理，他身处中枢机要之地，对“言多必失”的古训感触颇深。因此他时刻保持着小心谨慎的“作风”——从不留片稿于家中，也绝少让家人得知朝中政事。不仅如此，他还很少结交外官，从政多年“无一字与督抚外吏接”。他时刻以皇帝的意志为意志，少说多做，或者是只做不说。
对于被世人诟病的“一人得道，鸡犬升天”，张廷玉也保持着警惕，时时刻刻都不忘记一个人臣的本分。据《安徽省志》载：某次张廷玉的弟弟张廷珩参加殿试，康熙在看了张廷珩的文章后，大加赞赏，要拔为一甲（共三名，即状元、榜眼、探花）。但在张廷玉的再三请求之下，最终将他降为二甲第一。不久张廷玉的儿子也参加殿试，同样位列一甲，但在张廷玉的坚持下，也被降为二甲第一。张廷玉这些谦逊、低调的做法，屡次受到雍正的嘉奖。有时一次就奖励20000两白银，还将圆明园的澄怀园赏赐给他，其它赏赐的珠宝、古玩等更是不计其数。但其中最高的一次赏赐——也是张廷玉最为看重的——则是准其死后配享太庙。太庙是清朝皇帝的祖庙，也是皇帝祭祀祖宗的地方。所谓配享太庙，就是说按照雍正的遗诏，恩准张廷玉死后将神位安放在太庙的前殿西庑，接受皇帝每年一次的祭祀。这是清朝历代皇帝对汉大臣给予的最高礼遇和殊荣，有清一代，这是唯一的一次。但张廷玉配享太庙的问题到了乾隆朝则出现了一些波折。
几番折腾 终进太庙
雍正皇帝像
雍正十三年，雍正死前发布遗诏，以张廷玉“器量纯全，抒诚供职”为由，命他死后配享太庙。但在乾隆登基以后，张廷玉的日子并不好过。原因在于，张廷玉在朝中的势力已远非雍正朝所能比。随着张家子孙连中进士，张家及其族人在乾隆朝为官的数量与日剧增。据统计，张家及其族人在乾隆前期为官者即多达十九人，如果再加上张廷玉的姻亲桐城姚氏为官者，总数当有三十人之多，这就形成了朝廷内外一股不容忽视的政治力量。但此时的张廷玉不仅不知收敛，还暗中培植党羽与另一朝中权贵鄂尔泰（也被雍正恩准死后配享太庙）进行党争。
有一故事可以说明当时二人的紧张关系，据《清稗类钞》载：张、鄂二人共事十余年，往往终日不说一句话。而鄂尔泰每有过失，张廷玉一定会出口讥讽，使他无地自容。如暑天某日，张、鄂正在一处办公，因为天热，鄂尔泰脱帽乘凉，环顾四周发现空间极为狭小，说：“此帽置于何所？”张廷玉笑曰：“此帽还是在自家头上为妙。”结果，鄂尔泰数日神色不悦。
乾隆皇帝像
张廷玉势力做大、又与鄂尔泰进行党争，自然引起乾隆的警惕。乾隆十三年以后，张廷玉每每因乞休、配享等事与乾隆帝发生争执或遭到猜忌。面对乾隆越来越多的不满，张廷玉似乎意识到了症结所在。为了保全晚节，也是为了保全族人的性命安危，他先是示意家人亲属以各种借口辞官，然后自己又主动请辞。经过多次请求，乾隆曾多次亲笔拟旨挽留，最终答应了张廷玉致仕（退休）的要求。
就在辞官回籍有望的时候，张廷玉因为担心乾隆不遵守雍正帝让他日后配享太庙的遗诏，恳请乾隆立一字据，进行担保。而第二天张廷玉本该亲自进宫谢恩，却令其儿子代替的做法，再次激怒了乾隆。他责问张廷玉是真心想退休呢，还是为了得到配享太庙的恩典？一怒之下下令削去了张廷玉的爵位。之后不久，乾隆长子永璜病逝，张廷玉不顾自己身为永璜师傅的身份启程回乡。乾隆又抓住这一把柄，命朝臣对张廷玉是否还有资格配享太庙一事进行讨论，但最终碍于雍正的遗诏，没有进行更改。1755年，83岁的张廷玉在桐城老家郁郁而终，他死后，乾隆赦免了他此前所有的罪过，仍令其配享太庙。张廷玉终其一生，可称得上是三朝政坛不老翁，虽然最后与乾隆皇帝发生了一些矛盾，但与历史上其他官员相比，算是做到了善终。而他之所以能做到这样，关键在于他的为官之道——忠、贤、愚。忠即是对皇帝尽忠，绝无私心。贤即才华、办事的能力，对于明君来说，这一点必不可少。愚即是要该糊涂时就糊涂，不与皇帝争功，皇帝永远是对的，而自己什么都不是。张廷玉之所以能侍奉三朝为官五十载，与这三者的灵活运用关系匪浅。
