1750年，79岁的张廷玉被乾隆抄家，36万两白银被搜了出来，乾隆哈哈大笑道：“张廷玉！好一个清流文臣，枉先帝信任，实乃蛀虫也”！可当乾隆查看36万白银的记录后，脸色异常难看，又灰溜溜派人将东西全部退了回去。
乾隆把账册摔在御案上，让德保自己念。德保跪在地上，一页一页翻，声音越念越小。第一笔是康熙六十一年腊月，圣祖爷赏张廷玉银五千两，备注写着“赐第修缮”。第二笔是雍正元年，世宗宪皇帝赏银八千两，注着“安家”。再往后，雍正三年一万两，雍正五年一万二千两，雍正八年两万两，雍正十一年三万两。每一笔都写着年月日，底下盖着内务府的印。德保又翻到后面，张廷玉自己的俸禄也记得清清楚楚，大学士年俸一百八十两，加上养廉银，五十年下来攒了不到四万两。剩下的全是赏赐，连雍正赏他的一件貂褂、两匣子人参，折了多少银子都写在旁边。
乾隆没吭声，手指头在桌面上一下一下敲。德保接着说，账册最后几页记的是花销。桐城老家修祠堂，张廷玉捐了八千两。雍正十年直隶发大水，他带头捐了一万两赈灾。乾隆元年，他拿五千两给家乡修了座石桥。底下还压着一沓收条，都是地方官盖了印的。德保翻完了，把账册合上，低着头不说话。
乾隆站起来走到窗边，背着手站了好一会儿。他原以为抄出这么多现银，张廷玉再怎么装清高也说不清了。一个大学士，俸禄才多少，家里堆着三十六万两，不是贪的是什么。可账本摆在这儿，每一两银子都有来路，连几十年前康熙赏的几块萨其马都记着。他转头问德保，书信里查出什么了。德保摇头，说张廷玉的私信全是问安、论文、议修史稿，连一句朝政都没提过。有几封是写给门生的，通篇讲的都是怎么修《明史》的体例，措辞客气得跟陌生人似的。
乾隆脸上挂不住了。他让德保退下，自己在殿里转了好几圈。这事是他下的旨，兵丁把张府翻了个底朝天，街坊四邻都看见了。现在要是把银子扣下，天下人怎么看他。要是真治张廷玉的罪，账册一公开，丢脸的是自己。他咬了咬牙，叫来傅恒，说德保办事糊涂，把张家的私产也一并查抄了，传旨下去，御赐之物收回，其余银子原封送回，房子也还了。
傅恒领命要走，乾隆又叫住他，补了一句，说张廷玉毕竟是三朝老臣，朕不忍深究，让他自己上折子请罪，罚银二十万两充公，算是给个教训。傅恒心里明白，这二十万两跟抄出来的三十六万两比，等于把大头还了，留个零头当台阶。旨意传到桐城，张廷玉正坐在堂屋里，面前摆着一碗凉透的粥。他听完旨，让人把银子重新装箱，自己提笔写谢恩折。写到一半，手抖得握不住笔，儿子张若澄接过去代笔，他坐在旁边一个字一个字地念，念到“臣昏聩老迈，辜负圣恩”的时候，嗓子哑得听不清了。
银子拉走那天，张廷玉站在门口看车马走远，回头对家里人说，把门关上，以后不见客了。他回到书房，翻开那本年谱，在乾隆十五年这一页上添了一行小字：八月，奉旨缴还御赐诸物，罚银二十万。写完把笔搁下，再没动过。五年后他死在家里，乾隆到底还是给了配享太庙，可张廷玉闭眼之前那几年，连桐城县城都没出去过，整天坐在院子里看那棵老槐树，一句话不说。