光绪七年正月，七十岁的左宗棠在军机处值房里刚看完一份治河条陈，忽然想起自己在西北的功绩，掀髯抵掌，大谈如何运筹帷幄，声震旁室。
恭亲王奕訢躲在厕所里不敢出来，左竟跟到厕门外站着等候，待恭王出来又紧随而归。
奕訢满头大汗，偷偷问李鸿藻："此老有病吧？"
李鸿藻去问，左宗棠拊掌狂笑："你不是说跟着王爷走吗？老夫这就跟着王爷走。"
满屋军机大臣目瞪口呆。
以上这滑稽的一幕，并不是段子，正相反，它很能映照出左宗棠收复新疆，入京后的真实处境。
事实上，在当时，同朝那些手握重权的大佬们，私底下骂他的不在少数。

赵烈文在《能静居日记》里就曾记下曾国藩腹心欧阳兆雄对左宗棠的评价："才气甚高而虚冒亦甚"，还举了个例子，说左宗棠早年坐船至汉津，夜有小舟触其坐船，左惊呼有盗，惊起全船人，结果一无所见，事后左寄妇书竟称"舟中遇盗，谈笑却之"，见者皆窃笑。
有史料直载，曾国藩对左宗棠"其人颇为愤慨"，而在晚清笔记中，李鸿章则大骂左宗棠是“三国演义所描绘之奸雄曹阿瞒”。
光绪六年，左宗棠入值军机，李鸿章表面"强作笑颜"，写信"略叙契阔"，背地里却给兄长李瀚章写信说"中朝赞襄未必有益"。
在给张佩纶的信中，李鸿章更系统地贬低左宗棠："左相精力甚健，于枢廷政务、各省情形不甚了澈，所建练旗兵、借洋债、兴畿辅水利、加洋药税厘诸议，似属救时要政，却近老生常谈，恐有格于时势不能尽行之处"。
等左宗棠被挤出军机、外放两江总督，李鸿章弹冠相庆，继续补刀："左相威望才略，自以外任为宜。近因年高，精神似稍散漫"。
最狠的是那句"不但无鞭挞四夷之心，抑且无经营海上之志，外强中干，概可知也"。一个刚刚收复新疆、威震中亚的人，被李鸿章说成"外强中干"，这已经不是政见分歧，而是人格否定了。

恭亲王奕訢是军机处领班，起初对左宗棠入京寄予厚望，以为左能冲破沈桂芬十年因循瞻徇之习。可没过多久，恭亲王就发现自己错了。左宗棠在军机处独断专行，遇疆吏奏报辄请批准，勿付部议，还擅自把个人意见塞进廷寄里发给陕西巡抚谭钟麟。同官王文韶"以其不谙体制讥之，实承奕訢旨也"。费行简在《慈禧传信录》里说："宗棠虽出身举人，而科目中人多非同辈。朝官以其骄蹇，颇恶之"。
宝鋆是奕訢心腹，资格老、脾气大，直接在军机处骂左宗棠是"一团茅草"。
翁同龢在日记里记得更细，初见左时夸"豪迈之气俯视一世"，第二天就改口"议论滔滔，然皆空话也"。后来翁同龢私下抱怨："左三先生诚然劳苦功高，但我辈就没有赞助之功吗？他在西北用兵时，我辈替其调度天下军饷，从未曾掣肘生事。如今对我们颐指气使，当是他的部下之营官、哨官、什长吗？"潘祖荫在座中插话："翁大人比拟太高，左相简直视我辈为奴婢一般！"
醇亲王奕譞虽然欣赏左宗棠的战功，但也受不了他的做派。两江总督刘坤一在信中转述王先谦的观察："此老每接洋人，辄露嬉笑怒骂之状，译署虑其抵牾，不使常与周旋"。
礼部尚书延煦在光绪皇帝万寿节上，抓住左宗棠未随班叩祝的把柄，上疏猛攻："身履尊严之地，绝无诚敬之心，款段自如，一若法度纪纲，绝非为伊而设"。
李鸿藻作为清流领袖，甚至写下嘲讽左宗棠的竹枝词。张佩纶、张之洞这些清流后辈，原本指望左来破局，后来也失望透顶，指摘他"浮弯"，"行径粗率，任性自便"。左宗棠自己也感觉到了，致函友人说："前之集矢合肥者，今又以弟为众射之的矣"。
在军机处待了九个月，左宗棠终被一群京官联手挤出了北京，外放两江总督。临走前，军机处同仁轮流宴请，觥筹交错，好不热闹——不是惜别，是送神。

但最痛彻骨髓的恶评，来自郭嵩焘。
郭嵩焘对左宗棠有救命之恩，咸丰九年樊燮案，郭嵩焘奔走营救，潘祖荫那句"国家不可一日无湖南，湖南不可一日无左宗棠"背后，是郭嵩焘的全力斡旋。可左宗棠发达后，对这位恩人冷嘲热讽，最后竟四折纠参，把郭嵩焘从广东巡抚位上拉下来，换自己的小老弟蒋益澧上位。
郭嵩焘在《玉池老人自叙》里痛骂："最不可解者，与某公至交三十年，一生为之尽力。自权粤抚，某公来书，自谓百战艰难乃获开府，鄙人竟安坐得之。虽属戏言，然其忮心亦甚矣。嗣是，一意相与为难，绝不晓其所谓，终以四折纠参，迫使去位而后已"。
他骂左宗棠"不察事理，不究情势，用其诡变陵跞之气，使朝廷耳目全蔽"，"其言诬，其心亦太酷矣"。骂左筹办海防"满纸虚骄之气，不学无术"。中法战争时，郭嵩焘写信给李鸿章，指责左宗棠"急开边衅"。
光绪十年左宗棠回长沙，清晨衣冠整齐去郭家叩门谢罪，"顿首，称老哥，述往事，深自引罪，再三谢"，郭嵩焘"为留一饭而别，竟不答拜"，至死不肯原谅。

把这些恶评串起来看，在京城那个讲究论资排辈、利益均沾、你好我好的权力场，左宗棠就是个彻头彻尾的异类。那些骂他的话，"一团茅草"、"空话"、"浮弯"、"外强中干"、"其心太酷"，本质上是一个体制对异类的排斥。
左宗棠晚年也明白这一点，所以最后选择了远离。