桓温北伐战功赫赫，使他成为享誉四海的英雄人物，但桓温认为自己才能过人，大权在握，却未能光复中原、成就万世功名，实足以抱憾终身。随着权力不断增加，桓温的野心也就越来越大，于是逐渐有了篡位自立的想法。
有一天，他躺在屋里，忽然起身说出了一句流传千古的话：“大丈夫既不能流芳百世，亦不复遗臭万年!”当时晋穆帝已死，一位幕僚探知了他的想法，便找了个机会劝他废掉晋穆帝的儿子司马奕，先建立威权。桓温认为可行，就废掉司马奕，改立司马昱，即简文帝，自己以大司马之职专擅大权，期间又耍弄权势除去了不少政敌。第二年，简文帝去世，太子即位。桓温本以为简文帝会禅位于自己，或者授为周公摄政，但在王坦之和谢安的干预下，桓温没有得逞，他大失所望，就带兵进入京都建康。由于桓温来势汹汹，目的不明，所以许多朝廷官员都心惊胆寒，以为桓温要诛灭旧臣，发动兵变。
入京之后，桓温没有像董卓那样四处杀戮，反而客气地请王坦之和谢安到官邸见面，王坦之不知桓温此举何为，以为桓温是要暗中杀害他们。谢安却安然自若地说：“晋室存亡，在此一行。”便镇定地将王坦之拉进相府。王坦之浑身冒汗，衣背尽湿，战战兢兢地入座。谢安却表情轻松，入座前，先是带着厚重的鼻音，模仿洛阳书生读书的声音朗诵了一首嵇康“浩浩洪流”的诗，坐定之后，谢安问桓温：“我听说自古有道义的将军，都将兵马置于边疆，抵御外寇，明公何以将兵士藏于厅堂之后呢?”桓温本来对于谋篡之事就犹豫不决，又是个爱面子的人，见到谢安后，他先是被谢安的旷达高远、深不可测的气度所震惊，后来又被谢安一语道破，以道义相论，反觉不好意思，惭愧地说道：“我也是不得不防范着点。”于是赶紧撤去原先藏在帐后准备行刺的兵士们，与王坦之、谢安二人把酒畅谈一番才散。
桓温看京都士族中的反对势力还不小，就没有轻易动手，后来就病死了，最终也没有正式反叛。后人有想将桓温赞为英雄的，可一遇到晚年弄权、意图篡位的事实，便面露难色;有想骂他奸佞的，可提起当年收复成汉、三次北伐的赫赫功绩，又不由得佩服起来。于是，桓温成了一个矛盾体，令人无法简单地评价和概括。因此，他既没有流芳百世，也没有遗臭万年，终于在悲剧和争议中被人淡忘。
