白崇禧来台后再也不像在大陆时权极一时，威吓一方了，与他积怨甚深的湖北人乘机找他算账。在一次设计委员会会议上，湖北籍“国大代表”对白提出弹劾案，抓住白氏逼宫案做文章。提案对白崇禧提出两点弹劾：军费方面，吞没中行黄金七万多两;吞没汉口中央银行库存三百七十多万两白银;军事责任方面，拥兵不救援徐州，不遵从统帅调兵命令，拥兵自卫。弹劾案要求“追究责任，以明是非，振纪纲而知复兴”。
对此弹劾，白崇禧非常恐惧，遂连忙出来托词辩护。不过，蒋介石暂时还没有借此清算白的意图，身为会议主席的陈诚当场为白开脱：“华中的事，各委员所提的不是事实，有出入，你们要知道真相来问我。”此事最后不了了之。
其后，蒋介石不知从哪里得到情报：白崇禧企图发展客家组织，再造势力。蒋介石岂容白氏东山再起，他迅速召见毛人凤，要立即查办。毛人凤得令后积极筹划暗杀行动。他先是收买了白崇禧的一名贴身副官。不久，这位副官提供消息：白崇禧要去花莲县寿丰山打猎。毛人凤当即派特务勘查现场环境，勘查者发现，有两条通往狩猎区的路，一条是只能步行登山的羊肠小道，一条是可乘人力轨道车登山的路。特务判断，年事已高的白崇禧只能以车代步，不可能走羊肠小道。于是，他们算准时间，将轨道车必经路上的一座木桥桥墩螺丝一一松开，特务们躲在远处树丛中静观白氏猎后下山。
傍晚，从高山背后出现两辆轨道车，陪同白氏一同打猎的寿丰乡乡长林意双父子乘车在前，白氏和副官乘车在后。当林意双所乘的轨道车行至桥面时，只听一声惨叫，车人一同坠下50米深的谷底。白氏和两名副官眼见前车有失，急刹车已来不及，说时迟那时快，一名副官用力将白氏推下去，白崇禧跌倒在地捡了一条命，但眼见另一名副官和林氏父子成为谷底冤魂，望望四周山野，他顿时明白了一切。
从此，白崇禧学乖了，他深居简出，特务们绞尽脑汁也无从下手。
1964年，当李宗仁在美国纽约发表公开信，劝告美国效法戴高乐政府调整中美关系时，在台北息影多年的白崇禧于3月18日致电李宗仁，云：
“总统”蒋公率全国军民，尝胆卧薪，生聚教训，正在待机执戈西指，完成反攻复国大业。而我公旅居海外，迭发谬论，危及邦家，为亲痛仇快。最近阅报，法国与“共匪”建交之后，我公竟于2月12日致函纽约先锋论坛报，公然支持“共匪”，游说美国学步法国，与“共匪”调整关系。我公对国难既不能共赴，反为“共匪”张目，危害国家，是诚何心，是真自毁立场矣!自绝于国人矣!伏望我公激发良知，远离宵小，幡然悔悟以全晚节。
