1946年2月加上将衔，任京沪卫戍区总司令加上将衔。7月任陆军副总司令兼兼南京警备司令。
1947年3月兼第1兵团司令官，率部参加对山东解放区的重点进攻。5月孟良崮战役所部整编第74师被全歼。汤恩伯恩伯被撤职查办。7月代理陆军总司令
1948年8月任衢州绥靖公署主任。12月升任京沪警备总司令。
1949年1月任京沪杭警备总司令，奉蒋介石介石之命凭借长江天险固守京沪杭地区。4—5月，所部主力在中国人民解放军发动的渡江战役、上海战役中被歼，残部溃退厦门，5月任国防部厦
门指挥所主任。7月任金门县厦门防卫部主任，8月任福建省主席兼东南军政长官公署厦门分署主任。10月参与指挥金门战役，月底由金门去台湾，任台湾东南军政长官公署副长官。
1950年任台北总统府战略顾问。闲赋在家。
1953年一月率中国国民党军事代表团访问日本。
1954年5月赴日本医治胃病。6月29日在日本东京都庆应义塾大学医院去世，一说是被日本医生谋杀。后军衔被追赠中华民国陆军二级上将。7月15日，汤恩伯灵柩自殡仪馆送往台北县南宫壶山下葬，何应钦、陈良、胡宗南、蒋经国为其送葬。后迁葬于五指山公墓。
