1945年8月15日,日本天皇裕仁广播《终战诏书》宣布无条件投降。9月2日,日本天皇、政府及日本大本营代表在投降书上签字。日本投降书签字不久,原中国派遣军总司令冈村宁次,即向中国陆军总司令何应钦提出,“华中长江与黄河尚有30万,建议暂不缴械,由本人率领,在贵司令的统一指挥下,帮助国军围剿共军。”这一图谋,遭到中国政府严辞拒绝。
部分日本人“卷土重来和确保海外日本人势力”的战后构想成了泡影。但是在山西省,由于经济、政治方面特殊的原因和条件,残留的图谋却得以实施。经济方面的原因,是山西具有军国主义势力图谋战败后复兴所必须掠夺、利用的丰富资源和潜在生产力。政治方面的条件,是军阀的存在和日本侵华期间开展“对伯工作”(阎锡山,字“百川”)的基础;特别是胜利后想利用对抗解放军的企图。
正是基于这样的原因与现实条件,驻晋第一军及其他侵晋军国主义分子,酝酿、策划并实施了“山西残留”:利用军阀留用对抗解放军的企图,在阎的“屋檐”下暂时荫庇,而以具有独立控制力的军队残留下来,辅之以经济、政治、文化、情报和社会残留,把山西变成日本实际的殖民地,用战胜国的资源服务于战败国的经济复兴,等待国际局势变幻,山西就是日本重新向大陆扩张的前进基地。
1945年8月初到9月初,山西军阀、第二战区司令长官,就投降与二战区受降,与日本华北派遣军参谋长高桥坦、第一军司令澄田睐四郎、参谋长山冈道武等接触交涉。在此期间,双方便谈及“日本寄存武力于中国”问题。随后即派员秘密谈判,达成协议:将投降后的日本军人编成部队,置于的编制下;阎锡山对“残留”下来的日军提供优越条件,官佐阶级在原基础上提高二级(一说三级),兵士全部给予军官待遇……到1946年4月,残留日本主体部队编制日本军人已有6600多人。