法尔肯豪森还打算以这些部队为样本，分批完成60个中国师的整编，到全面抗战爆发时，约有35个师大致完成整编。虽与当初设想有差距，但这些部队的战斗力和精神面貌已焕然一新。濑户利春援引一名侵华日军军官的话说：“受到德国顾问团训练的中国军队，在上海战役中的表现着实让我们大吃一惊。”
德国军事顾问在中国的频繁活动，令日本政府非常不安，于是利用德国希望与之结盟对付苏联的心理，要求德国撤走军事顾问。起初，德国采取两面手法，没有强行撤走顾问团，而是在1937年11月电令法尔肯豪森，要求他利用自身的影响力劝说国民政府罢战修和，向日本做出“符合德国利益”的妥协。史料记载，法尔肯豪森确实配合德国驻华大使陶德曼进行“调停”，游说中国接受日本的“和平条件”。但在应付完柏林交办的差事后，法尔肯豪森仍像以往一样参与战事。
德式训练下的中国军队
美国作家巴巴拉·塔奇曼在《史迪威与美国在华经验》一书中提到，1938年台儿庄大战结束后，各国驻华武官纷纷前往战地参观，美国驻华武官史迪威在那里见到法尔肯豪森。当谈及中日战事时，法尔肯豪森显得非常激动，因为国民党军队未能像他建议的那样乘胜追击，给予日军更大打击，“法尔肯豪森强烈建议蒋介石要向前推进，要发动进攻，可是蒋什么行动也没有采取，日军很快就会把8到10个师团调到徐州前线，届时就来不及了”。
德式装备的中国军队
1938年4月，德国终于承受不住日本的压力，决定撤回全部顾问。法尔肯豪森向德国政府递交报告，指出顾问团成员均以个人名义受雇于中国政府，合同要到1939年才到期，此时离开有困难。但德国政府“联日弃华”决心已定，严令法尔肯豪森等人必须回国。无奈之下，同年6月，法尔肯豪森等人启程回国。
回到德国后，法尔肯豪森以步兵上将的军衔参加欧洲战事，1940年被任命为德国驻比利时占领区的军事总督。因参与反纳粹的秘密组织，1944年，法尔肯豪森被纳粹当局逮捕，直到1945年德国投降后才被美军救出。不过，他还要面临比利时军事法庭的审判，1951年被判处12年有期徒刑。1966年7月，法尔肯豪森因病去世。
