德国军事顾问在中国的频繁活动，令日本政府非常不安，于是利用德国希望与之结盟对付苏联的心理，要求德国撤走军事顾问。起初，德国采取两面手法，没有强行撤走顾问团，而是在1937年11月电令法尔肯豪森，要求他利用自身的影响力劝说国民政府罢战修和，向日本做出“符合德国利益”的妥协。史料记载，法尔肯豪森确实配合德国驻华大使陶德曼进行“调停”，游说中国接受日本的“和平条件”。但在应付完柏林交办的差事后，法尔肯豪森仍像以往一样参与战事。
美国作家巴巴拉·塔奇曼在《史迪威与美国在华经验》一书中提到，1938年台儿庄大战结束后，各国驻华武官纷纷前往战地参观，美国驻华武官史迪威在那里见到法尔肯豪森。当谈及中日战事时，法尔肯豪森显得非常激动，因为国民党军队未能像他建议的那样乘胜追击，给予日军更大打击，“法尔肯豪森强烈建议蒋介石要向前推进，要发动进攻，可是蒋什么行动也没有采取，日军很快就会把8到10个师团调到徐州前线，届时就来不及了”。
1938年4月，德国终于承受不住日本的压力，决定撤回全部顾问。法尔肯豪森向德国政府递交报告，指出顾问团成员均以个人名义受雇于中国政府，合同要到1939年才到期，此时离开有困难。但德国政府“联日弃华”决心已定，严令法尔肯豪森等人必须回国。无奈之下，同年6月，法尔肯豪森等人启程回国。
回到德国后，法尔肯豪森以步兵上将的军衔参加欧洲战事，1940年被任命为德国驻比利时占领区的军事总督。因参与反纳粹的秘密组织，1944年，法尔肯豪森被纳粹当局逮捕，直到1945年德国投降后才被美军救出。不过，他还要面临比利时军事法庭的审判，1951年被判处12年有期徒刑。1966年7月，法尔肯豪森因病去世。
