1934年以后，日本不断借着日德亲善的机会，向德国要求召回其驻华军事顾问。实际上，德国在华军事顾问人数并不多，前后11年中来华服务的德国军官不过132名。
人数最多时为1933年的79人，以后人数逐年递减，到1937年中日战争全面爆发时仅有39人。
以当时中国幅员之广，军队数目之大，30多名军事顾问所能发挥的影响力应当不至于造成对日本的威胁。
1、德国顾问团为何成为日本眼中钉？
但日本基于以下考虑，不断地向德国施加压力，要求其撤回军事顾问：
（一）军事顾问与德国军火销售来华有着密切的关系。日本希望能切断中国的武器供应，自然希望德国能召回其军事顾问；
（二）日本也希望能通过向德国施压以达到其他政治目的，例如德国率先承认“满洲国”。
因为日本从1934年“满洲国”成立伊始，就希望有一两个主要国家能率先承认“满洲国”，以便对其他国家有示范效果。英美两国已经明白表示不承认原则，其他国家只有抱着观望的态度，因而日本寄希望于拉拢德国。德国军事顾问问题成了日本打压德国的杀手锏。
1934年4月17日，日本外务省情报部长天羽英二发表声明，反对列强介入中国事务，将矛头指向德国军事顾问：
“以军用飞机供给中国，在中国建造飞机场，及派遣军事训练官或军事顾问前往中国…则显然可以离间中日与他国间之友好关系，而扰乱东亚之和平与秩序，凡此举动，日本将反对之。”
1937年卢沟桥事变发生后，日本不断向德国施压，要求德国撤出驻华军事顾问团并不再以武器供应中国。
7月底，日本参谋本部次官首次向德国驻日武官奥特表明了参谋本部的态度：
“德国军事顾问的工作…激化了日本军官团的反德情绪…德日之间的政治合作为日本军方人士所积极推进，德国在华军事顾问影响了德日之间的政治合作。”
因此日本参谋本部“不失友好但是绝对严肃地请求德国通过友好姿态改善日本军官的反德情绪”。
与此同时，日本驻德武官大岛浩造访德国国防部，希望在华“军事顾问不参加任何积极的军事行为”。
7月28日，魏茨泽克通知狄克逊，德国政府早就对在华军事顾问做出相关的指示并予重申，有关细节已经通报日本大使武者小路。
随着情势的不断恶化，德国召回在华军事顾问似乎已势在必行。但是，国际军火市场的竞争相当激烈。德国军火在华所以能够找到这么大的市场，与德国军事顾问的存在有密切的关联。
法肯豪森就曾指出：
“绝不要忘记这里的竞争十分激烈。我们所以能将订单交给德国是因为我们过去的无缺失的商誉，是因为我的坚持，也是因为俞（大维）博士愿意与我们交往。…我必须指出：交最好的货，还要比别人便宜。”
所以德国商人明白，如果仍然打算与中国进行军火贸易，就不可能撤回军事顾问。因而此时中德双方的军事合作，仍充分而且有效地持续进行。
2、淞沪会战中日本散布有关德国顾问团的谣言？
八一三淞沪战役的爆发使德国在华军事顾问的活动再次成为德日间一个棘手的突出问题。
八一三淞沪战役爆发时，中日双方都曾打算战而后和。日本以为，上海是中国最大的经济、金融中心和贸易港口，占领上海就意味着掐断了中国的经济命脉，切断了中国的对外联系，能使中国军队和国民丧失战斗意志，只要战事持续，国民政府终会崩溃，因而企图速战速决，在击败中国军队后，强迫对方订立城下之盟；国民政府则希望能快速歼灭在沪日军，封锁海岸，然后持久抵抗，以待时变，争取有利条件结束冲突，以战谋和。
中国政府于8月14日发表《自卫抗战声明书》，8月16日下达国家总动员令，调派了经过德国顾问调教的训练有素的精锐部队开赴上海作战，使日本军队遭遇了侵华以来的第一次挫折。日本军队在八一三淞沪战役中的暂时失利，再次激化了日本人对德国在华军事顾问的不满。
日本开始别有用心地散布有关德国军事顾问团的谣言。他们称，由于日本与德国的合作关系越来越密切，德国在华军事顾问将会受到中国政府的猜忌云云。
为此，军事委员会还于1937年8月19日特别向德国驻华军事顾问团发表正式声明，表示：
“自德国军事顾问存在的第一天起，就表现出无比的工作热忱，对中国助益甚大。最近敌人展开宣传，欲造成彼此猜忌。现已通令所有军事机构、院校及部队，与军事顾问更密切合作。”
与此同时，日本参谋本部还故意透露消息说，德国军事顾问在闸北参与了战斗。
一名美国记者发表文章说：
“5名德国将军和100名德国军官积极参加了中国抗日的幕后指挥。”
9月22日，德国通讯机构专门地引述《东京新闻》的报导，表示八一三淞沪战役中德国军事顾问在闸北参与了战斗云云，翌年5月，日本《读卖新闻》又散布中国将以法国军事顾问取代德国军事顾问的消息，用意在于造成中国与德国的敌对势力亲善的印象，以分化中德两国关系，最后达成德国召回驻华军事顾问及停止将武器销售来华的目的。
就在此时，中国与苏联签订了互不侵犯条约。10月，德国政府下令在华军事顾问不得参与军事活动，并宣布停止对华输送军火。德国开始切实介入中日冲突。
10月22日，日本抓住这一时机，派出一位很有影响力的军官马奈木敬信上校，由德国驻日大使馆武官奥特陪同抵达上海，与陶德曼磋商和平解决中日冲突的途径。马奈木敬信在陶德曼面前抱怨德国不向日本提供新式军用飞机，德国在华军事顾问给日军在华作战制造了很多麻烦。
陶德曼反驳说，德国在华军事顾问没有危害日本军队；再说，与其让苏联顾问指挥中国军队抗日，还不如让德国顾问留在中国。
日本当然明白，希特勒在远东的政治兴趣仅在于利用日本防止布尔什维克的扩张，利用日本牵制苏联。于是采取间接攻势，用德语对德国进行广播宣传，试图把对华侵略说成是打击共产主义，并强迫德国至少在道义上参与，撤出驻华军事顾问团，停止以武器供应中国。
3、德国决定撤回顾问团始末
在日本的重重压力之下，1937年年底，希特勒开始考虑是否将军事顾问撤走。
11月4日，希特勒预定与德国国防部长柏龙白商讨从中国撤回军事顾问一事。外交部长牛赖特相当支持中国，在11月3日部内会议时，希望能替柏龙白元帅准备一些对中国有利的说法，以便柏龙白与希特勒讨论时，先有腹案。
政治司司长麦肯森提议，只需要向希特勒“提出一个问题：元首（希特勒）希望站在中国那一边的是法肯豪森还是俄国人？”
结果，这种说法对希特勒造成了很大的影响，德国政府内部普遍认为，中苏虽然签订了互不侵犯条约，苏联似乎不会介入中日战争，但德国同时必须考虑到，苏联可能通过派遣军事顾问恢复对华影响。
所以，在1938年2月以前，德国的远东政策仍以调停为主。希望对中日两国均施加压力，迫使两国能够停战、和谈，以使日本保持对苏作战的能力。在陶德曼调停过程中，德国顾问法肯豪森多次说服蒋介石应该这样做或那样做，劝说中国接受日本的和谈条件。
1938年1月26日，德国驻东京大使狄克逊向德国外交部递交了一份冗长的报告，要求改变德国对东亚的方针，包括结束调停、中日冲突与德日关系、军事顾问、军火输出、承认伪满和转向华北等六个方面。
在其中，他建议德国应该考虑撤出驻华军事顾问，理由是：
1.德国军事顾问的存在，会使得中国没有和谈的意愿。
2.德国军事顾问没有必要为战争成败负担责任。
3.广州地区已有德国军事顾问泄漏军事机密的流言。
4.驻华军事顾问使用俄制武器与德国盟友作战。
5.德国军事顾问对于德国经济利益的作用几可忽略。
6.不必担心苏联军事顾问会卷土重来。
总之，狄克逊把审视德日关系的视角建立在两个前提条件下：
第一，日本成为冲突的赢家；第二，如果不信任英美，中国将会在苏联的航道上越行越远。
恰在此时，发生了两件事。
其一，1938年2月4日，希特勒突然对德国政府中的两个重要部门——外交部和国防部中的保守势力展开清除：国防部长柏龙白被迫辞职，以后不设国防部长，由希特勒本人亲自总揽海陆空三军指挥权；外长牛赖特被罢免而由里宾特洛甫继任；德国驻意、日、奥三国大使被召回。德国政府中亲日阵营不断扩大。
其二，2月5日，日本外相广田正式向狄克逊提出德国召回军事顾问的要求。
狄克逊立即向外交部汇报，在报告中他刻意强化日本在对抗苏联中的态度，试图打消德国政府对苏联援华的担忧。
他写道：
“广田透露，日本在华战事的发展将不再是大规模进攻，而是逐渐推进；中方至今没有与日本进行非正式谈判的倾向，苏联对华军事援助也没有增加力度的迹象。广田认为，日本并不惧怕苏联。”
他建议，把德国承认伪满的时间定在“满洲帝国”成立五周年纪念日——1938年3月1日。承认伪满成为里宾特洛甫上任后德国政策转向弃华联日的第一步，下一步，里宾特洛甫就要着手搬除横亘在德日亲善面前的障碍——解决德国在华军事顾问问题。
但他的建议遭到了德国外交部贸易政策司东亚咨询处处长福斯等人的，连希特勒本人也认为时候未到。
4、希特勒下定决心撤回德国顾问团
1938年4月12日，德国外交部通知中国停止招收军事学生。
但实际上外交部并未认真执行，中国赴德受训的海军学生仍然随德国军舰出巡，已受训的陆军学生也可继续完成学业，国防部也表示会暗中协助。这对当时屡遭打击的中国外交来说，无疑是一种慰藉。
4月12日，狄克逊从东京返回柏林，准备就任德国驻英大使。正是他这次在柏林的逗留促使希特勒做出了召回军事顾问的决定。
狄克逊向希特勒汇报说，德国军事顾问若继续留在中国，则势必妨害德日关系；新任大使奥特和他本人一直认为，由于德国在华军事顾问的原因，德日关系变得越来越紧张。
于是，希特勒就顺水推舟地委托狄克逊转达里宾特洛甫，尽快采取措施，召回在华顾问。当天里宾特洛甫用一封粗鲁的电报实现了希特勒的愿望。
希特勒终于把德国远东政策从对华友好调整为联日弃华。
希特勒之所以接受狄克逊的建议，是因为他认为召回顾问的时机已经成熟。
1938年3月12日，德军占领整个奥地利，实现了对奥地利的不流血的征服。两天后，希特勒签署命令，宣布奥地利为德国的一个邦。这场兵不血刃的交锋使纳粹主义者得意忘形，在他们眼里，贫弱的中国几乎没有什么重要的利用价值。
于是，在德日积极靠拢的同时，为了排除一切影响德日关系的障碍，德国在外交上对华态度变得越来越强硬，希特勒不想再有什么事情影响德日关系。
所以，当日本因台儿庄战役的失利再次向德国就在华军事顾问问题发难时，希特勒做出了召回在华军事顾问的决定。他是想以此再次向日本强调德国的态度，并向英国方面暗施压力，以免其在德国继3月份吞并奥地利之后进攻捷克和苏台德地区之时设置障碍。
德国在对华外交上的这一举动，与其加快实施德意日同盟计划密不可分。4月22日，陶德曼接到指示，向德国顾问转达德国政府的意愿，他们必须中止在中国的工作，立刻返回德国。
5、法肯豪森的态度
4月30日，德国驻华大使陶德曼将法肯豪森总顾问的答复告知德国外交部。法肯豪森告知，“所有顾问都在汉口，且都退居二线在军校任教官，他们被严禁在前线逗留”。
言下之意，德国顾问并没有参与任何中国军队的军事行动，更不可能与台儿庄战役有关。
他还陈述了德国在华军事顾问们应召回国的困难：
（1）德国顾问都与中国政府签订了私人雇佣合同，有效期至1939一1940年，不可能单方面解除。一旦毁约，就意味着中止合同，将会导致法律上的损失赔偿；同时还面临回国旅费、失业等问题。
（2）对多数顾问来说，放弃终身职业，不啻经济破产，因为他们中的大多数不可能在德国找到相应的职位，特别是那些在魏玛共和时期参加过叛乱的人。而且大多数顾问有可能因毁约支付赔偿而破产，连回国的路费都没有。
（3）几乎所有顾问的家产都在南京，因此必须在国民政府效力，否则其财产得不到安全保障。鉴于中国目前的运输状况，由于安全得不到保障，运回德国几乎不可能。
（4）顾问组织中的女秘书们都是自费来华，也面临着无钱回家、失业等同样的问题。
至于他本人，也不能回去，因为他在希特勒宣布承认伪满后不久，曾向蒋介石许诺绝不毁约。
他强调：
“德国政府必须承担顾问及其家属和秘书的返程费、安家费及其解除合同产生的损失费，同时也必须通过外交渠道来解决，因为顾问们无法找到恰当的理由。”
为避免其他顾问担忧，法肯豪森封锁了德国政府准备召回在华军事顾问的消息。
5月21日，德国政府正式下令，所有受雇于中国的德籍顾问一律返国，理由仍然是为了在中日之间“保持中立”。
当天，陶德曼奉命拜访中国外长王宠惠，请他把德国政府要求召回顾问的决定转告蒋介石。德国政府的决定使王宠惠大感意外。
王宠惠绵里藏针地说，德国政府的做法将会使中国人民失望，从而迫使中国倒向苏联一边。并指出，中日两国一直还没有正式宣战，德国政府没有必要采取中立原则；与法国、英国和美国的军事顾问一样，德国的军事顾问纯粹是以私人的身份在中国政府工作，因此对各自的政府不承担任何形式的义务。
德国政府改弦更张的东亚政策，让中国驻德大使程天放愤而辞职，也让陶德曼大使茫然失措。在与蒋介石的一次会谈中，陶德曼曾坦言：
“我们的对华关系已经走到了决定性的转折点，如果现在在顾问问题和提供军火问题上采取突然行动…我们在中国的所有建设性努力都将化为乌有。”
6、德国最后的态度
尽管德国外交部再三施压，中国政府仍保持沉默。于是，德国方面认为有必要给中国政府立下一个最后答复期限。
6月10日，魏茨泽克致电陶德曼：
“最迟到星期一（6月13日)，我们等待着您关于军事顾问启程日期的最后答复。”
6月10日，法肯豪森与蒋介石进行了会谈，要求解聘所有德国顾问。蒋介石请求法肯豪森及另外四名顾问必须继续留在中国待一段时期。法肯豪森未置可否，但他后来在与德国顾问的谈话中却表示，他们不可以拿自己冒险。
6月12日，蒋介石通过德国驻华使馆向柏林表示，至少让法肯豪森留下，或者将之改任为驻华武官，以便继续为中国服务。
但里宾特洛甫撤回军事顾问的决心已定，在收到蒋电报的次日，即6月13日，他下令：
“继续拖延启程日期与此间（柏林)所给的指示完全不合。元首（希特勒）本人希望能立即起程（离华)”。
6月14日，德国驻华大使陶德曼再次做出努力，给柏林外交部去电，告知他与蒋介石交涉的结果。
6月19日，陶德曼连续拍发两份电报给柏林，表示蒋介石通过外交部次长徐谟请他向德国政府提出要求，希望能留下五至六名军事顾问，继续完成在华工作，其他人员可以立刻回国。但里宾特洛甫拒绝，强调中国必须在6月23日以前，同意撤出德国顾问，否则立刻召回德国驻华大使。
6月23日，行政院长孔祥熙为德国顾问举行了告别宴会，并发表讲话向德国顾问表示感谢。
陶德曼又一次被中国打动，为中国说情。
他在致德国外交部的电报中表示：
“很遗憾，我没能成功。但我认为在一个国家强敌压境、生死存亡的关键时刻，应该表现得宽容一些。”
但是，里宾特洛甫一点都不想对中国宽容，他于6月24日下令：
1.陶德曼应立即撤至香港，因其妻身体不佳，不适合长途旅行，等到其妻身体康复后，应立即返回德国；
2.所有军事顾问立即离华赴港；
3.如有拒绝离开中国者，以叛国论处，除将取消国籍外，并没收其在德国的财产。
为此，陶德曼不得不撤至香港。
7、德国顾问团的离开
面对德国政府的最后通牒，蒋介石知道事情已无可挽回，如再坚持，恐对军事顾问不利，于是同意所有军事顾问离开中国。而在此之前，早在4月份，军事委员会就已经有所准备，在军事顾问撤离中国前，授予每一位顾问勋章或奖章，以表彰他们的对华贡献。
行政院也特别安排将他们历年的积蓄换成适当的货币，以便携带。
此时内陆对外交通在日本人的不断轰炸下，几近中断。中国政府特别安排一列九节车厢的火车，便于顾问们携带行李。又特别通过外交途径，通知日本，不可攻击该列火车，并将车身涂满国社党标记，以便识别。
7月5日，法肯豪森率领29名德国军事顾问从武昌起程，经粤汉铁路前往香港，与陶德曼会合。临行前，德国顾问们依依不舍，他们纷纷向中方表示，绝不会把他们所知的中国军事情报透露给日本，并祝中国的抗战能够取得最后的胜利。
他们的这种心情是发自内心的，后来的事实也证明，这些顾问们的确是对中国怀有友好感情的，他们没有出卖中国，他们与中方的友谊一直持续到战后。
7月8日，德国顾问们抵达九龙。其中部分人随即与陶德曼搭船返国，部分人则停留香港，德国外交部对他们的行踪十分注意，生怕有些人会潜返中国。
8、德国的取舍与得失
纵观德国围绕军事顾问问题与中国和日本交涉的过程，不难看出德国一直以维护本国利益为最大原则。
中日战争爆发之初，卧薪尝胆的德国最初不想得罪中国：武器照样卖，军事物资照样输送，只要给钱就行。因为此时它迫切需要中国的战略物资和外汇。而要保证物资和外汇的正常获取，就必须让军事顾问留在中国以保驾护航。但随着中日战争的扩大，德国必须要在远东两国中做出抉择。
对德国来说，中国和日本，一个是贸易搭档，一个是战略盟友，鱼与熊掌，取舍两难。而希特勒东亚政策的第一个目标锁定了德国在华经济利益，第二个目标则是通过日本把苏联红军的主力牵制在东亚，同时与日本联手对苏联形成夹攻之势。
随着德国国内的法西斯化，第二个目标逐渐占据了上风。
德国为求日本尽快结束在中国的战事，抽出足够的兵力共同对付苏联，在德国军事顾问团问题上，也采取了两个阶段的做法。
第一阶段（1937年10月至1938年2月)希望对中日两国均施加压力，迫使两国能够停战、和谈，以使日本保持对苏作战的能力。
《中苏互不侵犯条约》签订后，德国担心苏联军事顾问会取而代之，从而失去德国对中国的影响力，并进一步危害德国的在华经济利益，所以决定不理睬日本的要求，让德国军事顾问继续留在中国，但三令五申其不得参与中国的具体作战行动。
第二阶段(1938年2月至1938年7月)，当所有调停努力都失败后，德国计划放弃中国，自中国撤出军事顾问并切断中国的武器供应，希望能借此迫使中国与日本和谈。
德国撤走军事顾问之举，对蒋介石的打击是沉重的。
国民党军队对德国太过倚重。蒋介石自1927年与苏联断交后，就把目光瞄准了德国这个在第一次世界大战废墟上崛起的西欧军事强国。十余年间，他不仅从德国得到了大批的枪支弹药、军援物资，还直接引进了德国的军事人才和战争思想。平定军阀，统一天下，有德国军事顾问的功劳；“围剿”苏区，疯狂剿共，蒋介石更是采纳了德国人出的主意；中国的国防设施，也大都是德国人的杰作。
在武汉会战即将开始时的节骨眼上，如果德国顾问撤走，不但意味着战场指挥、协调上的损失，而且对国民党军队士气的影响简直是致命性的。要知道，此时的中国正弥漫着恐日气氛。
蒋介石又一次忍气吞声，满足了德国的要求，希望能够挽回德国对中国的友谊。但是中德友谊不再，陶德曼再也没有回到中国续任，中德关系苟延残喘至1941年7月2日彻底断交。
德国召回军事顾问，也并未给德国带来预想的经济效益和政治效益。德国未能在德日“华北经济合作”利益分配中捞到任何好处，日本也未能如德所愿出兵苏联。
德国召回军事顾问之举，真可谓是典型的“损人不利己”之举。
