1880年12月17日，光绪帝敕令李鸿章、陈兰彬等人一道严查出洋肄业局，召回私自加入基督教的学生。为了自保以及保留幼童出洋肄业局，李鸿章需要陈兰彬、容闳、吴嘉善协商合作组成统一战线。但是他们三个人的看法根本不一致，容闳也没有足够的能力帮助李鸿章。
1881年初，吴嘉善想要亲自带领二三十名留美幼童回国。李鸿章不得不去电阻止，命他继续留在美国，等待所有必要安排完成。2月24日，李鸿章电告陈兰彬，他刚刚收到格兰特总统的信，信中称赞幼童在修路、开矿、筑炮台以及制造机器各艺都颇有进益，可期学成。李鸿章告诉陈兰彬，格兰特总统认为，若在幼童们完成各科学业之前就将他们裁撤回国，殊为可惜。
但陈兰彬不想为维护幼童留美计划和帮助李鸿章承担任何风险，因为他感到，保留幼童出洋肄业局的意见在朝廷中并不占上风。李鸿章这时充分意识到陈兰彬不仅为官懦弱，素性拘谨畏事。3月19日，他报告李鸿章，不想与幼童留美肄业局有任何干系，也不想与容闳在这件事情上有什么瓜葛。
3月22日，总理衙门知照李鸿章，对是否撤回留美幼童尚未做出最后决定，想就此征求李鸿章的意见。3月29日李鸿章致函总理衙门，承认近年来有不少人批评容闳偏重西学，导致幼童中学荒疏，而他曾再三劝诫容闳重视这些议论。
对于陈兰彬和吴嘉善要求提前撤回留美幼童并拒绝与容闳合作，李鸿章也表示不满。他指出，留美学生年幼出洋，沾染洋习或所难免，吴嘉善绳之过严，致使学生疏离，毫无必要。李鸿章建议撤回一部分留美幼童，已经进入大学学习的学生则留下直至毕业，由中国驻华盛顿公使馆负责照看。这一方案要实现，要有赖陈兰彬的合作，然而陈兰彬拒绝合作，很快卸职回国了。
