面对这些难题，李鸿章最终放弃了整个留美幼童肄业计划。总理衙门进而奏请裁撤出洋肄业局、撤回留美学童，清廷予以批准。
1881年6月29日，李鸿章电告吴嘉善留美幼童全部撤回的最后决定，指示吴嘉善“须将局内经手公务了清方能起程回国”。
（图为1890年部分留美幼童的聚会合影）
特威奇尔在当年7月9日的日记中写道：“幼童留美的命运终结了。在所有努力付诸东流之后，它的命运彻底结束，一切辉煌愿景都烟消云散。唉，唉！朋友们都失望至极，其情难以言表。”
9
瞩目的成就
尽管一共有一百二十名幼童被送到美国，但有两名分别在1875年和1879年病故，另外约有七名学童由于健康等原因被送回国。
在全部被撤回的学生中，有六名学生很快通过其他途径自行返美，其中五人终生留在了美国。留在美国的这些学生后来在各自的职业生涯中并没有突出表现。然而他们中的李恩富所写的《我的中国童年》（When I Was a Boy in China），应该是留美华人用英文写作的第一部文学作品。
