1939年5月，关东军和苏联、蒙古军队在诺门罕发生武装冲突，结果关东军遭到惨败，日本全国震动，平沼内阁因此辞职，关东军司令官植田谦吉和参谋长矶谷廉介被撤职。
1941年6月德国入侵苏联，日本为了在战略上配合德国，在7月间组织了以苏联为假想敌的大规模特别演习——关特演，所辖部队也井喷式扩张，达到了31个师团，总兵力更是达到85万，这也是关东军最鼎盛的时期。而且由于装备精良训练有素，关东军也被誉为“皇军之花”，成为日本陆军中最精锐的一支力量。
1941年12月太平洋战争爆发，关东军主要担负维持“北方静谧状态”的重任，并于1942年10月升格为总军，关东军司令部也随之改称关东军总司令部。总军是日本陆军在二战期间最高级别的部队编制，下辖若干方面军，司令为陆军大将，相当于苏联的方面军或美国的集团军群，在战时日本陆军总共只有6个总军。
从1943年下半年起，为挽回太平洋战场的颓势，日本大本营开始不断从关东军抽调兵力和作战物资增援太平洋战场，不完全统计就有多达13个师团被抽调到太平洋战场。1945年4月，美军发起冲绳战役，眼看本土危在旦夕，日军又从关东军抽调了7个师团用于加强本土防御。关东军最高峰时期（1942年）80%的兵力和三分之二的作战物资被调走，曾经不可一世的关东军已经沦落到只剩空架子的“稻草人部队”。
尽管日军征召了25万在东北的侨民组建16个新的师团，并从关内调来了4个师团，使关东军恢复到24个师团又9个独立混成旅团以及若干边境守备队，总兵力达到约57万人。但其中大部分都是1944年以后组建的毫无作战经验的新部队，而且装备奇缺，甚至连人手一支步枪都做不到。因此1945年8月8日苏联对日宣战，苏军出兵东北，关东军虽然拼死抵抗也无异于螳臂挡车。8月15日日本天皇宣布战败投降，关东军也因此烟消云散。
