不料，第二日拂晓情况发生变化，由于敌人重兵袭来，红四军不能打抚州了，需要马上转移，而回东乡的路也被敌军封锁了。彭祜说：“现在回不去了，你们是否愿意留在红军？”
舒同说：“我一直在找红军，当然愿意！”
于是，舒同转入了红军，在红四军政治部当秘书。就这样，他开始了长达几十年的军事生涯。
到1937年抗日战争全面爆发时，舒同已经是八路军总部秘书长。
10月中旬，党中央决定组建晋察冀军区，指定由第115师政委聂荣臻负责。聂荣臻希望八路军总部为他解决干部问题。八路军总政治部主任任弼时说：“是不是让舒同担任此职？他现在是总部秘书长，字写得很好，曾被毛主席称为马背书法家，正带着工作团在五台、定襄一带。“
聂荣臻欣然同意。
11月7日，晋察冀军区成立，聂荣臻为司令员兼政委，唐延杰为参谋长，舒同为政治部主任。从此，舒同作为三把手，在聂荣臻领导下，在晋察冀战斗了1000个日日夜夜，参与组织、指挥了晋察冀军区反日军多路“围攻”和反“扫荡”斗争。
1944年春，党中央决定舒同到山东工作。
