此时，中共山东分局，由罗荣桓、黎玉、萧华组成，以罗荣桓为书记。舒同到达后，增补为委员兼秘书长，为第四把手。
1945年9月，罗荣桓奉命率部前去东北。不久，陈毅来到山东。随即，陈毅被任命为新四军军长兼山东军区司令员，张云逸为副军长兼副司令员，黎玉为副政委，陈士榘为参谋长，舒同为政治部主任。舒同为第五把手。
舒同觉得自己难以胜任，找到陈毅说自己不熟悉新四军，希望组织上另外物色人选。陈毅把手一挥，大声地说：“什么胜任不胜任，当仁不让嘛！这个是工作的需要，有什么好谦让的！”
结果，舒同的政治部主任当得很出色。后来又兼任了华东局的宣传部长、社会部长。
1947年初，国民党军第46军开到山东，军长韩练成与党组织联系，希望起义，要求派一个能代表中央或华东局的人来说话。华东局商量后，决定派舒同去。
但是，舒同是华东局常委、新四军兼山东军区政治部主任，派如此高层领导深入敌穴，没有先例。众人只好请示陈毅。陈毅回电：“不入虎穴，焉得虎子！”
舒同一去，果真与韩练成达成三条协议。
