1946年内战爆发后，重要将领纷纷走上前线，徐却还得在延安养病，1947年与徐特立、王明等人撤出延安后，他要求重返太行。1947年6月，就任晋冀鲁豫军区（即原一二五师）副司令，此时刘邓、陈谢大军先后南进，徐的任务是在后方保障后勤。
但他没有满足于当后勤部长，很快就把军区所属的地方部队约五万人升级。这支新部队以打下运城、临汾的战绩而在1948年6月编为华北野战军第一兵团，打下晋中后改编为第十八兵团。1949年月4月，打下太原后，这个兵团即被彭德怀带到西北战场，徐先在太原、后在青岛养病。1948年的聂正徐副有其合理性。
毛泽东时代，国防部长和总参谋长主要由一方面军的人担任。国防部长彭德怀、林彪、叶剑英，总参谋长粟裕、黄克诚、罗瑞卿、黄永胜都是江西出来的。1959年庐山会议后，罗荣桓曾提议由贺龙为国防部长，毛未予首肯。
但恰恰是毛一直没有信用的徐向前，既做过国防部长也任过总参谋长，这主要是对前四方面军总指挥历史地位的象征性尊重。1949年10后，聂、徐的地位对调了一下，徐正聂副。不过此时徐还在养病，总参工作实际上一开始就由聂代管，1950年初，聂被正式指定为代总长。
