1951年5月，身体恢复后，徐的使命也只是率领中央政府兵工代表团访苏，10月下旬回国后又因病休养。“身体稍好后，主持了一段总参谋部的工作。1954年，任中央军委副主席，后军委分工我负责空军和国土防空工作。”（徐向前，1987：805）1963年分管民兵。这就是说，当徐可以正常工作时，就不再担任总参谋长了。继徐向前任总参谋长的，是原一方面军的粟裕。
离开总参谋部后，原副总长聂荣臻在军队的位置始终比原总长徐向前重要。彭德怀出局后，连朱德都只能任军委常委，聂却是名列林彪、贺龙之后的第三副主席。这一格局在“文革”中似有变化。
1967年2月10日，毛在中央常委扩大会议上宣布：中央常委扩大会以后要扩大，增加的人员中有徐而无聂。（刘树发，1995：1184）1973年初，毛在决定八大军区司令员对调的军委工作会议上，鉴于井冈山下来的只剩下二十多人和邓小平复出的现状，曾说“现在要多用四方面军的人，刘邓的人。”（陈士榘，1993：323）事实上，“文革”时期，四方面将领颇为风光，“九大”后进入政治局的军人中，新面孔除了林彪的黄、吴、叶、李、邱外，就是原四方面军的陈锡联、李先念、许世友、谢富治、李德生。
1978年，徐向前担任国务院副总理、国防部长，加上他的军委副主席、政治局委员的身份，形式上与此前几任国防部长一样。彭、林、叶三位元帅任国防部长时，都是主持军委日常工作的副主席，总参谋长则都是大将，国防部长显然是总参谋长的领导。
