1946年8月,罗荣桓乘火车到莫斯科,切除右肾。术后伤口破裂,引起大出血,又再次缝合。1947年3月,复查发现他的左肾也有问题。加上高血压和心脏病,医院建议他到克里米亚疗养。但这时国民党军已占领了延安,罗荣桓决定立即回国。出院证上写着建议疗养三年,又规定每天工作不能超过三小时,但罗荣桓并没有休息。平津战役后,罗荣桓到天津视察,与干部谈话时突然晕倒。毛泽东派保健医生黄树则为他治疗,并让他安心养病,暂不要随军南下。
新中国成立后,罗荣桓出任最高人民检察署检察长。1950年4月,罗荣桓任解放军总政治部主任,并负责筹建解放军总干部管理部,并兼部长。那段时间,适逢抗美援朝战争,部队精简整编,实行军衔制,罗荣桓的工作很多很忙。
1954年6月19日,罗荣桓被任命为人民革命军事委员会副主席。
1956年,由于劳累过度,罗荣桓的心绞痛反复发作,有时一天几次。9月2日,罗荣桓给彭德怀转军委并报中央、主席:请求解除总政治部主任及总干部部部长等职,建议由谭政接替总政治部主任。中央军委随后同意。
1960年,罗荣桓再次出任总政治部主任。
1962年,罗荣桓的病越来越重,血压不稳,心脏也不好。1963年9月28日,肾衰引起尿毒症,罗荣桓住进北京医院,进行腹膜透析。毛泽东、刘少奇、朱德等对他的病情非常关注,指示医院大力抢救。1963年12月16日,罗荣桓逝世。当晚,毛泽东在中南海颐年堂主持会议。会前,毛泽东提议大家起立为罗荣桓默哀。几天后,毛泽东写成七律《吊罗荣桓同志》,这是毛泽东唯一的悼念元帅诗。12月19日,毛泽东、刘少奇、朱德、邓小平等党和国家领导人来到北京医院,向覆盖着中国共产党党旗的罗荣桓的遗体告别。12月21日,首都各界6万多人来到劳动人民文化宫吊唁。12月22日上午9时,刘少奇、朱德、邓小平、林彪等吊唁,并轮流守灵。10时,人民大会堂举行公祭大会,国家主席刘少奇主祭,朱德、邓小平、林彪陪祭。总书记邓小平致悼词,称罗荣桓是解放军的杰出领导人之一,对中国人民解放事业作出了不可磨灭的贡献。公祭结束,林彪与邓小平等护送罗荣桓的骨灰到八宝山革命烈士公墓。后来,罗家儿女将父母的骨灰合葬在八宝山革命公墓一区。