1959年庐山会议以后，罗当总长也是林彪建议的。但是，仅仅经过一年，他们的关系就出了裂痕。1965年秋天，当林彪已经决心整罗瑞卿以后，曾经对陶铸说：“1960年，罗瑞卿对我的合作是好的。但是从1961年起，就开始疏远我、封锁我，到1965年便正式反对我了。”在上海会议期间，陶向罗转达了林彪这一段话。
林彪和罗瑞卿
罗瑞卿不同意林彪的指责，但是他也反思了林彪何以有这样的指责。“九一三”事件后，他在被监护的情况下对林彪和他的关系进行了系统的思考，并写了材料。他写道：“那么，在什么一些事情上，我触怒了他呢？因为他总是有什么病，经常不在北京，有些事我就请示主席办了。
或者主席有什么指示，我就布置执行了。有些重大一点的事，事后报告了他。有些事当时因为照顾他的病，也没有告诉他，我想，这样办，我在政治上、组织上都没有错误，因为主席不仅是党的主席，而且是党的军委的主席。他对我不经过他就直接向主席请示决定问题，表示不满，但又说不出口，我是感到了的。”
林彪
林彪对于罗瑞卿有时不经过他向毛泽东直接请示和决定问题不满，同时还对罗瑞卿有时支持别的元帅而不支持他不满。1961年春天，罗荣桓和林彪对如何学习毛著产生分歧，并在4月30日的军委常委会议上发生争论。林彪恨罗瑞卿没有支持他，并在一次接见罗瑞卿时冲他发了一通火。1965年2月，林托刘亚楼转话给罗瑞卿，说那次冲他发火是针对其他人的，是“迁怒”。
1962年秋，叶群向中央反映，林彪指挥部队入闽，累病了，需要休息。毛泽东决定，在林生病期间，由贺龙主持军委日常工作。毛泽东还多次向罗瑞卿提出，要他多向贺龙请示工作。罗瑞卿因此同贺龙交往多了起来。这也引起林的不满。有一次，他在同罗谈话时，突然说：“我们的威信不够吧？因为我们不是南昌起义的领导人。”
罗瑞卿不太明白林彪的意思。萧华对他说：“林总是不是觉得你和贺老总接触太多，而和别的元帅接近得太少啊？”这一期间，叶群也几次打电话给罗瑞卿，进行旁敲侧击：“总长啊，我们这里是个病人，又不会陪你钓鱼、打牌，你还是多来些吧。”
