就在这时，林彪提出了对罗瑞卿的严重指责，这使毛泽东处于必须同意林彪的地位。 为了将罗的罪名坐实，1966年3月又开了京西宾馆会议，并通过吴法宪逼迫刘亚楼的遗孀在吴一手炮制的伪证上签字，此次会议导致罗3月18日跳楼。
随后，林彪在五一八讲话中，便大讲政变，列举了从春秋战国到民国，历代宫廷政变的血腥材料，耸人听闻地说彭、罗、陆、杨“要杀人，要篡夺政权”，把彭、罗、陆、杨硬捏在一起，尽管这四位之间并没有什么联系。直到此时，毛泽东仍然不愿意把罗瑞卿打倒。他曾设想要调罗瑞卿到江西工作。
附带说一句，罗当时由于兼职多，是中央书记处的书记，军衔虽然是大将，但见报时他的位置有时排在几位老帅之前。他是军委秘书长，中央和军委开了什么会，要他去向各位老帅报告，实际上是传达。这种状况当然不是他个人造成的。而他工作起来从不推诿，因此，一些干部认为他太突出，太露锋芒。但是，这些都不能成为被打倒的理由。
罗瑞卿女儿忆：文革前某将领长期霸占自己侄女
