因为在一次会议上毛在刘讲话时插话，曾被刘无意中打断；在这次工作会议之前，邓小平考虑到这是一次例行的工作会议，曾对毛泽东说，你也可以不参加这次会议。
根据毛泽东讲话精神，12月31日，中央办公厅发出通知，说《纪要》“中央尚在修改中，请停止下发，并自行销毁”。1965年1月3日晚，毛泽东在中央政治局常委扩大会议上又不指名地批评刘少奇，说“四清”工作队1万多人集中在一个县“搞人海战术”，工作队学习文件40天不进村，是“烦琐哲学”，反人家右倾实际自己右倾。
不依靠群众，搞神秘化扎根串联，结果运动冷冷清清。1月8日，毛泽东在《纪要》中加写了一段话：“所谓四清四不清，过去历史上什么社会也能用；所谓党内外矛盾交叉，什么党派也能用；都没有说明今天矛盾的性质，因此不是马克思列宁主义的。”最后《纪要》形成23条，1月14日正式发出，这就是那个在当时家喻户晓的“二十三条”。
毛、刘关系出现裂痕，还可以追溯到1959年庐山会议。庐山会议原本是反“左”，彭德怀的信印发以后，突然变成反右，对此刘并不赞成。1962年七千人大会，刘说，产生困难的原因是三分天灾、七分人祸。发生的缺点和错误，首先要负责的是中央。显然，刘的这番话毛是难以接受的。
