1966年入冬时节，刘源发觉局势变得更加严峻，大批判和大字报正逐步“升级”，连朱德等一大批老一代革命家，都被诬蔑为“大军阀”、“黑司令”， 很多领导同志受到非人的折磨。他看到无能为力的父亲一连数日神情严峻，忧心如焚。经过反复考虑，刘少奇找到周恩来总理，说为了尽早结束运动，他要辞去国家 主席的职务。周总理心情沉重地说：“这不行，不行啊，这有个全国人民代表大会的问题。”后来，刘少奇还郑重地向毛主席提出此事，说要带着全家回湖南老家或 延安种地。刘源回忆说：“幼稚而年轻的我们得知爸爸的这些打算，突然觉得自己一下子长大了。以前，我们听说爸爸‘犯了错误’，感到难受、委屈；如今，我们 透过政治斗争的风雨，看到了爸爸那颗一切为了党和人民的炽热的心，爸爸在我们心目中更加高大了。”
这期间，渐渐懂事的刘源和父亲不止一次地进行过较深入的交流。刘少奇在保守党的机密的前提下，也给孩子们讲述了许多事情的真相。
刘少奇在处境最艰难时留下的遗言，至今让刘源刻骨铭心：
“我过去曾多次对你们说，对一个人来说，最大的幸福是得到人民的信任。取得人民的信任是不容易的。人民信任你，你就不能辜负人民。”
“群众现在认为我没有把他们交给我的工作做好，他们生气，对你们也会有过火行动，你们要理解群众，决不能有对立情绪，要经得起委屈。将来，你们会明白，中国人民是最可爱的人民。”
“年轻人要勇敢地走自己的路，许许多多的革命前辈就是在无数的坎坷中锻炼出来的。”
对刘少奇和王光美的批斗株连到刘源兄妹，他们经常在学校受到批斗和围攻。家庭的不幸也接二连三地发生了：刘源的哥哥姐姐们一个个被赶出中南海，哥哥刘允若和一直与他们住在一起的外祖母董洁如先后被逮捕入狱，大哥刘允斌在包头被逼卧轨自杀，大姐刘爱琴被关进“牛棚”……
