1931年6月，刘青山经徐云甫介绍加入中国共产党。翌年，随中国工农红军第二十七军第一支队参加河北高，蠢暴动，参与组织了中国工农红军冀中支队，这是在红军史上被人遗忘的一支部队。
今天人们只知道战斗在江南，中原和西北的三个主力方面军和陕北红军，但是很少有人知道在冀中，也有这样一支红军小部队，刘青山就是这支部队的早期干部。后来，他被国民党逮捕入狱，在严刑逼供下坚贞不屈，表现出了坚强的党性。
1937年10月，刘青山被选送抗大学习。1938年8月，出任中共大城县委组织部长。为壮大党组织，刘青山等人组办民运训练班，亲自为学员讲课，培训出许多优秀干部。
同时，他和县委一起创建县大队和八个区小队抗日武装。1941年3月，刘青山任中共大城县委书记。是年9月，调任中共任河(任邱、河间)县委书记。
在残酷异常的1942年日军五一大扫荡中，他依靠群众，带领县大队进行了艰苦卓绝的反扫荡斗争，在人民中赢得了崇高的威信，冀中人民爱护他，拥戴他，冒着生命危险掩护他，刘青山也并没有让冀中人民失望，始终战斗在第一线，而且很有工作能力，受到了冀中领导的表扬。
1944年10月后，因为工作出色，调任中共冀中八地委城工部长、组织部长、地委副书记。1945年10月，任中共冀中八地委书记兼冀中军区第八军分区政治委员、地委党校校长，与任八军分区司令员的孙毅密切配合，为解放战争的胜利作了很多工作。
解放后被授予中国人民解放军中将的孙毅和第一任天津市委书记的黄敬当时对他十分的赞许，以至当刘青山因为贪污被捕时，黄敬念及这位得力老部下当年的贡献，四处说情企图免其一死。
