60军的前身是晋冀鲁豫野战军第8纵队，首任司令员是上将王新亭。后改为华北野战军8纵，隶属华北军区第1兵团，直接归徐向前指挥，参加了临汾、晋中、太原等战役。该纵队第23旅，在临汾战役中，英勇奋战，首先登城，被授予“光荣的临汾旅”称号。在当时，以攻下的城市命名部队可是一种巨大的军人荣誉。 1949年全军进行整编，8纵改称中国人民解放军18兵团第60军，王新亭任军长兼政治委员，张祖谅任副军长兼参谋长。

　　60军先是参加了解放西北的扶眉战役，然后又跟着贺龙南下秦岭，一直解放了成都。1950年，60军在川西进行剿匪作战，在11个月内作战57次，肃清了川西匪患。1951年3月，60军作为第二批部队入朝参战。当时的军长张祖谅因任川西军区司令员，由韦杰继任军长。

　　1951年4月，60军归志愿军3兵团指挥，参加了第五次战役。在战役的第一阶段，60军突破土耳其旅的阻击，插入釜谷里，渡过汉滩川，占领永平、东豆川里地区，割裂了美25师、土耳其旅？军、法军各一部，又连续与美军发生激战，一直进攻至北汉江以南地区。不久，美军发起反击，学中国军队打起了机械化穿插，一举割裂了中国军队的战线。60军左右两翼都已暴露，恰此时3兵团电台车被炸，军部与兵团部失去了联系。韦杰命60军180师在北汉江以南组织防御，以掩护全兵团的伤员转运。

　　然而因美军进军速度太快，志愿军的通讯联络系统又严重滞后，180师很快陷入了被敌四面包围的险境。韦杰急命60军其他两个师进行解围，但都被美军击退。而180师的领导却临阵犹豫，突围决心不坚决，反而下了分散突围的命令，终于使局面不可收拾。最后，180师师部领导机构突围出来了，但全师1万余人损失了7000人，其中5000余人被俘，成为中国军队在朝鲜战场上的奇耻大辱。战后，60军撤回后方进行整训，军长韦杰被撤职。

　　1952年秋季，60军配属第20兵团，接替第68军担负东起文登里、西至北汉江一线的防务。此时张祖谅已入朝复任60军军长。当面之敌为韩3师、韩5师和韩6师，60军先是组织了26次小型的战术反击，其中25次胜利完成任务，歼敌数千人。

　　1953年5月，中国军队发起夏季反击战役。在第一阶段中，60 军连战14天，作战13次，歼敌1735人，推进阵地0。5平方里，自己伤亡500余人。在第二阶段中，60军大胆采用敌前潜伏战略，在韩5师眼皮底下埋伏了179师和181师共3500人的大部队。结果一战成功，夺占全部阵地，创造一战歼敌一个团的阵地战纪录。而180师如法炮制，以2000人的部队进行敌前潜伏，也打了一个漂亮的翻身仗。其后60军击退了韩军数百次进攻，巩固了新夺占的阵地。统算下来，60军在此战中扩展阵地45平方公里，歼敌 14800余名。这在志愿军阵地战阶段，可算是各军中独一无二的战绩了。