军衔等级设置是军衔制的核心内容。当时世界各国的军衔等级设置不同：多数国家军官分将、校、尉3个等级。部分国家在将官之上还设有元帅。但不少国家的元帅衔一般只在战时授予功勋卓著的高级将领，平时很少有人被授予。另有个别国家把准尉当做不同于尉官的单独一级军官军衔。士兵军衔，各国通常分为军士(士官)和兵两个等级。如此细分起来，军衔最多可分为帅、将、准将、校、尉、准尉、军士、兵8个等级。当时在东方阵营中，苏联军队规模大，编制等级多，军衔设置比较复杂，规格也很高，仅元帅就设3级：大元帅、元帅和海军元帅、军兵种元(主)帅，而军兵种元帅则与大将同级；朝鲜、波兰、民主德国、南斯拉夫、罗马尼亚、保加利亚、古巴等国，都设有元帅一级。而匈牙利、捷克等国，则不设元帅衔，大将为最高军衔。实际上，元帅作为最高军衔，除苏联外，其他国家一般是授予最高统帅的荣誉称号，而并非为军队将领设置的军衔。如南斯拉夫的铁托、朝鲜的金日成、罗马尼亚的齐奥塞斯库等。苏联的大元帅，则是专为斯大林设的。
1952年冬，军队有关部门根据中央军委的指示，开始着手进行军队军衔制具体实行的方案策划工作，并于当年11月26日拿出了方案，由总干部部向毛泽东及中央军委呈上书面报告。这份方案是，军衔设6等20级。“6等”，即：帅、将、校、尉、军士、兵。“20级”，即：元帅分3级：大元帅、国家元帅、兵种元帅。将官分4级：上将、准上将、中将、少将。校官分3级：上校、中校、少校。尉官分4级：上尉、一级中尉、二级中尉、少尉。军士分4级：准尉、上士、中士、下士。兵分2级：上等兵、列兵。
这个方案是在苏联顾问卡苏林的参与下制定出来的，基本上是苏联军衔制的一个翻版，略微与苏联有所不同的是，在将级军衔中多了一个“准上将”。
对这个方案，当时，总干部部提出，在“少将与上校之间拟有必要增加‘准将’一级”，总干部部提出的主要理由就是，我军当时的现状是，军、师干部共分6个等级，即正军、副军、准军、正师、副师、准师。在这样情况下，就会出现“将较弱的军长和副师长合并为少将一级，在这一级内存在的悬殊很大”的状况，这对于我军的现状来说是一个很大的矛盾，而能够解决这一问题的办法就是在军衔系列中设置“准将”。
但这个充分酝酿的设想，却遭到了苏联顾问卡苏林的反对。因为当时的苏联军队中的副师长通常就是上校。如果我军设置了准将这一军衔，副师一级的军官就可以被授予准将。也就是说，与苏军同等的我军副师长，按照这个方案就可能高于苏军的同等军官军衔。这样，在与我军的交往中，对于苏联军官是不利的，所以卡苏林坚决反对。莫斯科也发来电报支持卡苏林的意见，中方最终妥协。
1953年中央军委又不得不重新搞了另一套方案，这个新方案是在第一个方案的基础上制定的，称作《中华人民共和国人民解放军军衔条例(草案)》。草案充分考虑了苏联方面的意见，同时也参考了其他国家的军衔制度，并结合当时我军的具体情况，在少将与上校之间增设了一个“大校”军衔，这个方案基本上满足了几方面的需要。同时在新方案中，把在第一方案中称作“上将”、“准上将”的军衔分别改称为“大将”、“上将”。对于尉官系列也作了较大的调整，原来在第一方案中被称为“上尉”、“一级中尉”、“二级中尉”的军衔，被改为“大尉”、“上尉”、“中尉”，同时保留原方案中的“少尉”军衔。准尉以下的军衔基本上沿用了第一方案中的叫法。这样，第二套方案即为6等21级：大元帅、国家元帅、兵种元帅；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉；准尉、上士、中士、下士；上等兵、列兵。
在制定军衔方案一年内，军委领导再次把军衔问题提到了议事日程。从1953年12月至1954年年初，在北京召开了一个长达55天的军委高级干部会议。这次会议明确提出了要在中国人民解放军中实施军衔制、干部薪金制和义务兵役制三大制度。
这次会议之后，又经过充分的准备，1955年1月，中央军委发布了《关于评定军衔工作的指示》，对军衔评定工作给予了政策性的规定，并将士兵军衔定为2等5级，即：上士、中士、下士；上等兵、列兵。
