但是由于缺乏经验，对精简工作的重要性也认识不足，在思想认识上提高不多，工作整体上改进不明显。
为此，1942年6月30日，陕甘宁边区政府第二十六次政务会议讨论通过《陕甘宁边区政府系统第二次精兵简政方案》，第二次精兵简政开始。
这次精简工作的重点是建立边区政府本身的工作制度，上级机关也精简了一些人员，但又都充实进了基层组织，实际精简幅度不大。
到1942年9月，第二次精简结束。在两次精简的基础上，陕甘宁边区根据中央指示准备进行第三次精简并做了比较充分的准备。
1942年9月中旬，陕甘宁边区组织人员对之前的精简工作进行了认真检查。这次检查工作实际上是总结第一、二次精简工作的经验，发现工作中存在的问题，为第三次精兵简政工作做思想准备和组织准备。
在此基础上，1942年9月下旬，陕甘宁边区专门召集分区专员，延安、安塞、甘泉等县县长，以及其他一部分县、区、乡干部，举行简政座谈会。这次座谈会后，大家从思想上对精兵简政工作进一步提高了认识。
毛泽东对精兵简政工作一直非常关注。1942年12月，他在西北局高干会议上作了《经济问题与财政问题》的著名报告，其中再次提到精兵简政。
