1980年3月最高首长提出“军队还是要搞军衔制”。两年后，总部正式作出恢复军衔制的决定。
但横亘在面前的一道难题是军队的遗留问题很多，如体制不顺、干部超编、年龄老化、官兵比例不合理等。针对上述情况，总部决定在精简整编之后再进行恢复军衔的工作。1982年起，总部撤销了铁道兵和基建工程兵，将炮兵、装甲兵、工程兵划归为总参二级部，并对军、师级领导班子进行大幅调整。
1983年，总部成立恢复军衔制领导小组，5名开国上将我负责召集，这意味着军衔恢复工作正式启动。全军恢复军衔制领导小组下设办公室，也就是军衔办。
军衔办成立以来，面临的一个难题是最高军衔是什么！元帅吗？显然不合适！大将？这个好像也不行。到了80年代，在战争期间有卓越功勋的高级将领不少已经离世，在世的年事也已高，不在授衔挂帅之列。当时在位的军以下干部大多都是和平时期成长起来的，军功无法与战争时期的将领相提并论。因此起草《军官服役条例》时，许多人不主张设高衔，也就是不设元帅和大将。
最后，最高首长一锤定音：和平年代，军衔最高设到上将！
于是，军衔办就有了目标：取消元帅、大将和大