1954年夏，李先念调到中央工作。9月，任国务院副总理兼财政部长，协助周恩来、陈云领导经济建设，1955年在评定大将的初步方案中是有邓小平、李先念等人的，但是后来他们都没有被授予军衔，毛泽东说：根据国际国内的经验，这个大元帅我不能要，毛泽东又问过去长期在军队担任领导工作，后来转到地方工作的谭震林、张鼎丞、邓子恢、李先念等人：你们几个的大将军衔还要不要评啊，这几位也都说：不要评了，不要评了。1950年初，党中央决定调耿飚同志到外交部工作，开始了他长达20多年的外交生涯。至1971年，他先后担任中国驻瑞典王国大使兼驻丹麦、芬兰公使，驻巴基斯坦大使，外交部党委委员、副部长，驻缅甸、阿尔巴尼亚大使等职1979年1月2日，耿飚被调回军中任职，1981年3月，72岁的耿飚担任国防部长，是新中国的第5位国防部长，也是唯一没有军衔的国防部长。