在新中国成立之初，解放军陆续成立了总参谋部、总政治部、总后勤部、总干部部，即“四大部”管理体制。为了改善这种情况，1954年11月后，我国参照苏联的模式，又陆续新增了总军械部、总财务部、训练总监部、武装力量监察部，形成了“八总部”体制。
建国之初，刘振杰是聂荣臻元帅的秘书之一，在总参谋部的工作给刘振杰留下了深刻的印象。他回忆:1950年2月，我在华北军区司令部当作训参谋，一纸调令飞来，上面盖着代总参谋长聂荣臻的大印，把我调到了总参谋部，担任聂荣臻的秘书。
1949年，新中国成立了，随着新中国的成立，该如何发展成一个强国成了当时的重中之重，别的不说，首先就是军事上的过硬，所以我们成立了人民革命军事委员会总参谋部，由徐向前同志任总参谋长，聂荣臻同志任副总参谋长。
1955年共和国军队评衔时，人民解放军总部机构由原来的四总部发展为八总部，其中总参谋部为八总部之首，为军委的首脑部，总参谋部是中央军委负责全国武装力量建设和作战指挥的军事领导机关，到1955年9月军队授衔时，总参谋部共下设作战部、情报部、第三部、通信部、组织编制部、动员部、装备计划部、队列部、军事交通部、行政经济管理部、政治部、机要局、测绘局、干部局共11个二级部、3个直属局以及8个总参直属院校，另还负责管理中国援越军事顾问团与中国驻外大使馆武官等。
