1943年3月,经过五年多的争议,中央终于下定决心在山东实行一元化领导,任命罗荣桓为山东军区司令员兼政治委员,第115师政治委员兼代师长,成为山东根据地的党政军一把手,很快在罗荣桓的领导下,山东军区对军事指挥机构进行了精简合并,困扰中央多年的山东纵队和115师两大山头并存的问题终于得到了解决。
1945年抗战胜利之后,山东军区对所属部队进行整编,将原来的5个军区,22个军分区,3个教导团,18个独立团,24个基干团,4个独立旅,2个支队,1个海军支队,113个县大队,800多个区中队,编成了8个野战师,12个警备旅,1个海军支队,总兵力达到将近30万。