解放战争时期，35军的前身为国民党整编84师，师长吴化文，归驻徐洲的国民党第二兵团邱清泉指挥，兵力两万余人。1948年4月，整编84师至济南增援王耀武。济南战役，王耀武为拉拢吴化文，力保吴化文升任整编96军军长兼84师师长。1948年9月16日，济南战役开始后，3天后，吴化文率96军两万余人起义。一个月后，改编为中国人民解放军第35军，吴化文任军长，保持原建制，直属华东野战军。淮海战役期间，35军一直在整训并做为预备队，未直接参战。
1949年1月淮海战役结束后，35军与原属华野2兵团的鲁中南纵队合并，成为新的35军。下辖三个师。吴化文原部缩编为3个团，每师各1个团。每师另两个团为鲁中南纵队原部。
鲁中南纵队在解放战争初期，与吴化文部为死敌，反对合并，认为这是“包办婚姻”、“强迫婚姻”。陈毅出面做工作。鲁中南纵队的人对此依然不服，后召开全军干部大会，吴化文检讨了自己历史上的罪恶，矛盾才缓和下来，完成35军的整编。属华野第7兵团（司令员王建安）建制，4月，又调归第8兵团（司令员陈士榘）指挥。
第35军成立后主要战绩即为解放南京。1949年4月20日，渡江战役开始。4月21日，35军攻占江浦，22日，攻占浦口，23日，开始渡江。24日凌晨，占领南京国民党总统府。
