1950年一月，中共中央决定，中共中央华东局与中共上海市委分开。陈毅任中共上海市委第一书记。

1949年5月28日，上海市人民政府成立，首任市委书记由中共中央华东局书记饶漱石兼任。1950年1月，饶漱石不再兼任此职，由时任市长的陈毅兼任上海市委第一书记。

接替陈毅任上海第一书记的是柯庆施，他是任职时间最长的市委书记。从1954年10月到1965年4月病逝于任上，此前三个月，他刚被任命为国务院副总理。

柯庆施病逝后，陈丕显主持上海市委的工作。次年席卷全国的“文化大革命”爆发， 1967年，市长曹荻秋和市委书记陈丕显被打倒，张春桥“踢开党委闹革命”，担任上海市革委会主任直到1976年10月。