1949年5月28日,上海市人民政府成立,首任市委书记由中共中央华东局书记饶漱石兼任。1950年1月,饶漱石不再兼任此职,由时任市长的陈毅兼任上海市委第一书记。
接替陈毅任上海第一书记的是柯庆施,他是任职时间最长的市委书记。从1954年10月到1965年4月病逝于任上,此前三个月,他刚被任命为国务院副总理。
柯庆施病逝后,陈丕显主持上海市委的工作。次年席卷全国的“文化大革命”爆发, 1967年,市长曹荻秋和市委书记陈丕显被打倒,张春桥“踢开党委闹革命”,担任上海市革委会主任直到1976年10月。