应该是刘少奇把他抛弃了，因为组织部副部长安子文有刘少奇撑腰，有严重错误却不认错，还天天和饶吵架

刘少奇过去一直支持饶漱石，但是，在饶漱石指责安子文后，安子文当晚就来到刘少奇处，详细汇报了饶漱石的言行，并且分析说，我估计饶漱石如果不是精神失常，就是把你、我和彭真、薄一波四个人划成了一个圈圈，存心要把我从组织部赶走。

当时正好薄一波被高岗批评，于是，刘少奇联系到批薄倒刘，批安伐刘，认为饶漱石背叛了自己，就决定抛弃饶漱石，把高岗和饶漱石放在一起打倒