杨尚昆说他一生做了两件违心的事：一件是1978年11月28日，为了尽快出来工作，违心地在留有尾巴的审查结论上签了字；另一件就是在庐山会议上违心地批判彭德怀。对后者，他一直是心怀内疚的。他和我们详细讲述了庐山会议从纠“左”转向反右，特别是批判彭德怀的情况。
7月23日，毛泽东在大会上讲话，对彭德怀的《意见书》中的观点逐条批判。他声色俱厉地说，假如做了10件事，9件都是坏的，都登在报上，一定灭亡，应当灭亡。那我就走，到农村去，率领农民打游击，造反。你解放军跟不跟我走？我看解放军会跟我走的。毛泽东把问题看得如此严重，会议气氛骤然紧张。
7月26日，毛泽东又以《对于一封信的评论》为题批印了东北协作区办公厅干部李云仲反映当时经济生活中一些问题给他的信。这封万余言的长信，既反映了一些重大问题，指出在反对右倾保守思想的同时，忽视“左”倾冒险主义的侵蚀；关于农民和工农关系问题以及计划工作中存在主观主义等；也反映了一些具体问题，如指出铺张浪费之风严重等。毛泽东对此信作了长达2500字的评论，指责信的作者专门搜集缺点方面的材料，而对成绩方面的材料，可以说根本不发生兴趣。他认为“现在党内党外出现了一种新的事物，就是右倾情绪、右倾思想、右倾活动已经增长，大有猖狂进攻之势”。这一天，各小组又传达了毛泽东讲的几句话：“事是人做的，对事，也要对人。要划清界限，问题要讲清楚，不能含糊。”话不多，但分量很重。一个文字评论，一个口头谈话，意思是明白的，同彭德怀划清界限，反右！
7月30日，迫于当时形势，我（指杨）在小组会上也不得不违心地批判彭德怀。我说《意见书》的政治方向，是反对建设时期总路线和1958年以来的“大跃进”、人民公社化运动的。
7月31日、8月1日，中央政治局常委两次开会，在小范围内清算彭德怀的历史总账和思想根源。但是会议情况都及时地向各小组传达，推动了大范围对彭德怀的斗争。
8月2日，中共八届八中全会开幕。毛泽东在讲话中把对彭德怀的批判提到路线斗争的高度，要求大家讨论路线是非问题。同日，毛泽东写信给张闻天，信中说“你陷入那个军事俱乐部里去了”，说彭德怀同张闻天是“文武合璧，相得益彰”。军事俱乐部是怎么回事呢？就是在会议期间，有人看见黄克诚、张闻天、周小舟曾经到彭德怀那里去串门，这本来是同志间的正常交往，可就是有人把它当做问题煞有介事地反映给毛泽东，大概是表白自己同彭德怀划清界限吧。毛泽东就说他们是军事俱乐部。其实，张闻天、周小舟根本与军事无关；彭德怀主持军委工作，黄克诚是总参谋长，他们交往密切是很正常的。
当时给彭德怀戴了几顶帽子，说彭德怀的《意见书》是“争取群众”、“组织队伍”，是“有组织、有计划、有准备的反总路线、反党中央、反毛主席的活动”，“代表右倾机会主义向党进攻的纲领”。彭德怀是“漏网的高饶反党集团的重要成员”，是“里通外国”、“与苏修反华相呼应”。彭德怀从维护大局出发，不得不违心地反复检讨，承认“客观上起了反对‘三面红旗’的作用”，“造成严重后果”，但始终不承认“高饶反党集团成员”和“里通外国”。
黄克诚是7月17日才到庐山的。19日，黄在小组会上发言，对“三面红旗”的看法和彭德怀的观点差不多。于是有人批评他，他懵了。当晚，他跑来找我，问我怎么回事。我把前一段会议情况向他作了简要介绍。他说不管怎么样，有些话我还是要说。23日，毛泽东讲话后，黄克诚同许多人一样，思想不通。当晚，周小舟、周惠、李锐一起到黄的住处，议论毛泽东的讲话。周小舟说了一些过激的话，还说：“主席有没有斯大林晚年的危险？”黄克诚劝他们，有意见应直接找主席当面谈，不要随便议论。这件事后来传出去了，就成了他们背后进行反党活动的证据。
7月21日，张闻天在小组会上作了长达3小时的系统发言。在这以前，胡乔木听说张闻天准备发言，特意给张打电话，要他“注意形势，少讲缺点”。但是张闻天还是按照他准备的发言提纲讲了。他在基本肯定了“大跃进”的成绩以后，着重讲了缺点、缺点的后果以及产生缺点的原因。他肯定彭德怀的《意见书》，说：“这份《意见书》提出了一些问题，中心内容是希望总结经验，本意是很好的。但是从各方面的反映看，不少同志似乎对彭德怀同志这个出发点研究不多，只注意了他信中的一些具体说法，其实是肯定了成绩的。他说，成绩是基本的，这同大家说的一样。至于个别说法，说得多一点少一点，关系就不大。”他强调，“现在的问题是防止骄傲自满、麻痹大意的情绪。要更多地看到存在的问题的一面。”他指出：“总结经验时，就不能满足于说缺乏经验，而应该从思想观点、方法、作风上去探讨。”张闻天的发言材料翔实、观点鲜明，论述有理有据，讲后反应很大。后来把张闻天的这篇讲话说成是对彭德怀的《意见书》“全面系统地发挥”。
还有一个小插曲。按照惯例，与会同志在小组会上发言，都摘要刊登会议《简报》。那天，刊登张闻天发言要点的《简报》刚刚准备付印，他就打电话来要求撤回。我就去请示刘少奇。刘少奇说：“人家自己的东西，要求退回去，就退给他吧。”这说明张闻天在思想上也有顾虑。他在会上评说“大跃进”的缺点是冒了很大风险的。他要求退还他的发言稿，对我来说也很为难，如果我不请示刘少奇就退给他，就会有人说我同“教条主义者”又弄到一块去了。
周小舟那时有些年轻气盛，加上他过去曾经当过毛泽东的秘书，在毛泽东面前说话不大拘谨。在庐山，开始他比较活跃。7月11日夜，毛泽东找周小舟、周惠、李锐谈话，周小舟反映“大跃进”中下面干部讲假话的情况，还说“上有好者，下必甚焉”。毛泽东听了不但没有表现反感，反而谈笑风生，气氛轻松。这次谈话后，周小舟就向人散布空气，说毛泽东要反“左”，引起下面议论纷纷。周恩来听到议论，问我这是从哪里传出的话。我告诉周恩来，听说是周小舟讲的。周恩来就让我转告周小舟，不要再传这个话了。周小舟也把毛泽东找他们谈话的情况告诉了彭德怀，并怂恿彭也去找毛泽东谈谈。彭怕当面谈不好，就写了7月14日给毛泽东的那封信。16日，彭的信印发以后，周小舟在小组会上表示赞同。23日毛泽东讲了话，周小舟就成了重点批判对象。
8月10日，小组会上有人揭发周小舟在7月23日毛泽东讲话的当天晚上，在黄克诚处讲过“主席像斯大林晚年”的话。全场大哗。
后来又有人揭发李锐曾向周小舟转述田家英说过：将来有一天他调离中南海时，准备向毛泽东提三条意见：(一)能治天下，不能治左右；(二)不要百年之后有人来议论；(三)听不得批评，别人很难进言。这又引起巨大震动。李锐当场咬定这话不是田家英说的，是他自己的想法。会议转向批判李锐，被刘少奇制止，说李锐不是中央委员，他的问题另外解决。
庐山会议从纠“左”转向反右，彭德怀的《意见书》是“导火索”，看来事情带有偶然性，其实不然。会议前期，大家思想并没有敞开，对形势的估计一直存在分歧，一些不同意见遭到压制。毛泽东原来估计，彭德怀的《意见书》印发后，会引起一些人的批评和反对，而实际情况却是得到了不少人的同情和支持。
毛泽东怀疑党内有人在刮风；一些“左”派人物感到批评“三面红旗”的人越来越多，会使人泄气。担心“左”派队伍守不住阵地，有人就到毛泽东那里去告状，要求毛泽东出来讲话。与此同时，从中央到地方都不断传来对“三面红旗”的尖锐批评；在国外，赫鲁晓夫和东欧国家的一些领导人，也连续发表批评中国“大跃进”和人民公社的讲话和文章。这一切都使毛泽东感到形势严重，必须进行反击。
会议从纠“左”转向反右，事先并没有经过中央政治局常委讨论。刘少奇对反右是有保留的。他曾找胡乔木谈话，表示对彭德怀的《意见书》可以在小范围内批判，总的部署还应继续纠“左”，《记录》要争取发出去，让下面继续纠“左”。他要胡乔木向毛泽东反映这个意见，胡乔木说这已经不可能了。
周恩来担心彭德怀对突如其来的严厉批判身心承受不了，就要我安排彭的夫人浦安修上山，从生活上照顾彭德怀。
8月1日，朱德在中央政治局常委会议上就彭德怀的《意见书》谈自己的看法，言词比较缓和，还没有讲完，就被毛泽东打断，指责他“隔靴搔痒”，弄得朱德下不来台。林彪调子最高，说彭德怀“这回是来招兵买马的”，“想当大英雄”，“是野心家、阴谋家、伪君子”；又说这次解决彭德怀的问题，消除了党内可能出现分裂的隐患和避免了经济上出现大马鞍形。林彪的话得到了毛泽东的赏识。
邓小平、陈云因病留守北京，没有参加庐山会议。
8月16日，八届八中全会闭幕。全会通过了《为保卫党的总路线、反对右倾机会主义而斗争》的决议和《关于以彭德怀同志为首的反党集团的错误的决议》。会后，从中央到基层全面开展反右倾斗争，错误地批判和处分了大批党员和干部。
