他的父亲杨第甫是大学生，湘潭人。早期到延安，共和国以后，最开始当湘潭县委书记兼县长, 有文化的领导人。 在湖南管过农垦，统战，文教，科技，名列周小舟的“湖南右倾机会主义反党集团”成员。文革以后湖南政协党组书记，常务副主席。对了解湖南前三十年的内幕有兴趣，可以去读他写的的回忆录《吹尽狂沙》。
他的叔叔杨迪少年跟着杨第甫去赴延安入抗大。后来跟随叶剑英赴重庆和北平军调处执行部。期间，杨开着摩托车带王光美兜风挺有趣，受到批评。其实，20岁出头的杨见了摩托手痒，喜欢开车上街，王也才20多岁也爱热闹仅此而已，没有顾及共军摩托带女学生兜风在国统区的形象。他一直做参谋工作。当过志愿军司令部作战处副处长，韩先楚指挥所参谋长，邓华指挥所参谋长，最后是沈阳军区参谋长。作为受过教育有文化的卸任参谋人员，他自己动笔完成了三本回忆录。《抗日战争在总参谋部》《创造渡海作战的奇迹》和《在志愿军司令部的岁月里》分别写于2002年，2000年，和1998年。他少年离家从未回故里。卸任之后才有空回湘潭故乡,专程到乌石镇瞻仰彭德怀故居。忆及跟彭在朝鲜浴血奋战的日日夜夜, 产生了撰写回忆录、记述历史的念头。费数年心血,于1998年纪念彭德怀诞辰100周年之际,由解放军出版社出版了《在志愿军司令部的岁月里》一书。这本书的出版和再版(2003年)都获好评，当时知情的老人们都还在，并没有什么质疑和争议。杨于2006年去世。这几年，蛋炒饭引起了很大争论甚至成为禁忌。最后都追根溯源到杨的回忆录。因此，很多人都在骂杨。
