1966年文革爆发后，在“破四旧”运动中，河南豫剧团几乎所有的老艺人、名演员全部遭到批斗、侮辱，常香玉自然在劫难逃。她首当其冲地被造反派批判为“大戏霸”、“反动戏剧权威”，遭剃头、画脸、挂大牌子游街，而且在她经常演出的郑州人民剧场前开批斗大会，当场烧毁包括“木兰从军”、“红娘”在内的珍贵的古戏装行头。
那时，常香玉还被定成中统特务。有一天，她被4个人五花大绑的架出去要枪毙，后来等了2个钟头也没见动静。就在常香玉惊恐不安的时候，一个炊事员走过来，说那是闹着玩的，给她松了绑。也因为被长期批斗关押，常香玉连父亲临终前都未能见上最后一面。
1968年，常香玉和其他豫剧演员统统被赶到乡下进行劳动改造，而她下放的地点就是中共前高官万里的儿子万伯翱当知青的地方，他后来写的一篇文章还原了当时常香玉的处境。
因为常香玉的名声，当地人并没有为难她，也没有开大会批判过她，只是在她被分配到果园看守果实时，有个老工人跟着监护。后来看管慢慢松了，常香玉也和大家打成了一片，有时也在果园没人处，练练腰腿、喊喊嗓子。
至于常香玉的丈夫陈宪章，在其被批斗时，也已被抓起来进行“群众专政”。
