1966年文革爆发后,在“破四旧”运动中,河南豫剧团几乎所有的老艺人、名演员全部遭到批斗、侮辱,常香玉自然在劫难逃。她首当其冲地被造反派批判为“大戏霸”、“反动戏剧权威”,遭剃头、画脸、挂大牌子游街,而且在她经常演出的郑州人民剧场前开批斗大会,当场烧毁包括“木兰从军”、“红娘”在内的珍贵的古戏装行头。
那时,常香玉还被定成中统特务。有一天,她被4个人五花大绑的架出去要枪毙,后来等了2个钟头也没见动静。就在常香玉惊恐不安的时候,一个炊事员走过来,说那是闹着玩的,给她松了绑。也因为被长期批斗关押,常香玉连父亲临终前都未能见上最后一面。
1968年,常香玉和其他豫剧演员统统被赶到乡下进行劳动改造,而她下放的地点就是中共前高官万里的儿子万伯翱当知青的地方,他后来写的一篇文章还原了当时常香玉的处境。