劳动改造所里既有国民党战犯也有日本战犯,日本战犯享受不用劳动优待。黄维曾经大骂:“我们再有罪也没日本人罪大,凭什么日本人可以待着,我们就要劳动。”
胡琏突出重围后,遇到了第十八军未被包围的骑兵,先逃到蚌埠,后去了南京,开始了与黄维完全不同的人生。黄维在南平集附近的周庄被俘。从被俘起的第一天开始,黄维就表现出不合作、不配合。
中原野战军联络部长杨松青动员十二兵团的高级将领给被围在陈官庄的杜聿明、邱清泉写劝降信。八十五军的参谋长陈振威写好了信,请各人签名,只有黄维不签。
一个新闻记者采访黄维:“你为什么不早些投降。”
黄维把桌子一拍,大吼起来:“有战死的烈士,没有苟活的将军,我为什么投降。为了国家民族利益,我要战斗到一兵一卒……”
黄维和杜聿明、宋希濂等人一起被关在位于北京德胜门外功德林路一号的功德林战犯管理所。中共创始人之一李大钊曾在这里被张作霖杀害。初到功德林时,黄维抱定“不成功便成仁”的决心,“君子不事二主”,与管教人员坚决对立。
在战犯管理所,黄维留起了胡子,自称“在国民党时期留的胡子不能在共产党的监狱里剃掉”。在随身的本子上写下了于谦的《石灰吟》和文天祥的《正气歌》自勉。
当时监狱规定每个战犯要读一些指定的学习书,并结合自己的罪行谈读书体会,杜聿明读了《论持久战》,写下万余字的读书笔记,并且要求把自己的读后感寄给蒋介石,而黄维却拒绝写任何悔过书,他说自己“无罪可悔”,唯一惭愧的是十几万大军在自己的领导下溃败,所以黄维在战犯和管理人员眼里是“拒绝改造”的典型。
1952年的一次学习中,学习组长董益三宣读材料说:“四大家族控制了中国所有的银行,将全国人民的财产盘剥到自己手里时”,黄维回应说:现在全国只有一家中国人民银行,又受到共产党毛泽东的领导。是不是可以说现在全国人民的财产都到毛泽东一家的手里了。