请教税务问题

我在大学工作。学校发工资时总是先把联邦税，州税和市税都先扣去了。因为扣得还略多一些，我每次报税总能拿回一些。基于这个原因，我这几年都是三年报一次税，也没出过问题（反正税已被按时而且稍多地扣去了，我只是晚一点要会多扣的部分罢了，所以比较心安理得）。可是我这几天突然接到IRS来信（还没时间细读），说我这两年欠他们四万多美元。这可不是个小数字，我不知道是我出了问题还是IRS出了问题。

我平时学校工作很忙，税务方面的常识较少（有时免不了有点想当然），在这件事上请教大家了，多谢指点！