求助：买房遇到不良卖家，怎么办？

这是第一次买房，合同已经签了，现在处于办理银行贷款阶段，如果顺利，月底closing。但前两天我们突然发现银行提供的评估报告显示房龄是50年，而之前我们得到的所有材料上房龄是30年，我们要对方做出解释，对方agent说不清，只说房主提供的房屋保险单上说房龄是30年，我们不能接受这个解释。我们开始并不想放弃这个房子，因为位置比较好，价位也合适，inspection也没有太大问题。如果卖家能诚心道歉，并给我们一些赔偿，我们也就算了。没想到我们发了几次电邮，卖家都没有回音，而我们的agent也很气人，说这只是个misundersting，如果我们放弃了，买不到比这个更好更合适的房子了。权衡之下，我们通知agent我们决定退出。今天接到agent电话，说对方要告我们违反合同，要force我们买这个房子。因为我们来美国才三年，不太清楚这边的法律，虽然感觉这里有点吓唬我们意思，但仍然不放心，请问大家，我们应该怎么应对？此外，我们怎样要回我们的deposit？