紧急求助，买房协议 Earnest Money 纠纷

我住在Tennessee州, 最近签署了一个买房协议，并付了$2000 Earnest Money Deposit。
我也签署接受了Property Inspection结果。但房东在请人作害虫检验时在地下室发
现了少量白蚂蚁，但没造成损害。并且有一间屋下面的Crawlspace无入口，因此无
法检查。所以我想收回这个买房协议，但买主说我毁约，要拿走我的$2000，否则将
起诉我。我觉得很窝囊，房没买还得付$2000元。请大家给我一些建议如何处理这件
事。多谢了！