对方应该认为是你要求取消合约

根据你前面的描述，你去问了City得知permit被reject后就通知对方停止并退款。这其实对方是认为你单方面终止合约。因为City reject permit这事首先不是他和你说的，其次即使reject并不意味他决定不继续进行下去了（也许他正在想别的办法去搞定permit)。如果在你的催促下是他决定告诉你这个contract完成不了，那你要求退还之前的付款他也应该接受。问题是现在他一定认为是你单方面终止了合约。所以有纠纷。你的信用卡公司一般是听你的。所以现在的纠纷主体是你和你的contracter（因为对方是注册的公司，有权在你房子上加Lien)。