我觉得合同上卖家没有义务退deposit.

如果购房合同上说你要申请贷款, 只要银行批了贷款，你的loan contingency就不能用。这种情况经常发生在buyer removed appraisal contingency, 结果appraisal不够，银行让买家贴钱补差额，但是买家没钱。这种情况loan contingency不适用的。