俺来分析一下哈，

按合同所示，卖房方为方便你买房而提供部分vendor take-back mortgage, 如果你没能在指定日期获得你自己应贷的那部分，卖房方也没有取消这个条件，合同应无效。
若是卖方在你贷不到钱的情况下，卖方取消先前的贷款条件，改由卖方全部贷款给你，那这个个买房合同是继续生效的。
这样的话，卖方不让你退出，在合同上是有道理的。
对方要你赔偿违约金，应该要在合同里事先有说明，而不应该是随口开价。