好事多磨啊，买主cancel了合同，该不该收他的 deposit?

好不容易签了卖房的合同，才几天，他就把合同取消了。理由是房地产市场太动荡，他想等两个月再看看。

他有$1000 deposit, 当时是完全相信他，所以才这么少。他想把deposit要回去。
实话讲，为了这个合同，我费了很大劲才把我跟broker的合同理清楚，我也可能失去了我另外一个有潜在的买主。他的一千美元根本无法补偿我的损失。

不过，要硬扣下来也很难。原因之一是个人支票，他只要花$25去银行cancel check就可以了。之二是他只要play 一下game就可以轻易拿回去。比如说他qualify不了loan, 或者不喜欢inspection result, 等等。

大家碰到这种情况，一般怎么处理?