急！！请教关于买房人和经纪签的合约解除难题

我们住在加州，因为想买房，所以在今年一月份的时候和一个亚美尼亚裔买卖房屋经纪人签了一份买房合约，既由这个经纪人负责我们的买房事宜。他每天通过电子邮件提供给我们可供选择的房源，他手下的员工带我们看过几个房。因为一直也没碰上满意的，所以到现在也没买成。我们对这个经纪的服务也不是很满意。最近有一个卖房的朋友向我们介绍了一个房子，我们看后很满意，决定买这个房子。于是我们想和那个亚美尼亚裔买卖房屋经纪人解除合约，可是他不同意。因为这个房子不是他的房源，而是朋友告诉我们的还没上市的房子，所以我们没必要也不想通过这个经纪替我们买这个房子。在这里我想请教懂法的朋友，如果我们买了这个房子，而没让这个经纪知道，他以后发现会有什莫后果，像这种情况我们应该怎麽办。谢谢大家