请教买房子的问题

工作几年， 打算买房子， 因为是第一次买， 没有经验。
房产经纪带我们看房子， 看多次后，我们看中了一所房子， 双方价钱同意后； 还要有个验房子的程序， 就是花钱请专业人士检验房子一遍， 检验者列出一些问题。原本看中的房子， 又被发现问题， 心里凉了一截。 于是要求对方降价， 对方降价太少。 谈崩了。经纪有带着我们看别的房子， 现在还没有看中的。

买房子的过程中， 慢慢才发现， 房产经纪就是靠佣金挣钱， 卖方付钱给房产经纪。

如果我直接去找原来没谈成的房主， 即没有了房产经纪环节，卖主不需付钱给经纪， 卖主所得房款尽归他自己；那么房价就应当能降下来。这样等于， 我客观上跳过了房产经纪，我有什么法律责任吗？
休斯顿地区

谢谢。