在西周时期，这种中介人称为质人，到了西汉就称作驵侩[2]，最后唐朝以后才叫牙人，唐代官牙办事员称为牙郎，[3]。 宋代确立了官牙制度。
明清时期，随着商业经济的进一步发展，牙商人数大大增加，形成了一个专门的工会，称为牙行。清代著名的广东十三行，就是指经营进出口贸易的十三家牙行商人。除了做生意之外，十三行还要与来华洋商打交道，从货物买卖到日常起居，事无巨细，都必须通过十三行。不过，这里的牙行数目并不固定，时有增减，所以广东十三行只是最兴盛的十三家。
由于一些牙人狡猾，存在着侵渔百姓、欺行霸市、欺诈哄骗、钻营渔利、收取高额佣金、损害交易双方利益的行为等危害，故对牙人常有负面评价，女性牙人也因此列为三姑六婆之一。传统上牙人社会地位不高，在一些时代甚至属于贱民阶级。1949年中华人民共和国政府成立以后，政府不鼓励牙行和牙人的发展。随着规范的交易所的建立，多数牙行和牙人被取缔或自行消亡。现代社会里替代牙人的商业中介组织主要为各种交易所、信托公司、经纪人等等。
