国内的租房合同纠纷

我国内的房子。租给一个人，合同写着不允许转租。那个人给转租了，而且租给了五家人合住。我想终止合同，那个转租的人居然要我赔钱。