请教:投资房和自住房的区别

我有两处房子, 相隔都在15英里, 符合当地自主房子的定义, 当时都是以自住房贷款买下的. 现在我要申请其中的一套refinance, 但贷款公司一定要把我的另一套房子列为投资房, 他们说只能有一套自住的房子.
我不知道, 如果这么一列, 那么对以后交税有什么影响. 说实在的, 我的另一套房子偶尔会租给朋友, 租金非常少, 比每个月的利息少多了, 主要还是自己住. 请问这也算投资房么? 以后税该怎么交呢? 非常迷惑. 谢谢各位指点.