各位资深地主，请问房客要告我们，是应诉还是退钱

情况简介: 我们之前在新泽西买了房。后来因为工作变动，就搬走了。房子暂时出租。去年底，租客要求提前解约。(据说是看中了我们家对面的房子, 后来他们也的确买了)。我们同意了，但是按惯例，要求房子付房租直到我们找到新房客。然后他们就提前搬出去了。我们把房子重新刷了一下之后，在网上招租但是时间不好，在年底，一直没有找到新房客。现在前房客找我们退押金。我们只打算退一半，他们要求全退，不然就要告我们。

背景:我们找了当年帮我们买房子的地产经纪帮我们租房子，他可能不是很上心。之前房客提前解约，我们跟地产经纪表示按惯例。同时跟他说先租租看，如果租不出去就考虑卖。不知道这是不是给了他什么错误的信息。他似乎转头对房客说他们可以退出。

 问题: 我老公认为因为我们不住在新泽西，即使他们起诉也找不到人送通知。是这样的吗？如果需要上庭像我们这种远程租房的，应该怎样对付。

第一次租房碰到这种问题，真是焦头烂额，还请大家多多帮忙，谢谢！

 

补充一点: 房客搬走以后就没交租金，他们租约二月底到期，我们房子现在还没租出去。其实我们对他们挺宽厚的