求建议

我以前发过一个帖子关于家里的问题。简单的说，老公从小在美国长大，他家条件很差，但是是那种又穷又乱花钱的习惯，所以是个无底洞。我有工作。婚后和婆婆小叔合住，老公负担所有花费，我的收入都存在我俩的共同帐户。我妈来帮我做月子，婆婆对我妈很不友好。我好好和婆婆说，婆婆还是不改，我和婆婆吵起来。现在我、老公、宝宝、我妈搬出来住。但是老公还是负担那个房子以及婆婆的所有花销。老公大弟弟也住在那个房子里，最近他开始每月付800块房租。老公还在付小弟弟的大学学费和生活费，还有3年毕业。
本来我觉得搬出来，矛盾少了。可是他家还是阴魂不散，总是有各种麻烦。我觉得真正的问题在老公，如果他稍微公正一些，他妈妈就不敢胡来。现在老公还时不时的表示我不体谅他，我们性格不和，我们应该离婚。
我现在唯一一个不想离婚的原因就是觉得女儿才5个月，她这么小就成长在单亲家庭。别的，我就没有什么可留恋的了。老公对我也挺一般的，不算好。我现在不知道我应该离婚，还是应该再忍耐一段时间,改善我们的关系？（我妈现在帮我照顾宝宝。我妈的绿卡申请了，正在审理中）