如果孩子的父亲有冷淡孩子，暴力孩子，或他自己

有酗酒脾气暴躁等问题，你可以去法庭直接要求保护令。（很简单的程序）。法官会发保护令要他搬出去，他必须遵守，不得不搬出去，否则以违法处置。当然如果到了这一步，你不得不离婚，你去找律师争取你的权利。（如果你没有工作或低收入可以得到免费律师，但通常免费律师不是那么优秀。）

事情不是像他说的你不可以“想怎样就怎样”。难道你还要他同意你自己决定吗？他太自以为是，可惜法律不在他一边。如果离婚你会有绝对的优势，你会得到孩子和房产。要注意，在申请保护令时，你要提供他是如何对待孩子（忽视对孩子的抚养包括教育，你文中提供的信息足以），如何在孩子面前与你争吵。需要强调的是他争吵在先，你尽量躲避。你半夜到公司的例子很有说服力。 这些都说明他没有做孩子榜样的和教育的资格，你自然会得到抚养权和保护令。 就以此，他处在完全被动的位置。