中老年婚姻问题请教

有一个同事年纪比较大，娶了年轻的老婆。同事的大儿子和二女儿都就不理同事了，只有小儿子愿意继续和同事打交道。在这样的情况下（同事因好色的原因娶年轻的老婆），子女应该和同事断绝往来吗？