我不接受老公频繁给前妻打电话，被指责小心眼

和老公结婚20多年了，都是二婚，现在我们都年近花甲。老公二十多岁时在国内头婚，不久前妻公派日本，聚少离多，两人在电话上经常激烈争吵，前妻主动离婚。老公后来因工作来美，前妻曾联系想复合，他没同意。我倆经朋友介绍认识觉得合适就结婚了。我身体不好，婚后矛盾很多，但我两都是心软的人，所以爱情很浅但亲情越来越深。

两年前微信流行，老公前妻又联系上了。她还在日本，再婚不幸福。说自己后悔年轻时和老公离婚，现在多么多么想念他。得知我身体不好，发誓将来要照顾我老公，等他一辈子。他俩高中同学，女方追的男方，是个想要得到就会勇敢向前冲的人。现在攻势也很强。老公说绝不会离开我，但两人电话频繁而且不让我听。如果不是疫情，早就见面了。现在国内放开了，等签证容易些，他会回国探亲绕道日本去看她。

我几次表示不接受，老公说这么大年纪了，不会发生什么。他就是多个人聊天解闷，而且他们年轻时正儿八经谈过恋爱，共同语言很多，跟我就没有。我如果真心疼他，应该让他开心。我承认老公是个心地善良念旧的人。但是他和前妻这样背着我煲电话粥并且不久就要会面，我实在很难受。我想过离婚，但每次都觉得心痛难忍。

是我太想不开吗？