没有什么法律程序，建议你找某个事情做条件交换。

你就是离婚也是要前配偶允许的，因为他/她即使不是你的配偶，也还是孩子的父母。即使离婚后，他也可以否绝护照。

唯一的例外是他是性犯罪从而被剥夺100%的监护权。