小孩子的护照问题

去年协议离婚, 1/2财产分割, 我得20000美金,他第一笔一次性付给我10000美元,
另10000美金分十个月付给我, 每月一千.
孩子是协议共同抚养, 我现还是学生, 没开始工作, 小孩子和他住一起. 他现在借口
小孩子的护照在我这, 要我归还小孩子的护照给他, 否则就算违反协议, 不给我那剩下的
一万美金, 我问他要钱, 他就问我要小孩子的护照, 说护照应该跟着人走,
我是不愿意把孩子护照给他, 但也想把该得到得钱拿到手, 我也经常接小孩子过来住的.
即使没钱, 也同样给小孩子买好吃的和好衣服穿, 都用我贷款的钱买的.我想把小孩子争过来, 但暂时能力不够. 请问老猫, 我必须要把孩子的护照给他么? 不给是违法么?
我如何要回那一万美金? 我是准备请律师了, 但我还是先来这咨询一下.谢谢


------小无助.