8老师的回答正确。既然H-1,H-4 还有一年多才到期，可以照你问的最后问题去做：

如果真的要更新I-94，是不是可以拿着新换的护照到local CBP办理，而不需要出入境？

可以。帶上H-1 passport, I-94。小孩新和旧的passports I-94 等证件到local CBP Deferred Inspection 办理。说明情況，即可。You have nothing to lose.  It costs nothing. It won't do any harm even in the unlikely event CBP refuses.