搭车问一个fence的问题

出租房，有个邻居， 关系不错， 不知道什么时候建了一个fence, 没有和我打招呼。因为地都不大， 所以fence靠房子比较近， 问题是fence明显在中间线靠我的位置。我的问题是，我倒不是介意fence太多，我是担心会不会几年后对方既成事实， 法律上就占用了我的地。我没有做过survey.

请问我如何为好？ 谢谢。