男同事请吃饭

我和LG现在异地。几个星期才见一面，这个男同事老是从我的办公室前绕道走过（我办公室是落地窗），投过来热辣辣的目光，一天要走过十几个来回。我们平时只是打个招呼而已也不是一个部门的。今天早上在厨房碰见他，当时我正在做麦片，他的咖啡弄好了正要离开，打了个招呼他就走了，谁知转眼又回来了，又回来搞冰水，还问我怎么平时不出去吃午饭，我说我很少出去，嫌天热，他说哪天我们出去吃个午饭吧，我也没过脑子就说行，结果他说那就这个周五吧。

之后我特后悔，觉得他目的性很强，眼神就不是一般同事那种正常的眼神，咋办？我也不喜欢他，又不是帅哥，LG很爱我，我可不想搞节外生枝的事，怎么解决呢？