怎么办？请给个建议

我们最近换了老板。 几年前我和这个新老板（男白人，50 左右）在开会时碰上了。都是一个公司的，就说说话，一起活动。大家一起走时，他有时喜欢搂我一下，我很不习惯。就躲着他。但是他还不住意。我就和另一个部门的女的（白人）说了。她和这个老板关系不错，很热心就去和这个老板讲了我的不快。这个老板对她说"sorry"，他不知道会让我有不好的感觉。但他从没和我直接谈过。我也不想得罪他。之后开完会回到公司就装作没事，只是打个招呼的关系。他也冷冷的，和不认识一样。反正他也不是我部门的。我也无所谓。
结果，最近突然他变成我们老板了。我很害怕，怕他记恨我。之前去和他说的那个女同事一直告诉我他很nice，不会有事的。有什么事，我可以去找她，她会帮我。可是我还是打鼓。我不想惹事，但也怕他抱复。我是不是应该和新老板直接谈谈，打开心结？ 但如果他都忘了呢。。。。