顶头上司要离开公司了，其Happy Hour我不去的话是否很失礼？

平时相处算很不错，主要家里有小孩，另外去也不知道说什么。