请教：辞职时给老板接近三周通知，老板嫌给通知的时间时间短，要四周， 怎么办

找到新工作，新老板因为希望我和要走的人有个交接，所以希望我尽快上班。 我有很多假期，我想和老板当面谈，但他一拖再拖，我只好给老板发了辞职信， 接近三周。 我们单位一般要求两周，工作时间长的要求三周。 

结果老板叫秘书和我说，要我四周后再离开，如果我不同意，他就发信给我的新老板要求四周后开始。 其实接近一个月我们没什么事情做。 

我该怎么办， 我有30天的假期没修，真的可以现在就直接不去上班了。 如果我直接走了行吗？我的老板76岁了，一直以毛泽东自封（他是犹太人），我从来不指望要他给我推荐信。 

谢谢