碰到不太负责任的专利律师怎么办？

他对我的email从来要等很长时间， 至少两个星期后才回， 而且要催好几次。对我的deadline 也无动于衷。我不知道该怎么和这种人打交道。已签了合同， 但很想找另外的， 或自己申请。能否毁掉合约，要求退钱？求助。谢谢。