与律师有了纠纷，是不是该跟律师楼打官司

因为一个案子，请了律师，三个月前案子基本结束，于是和律师签了解除代理的协议。结果，今天打电话，要求他们把剩下的钱退给我，我被告知在解除协议以后，法院又找了他们，共跟他们通了三次电话，所以律师要求我出这笔钱。
我不同意，因为那些charge都发生在我们已经签署了解除代理协议的日子之后。我要求他们退钱，但是现在钱攥在他们手上，他们不肯退，坚持要我出。
请问，到底我该不该出这笔钱？如果不该，我应该怎么做，上法院起诉这家律师行吗？