contractor问题请教.

找了份一年的contractor的活,合同是跟中介签的.按小时算钱.只做了几个星期,因为又找到一个长工的活,想把contractor的活辞去,刚做了一两个星期就走人,不知道会有什么麻烦吗?有人告诉我说中介可以拿着我们签的一年的合同去告我,或者去找我的新公司让他们不要雇佣我,因为中介有办法可以查出我去了哪家公司, 都在一个城市.现在我很怕,不知道能不能辞掉contractor的活.如果我给中介两个星期的notice也不行吗? 请DXJM指点.有什么办法能顺利解决问题.辞工有什么需要注意的问题.真的不想有麻烦.谢谢.