of course you need a J-1 waiver

如果在加拿大呆几年就可以不用waiver，那美国人也太弱智了吧？
http://www.sino-education.org/studyabroad/J1.htm
第七条 暂居加拿大申请者
曾经持J-1签证来美、现暂居加拿大并持有效中华人民共和国因私护照的中国公民可依照上述办法，直接向驻美大使馆教育处提出申请。递交申请材料时还需提供暂居加拿大的有效证明。

当然，你已不是中国人的话，就不用找中国大使馆了。