我觉得你是不是想说：

I remember my student told me the other day.
I remember one of my students told me the other day。

上面两句都可以，侧重不同。不要把the other day放在remember后，那表示你是在the other day 的时候remember的。

你就用第二句吧，第二句让别人觉得你的英语顺溜一些。