举例说明，我该怎么办？

小的应该一周游泳四次，他说太多不喜欢，那我就说现在天不冷只去二次，天冷就去一次。而且只是为了健身，不是为了比赛。他拖拖拉拉不想去，因为觉得累还有就是想在家玩游戏，我当然说不行得去，他就开始哭哭咧咧，我说哭什么，我已经答应你一周只去二次，马上穿衣服走，他还是拖拖拉拉，我就严厉的告诉他，快点，不然要迟早了。 大的就过来说我态度不好，小的就更哭哭咧咧的不想去，我就生气了，我说你别瞎掺乎，搞好你自己的事情就行了，她就来劲了，弄的我气半死，小的跟她跑上楼去，半天叫也叫不下来，我说你快点下来，不然游泳就迟到了，结果大的下来说，弟弟20分钟前就准备好了，是你迟到了，我说我喊半天，他不下楼，怎么就我迟到了，她坚持说是因为我迟到了。

我该怎么办？讲道理，不听。声音大了，说我态度不好。我坚持去，就跟虐待他们一样，我不坚持去，就避免吵架，他们做事情就更是三天打鱼两天晒网。也不知道怎么做父母了