1970年的一天，张洛在林彪的另一位爱将李作鹏家里，偶然看到了林彪写的那首《重上井冈山》，当时是写在条幅上的。张洛便将它抄下，回沈阳时，带给了李劫夫。
为毛泽东诗词谱曲谱上瘾了的李劫夫，主动为林彪的这首《重上井冈山》谱了曲。后来，6月底李劫夫因病去北京301医院治病时，黄永胜与吴法宪、叶群便特地又接见了他一回，并请吃了一餐饭。其间，李劫夫便向黄、吴、叶展示了他为林彪诗词所谱之曲，并当场演唱了一番。黄、吴、叶听后，都很满意，说曲子“很雄壮”。
1971年9月下旬，李劫夫从偷听到的外蒙古电台所播的信息中得知，中国有一架飞机飞到外蒙古时坠毁了，但飞机上有许多文件，是中国内部出了事，毛泽东病危了。到了国庆那天，李劫夫又看到北京没有像往年那样举行庆祝，便愈来愈猜想高层出了事，但见报上报道了周恩来总理依然如旧，他便猜想可能是毛泽东病重，已由林彪战胜了江青集团而接了班。
于是，李劫夫想提前操作一首庆祝林彪接班的歌，因而，在一张纸上写出了《紧跟林主席向前进》的歌曲题目，其他歌词尚未想好而正在思考时，他的夫人张洛进来看见了，问他写什么，李劫夫就告诉她：主席病危，林彪就要接班了，现在写一首歌，一旦正式接了班就拿出去。
