1965年初，大连机车车辆厂、大连热力机车研究所、大同机车厂、铁道科学研究院等机构联合组成新中速柴油机设计组，首先重点是研制柴油机车的动力来源——新型大功率中速柴油机。当时同类型柴油机的设计参考资料十分缺乏，设计组只能从国内外杂志文献中寻找相关资讯，将国外同类型柴油机及机车的数据、图片以及使用中情况等作为设计参考，例如苏联哈尔科夫运输机械制造厂的Д70系列、法国阿尔萨斯机械制造公司的AGO 240系列、瑞士苏尔寿公司的LVA24系列等。1965年7月，铁道部内燃机车会战指挥小组在青岛召开会议，批准下达新中速柴油机设计任务书，主要技术指标为缸径240毫米、行程275毫米、小时功率4000马力、额定功率3600马力、额定转速为每分钟1100转、四冲程、16缸、涡轮增压。1966年初，大连机车车辆厂试制成双缸机并调试成功，双缸机最大输出功率突破500马力，证明16缸机可达到4000马力的预期目标。1965年8月，完成试制首台16缸的16V240ZJ型柴油机样机，同年内完成新型机车的总体设计。
1969年，大连机车车辆厂对原有的设计方案进行局部修改，将之前试制的柴油机和牵引电机组样机安装在机车上，同年9月26日试制出首台东风4型2001号机车。但由于这台机车为“国庆献礼”草率上马，其零部件未经必要的试验考核和改进，柴油机和电气部分以及机车其它一些装置未达到设计要求，导致整台机车的性能和质量都未能过关。此后，大连机车车辆厂针对原型车试运行中出现的问题，多次改进后最终形成了东风4B型机车。
