用“蒸馏”过的数据，直接上RL，省了pre-taining ，是大胆，也算是“二次开发”。当然省时省钱。

所有跟帖： 

• 蒸馏？那就更没有原汁原味了。谢谢补充。没有花时间研究它，只是觉得DeepSeek不会靠谱而已。。。！ -金笔- ♂ (0 bytes) () 01/26/2025 postreply 21:57:51

• 蒸馏是指从用大模型比如DeepSeek R1去训练参数少的小模型，从而得到8B，14B，32B等等对资源要求较少的版本。 -监考老师- ♂ (0 bytes) () 01/26/2025 postreply 22:55:17