训练数据和工艺是低成本的关键

昨天李飞飞团队用不到50刀的成本训练出跟OpenA1-o1和DeepSeek一样水平的模型，在网上迅速传开。

前段时间兴奋了很久用低成本只花600万做出DS，而李飞飞团队的S1只花了不到50刀，就做出同样水平的东西。

很多人觉得不可能，咋不可能呢？

我一直在说DS的低成本没啥可吹的：在别人的模型基础上，用好的训练数据，加上点工艺，当然能低成本了

现在李飞飞团队用50刀成本训练出来，好像倒是可以吹一下，

 

我大概看了一下李飞飞团队s1论文，大概就是下面这个样子，对比一下DS，是不是很类似？

李飞飞团队的S1 = 阿里云Qwen2.5模型为基础 + 测试时间缩放训练新方法（1000个精心策划微小数据集）+ 在云计算蒸馏出来（云计算成本低于50刀）

DS = Meta 模型为基础 + OpenAI数据集（被怀疑）+ 自己的方法 + 花600万蒸馏出来

 

s1秘诀是什么？用了一种名为 “预算强迫 ”的技术，再加上监督微调（SFT）技术，在一个经过精心策划的、只有 1000 个示例的微小数据集上实现。

1000个精心策划微小数据集（训练数据），和“预算强迫 ”的技术（工艺）是关键。

今天早上，下载了s1的代码看了一下，训练s1需要的模块和库，竟然还有openai,