Deepseek，豆包和Perplexity 的模型训练

对Deepseek的一个主要指责是他的训练数据用了ChatGPT的输出，这个指责也延伸到豆包。搜索了一下发现硅谷的另一个当红炸子鸡Perplexity也不是完全用原始数据训练自己的大模型，而是在ChapGpt, Claude和其他大模型的基础上再训练，因为这样成本低很多。豆包好象现在是否认他们用了Chatgpt的输出做训练。不知道用其他模型的输出做训练有没有侵权的问题。

问题是这样一来做基础训练还有什么价值，训练结果不都成了给其他次级训练公司买单吗？可是OpenAI，谷歌和Anthropic 却在成百上千亿做基础模型训练，目的是什么？将来怎么挣钱？

所有跟帖： 

• 所以国人聪明 -凊荷- ♀ (45 bytes) () 01/25/2025 postreply 08:36:40

• 美国很多startup比如Perplexity也这么做，问题是这么做违法吗。 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:39:08

• 所以应该有law 和规则 -凊荷- ♀ (33 bytes) () 01/25/2025 postreply 08:43:41

• 都是占着便宜再说，OpenAI也是偷偷用New york Times的文章训练不付钱，没好东西。 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:47:08

• 秦朝咋挣钱？隋朝咋挣钱？局面开创，江山一统，成本自己扛，甜头别人尝，长江前浪推后浪，前浪死在沙滩上。 -phobos- ♂ (0 bytes) () 01/25/2025 postreply 08:41:00

• 参见Best Buy与亚麻 -我是谁的谁- ♂ (0 bytes) () 01/25/2025 postreply 08:42:32

• 有点象。亚麻现在还拉着Anthropic，出了成果他还能摘桃。 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:45:03

• 这就是一种变相的拷贝抄袭。但是AGI的核心突破是在基础训练上，不是这种二次盗取模式 -ClearCase- ♂ (0 bytes) () 01/25/2025 postreply 08:48:00

• 不能说是盗取，只是接近于应用层次。硅谷这类公司也很多 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 09:01:49

• 这就是一种变相的拷贝抄袭。但是AGI的核心突破是在基础训练上，不是这种二次盗取模式 -ClearCase- ♂ (0 bytes) () 01/25/2025 postreply 08:48:00

• 这就是一种变相的拷贝抄袭。但是AGI的核心突破是在基础训练上，不是这种二次盗取模式 -ClearCase- ♂ (0 bytes) () 01/25/2025 postreply 08:48:00

• deep seek牛逼的地方是 -大宋- ♂ (658 bytes) () 01/25/2025 postreply 08:51:37

• Deepseek R1确实很厉害。reinforcement learning在机器人应用上很重要 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:57:42

• 好问题 谷歌OpenAI 继续基础模型训练意义重大 主要目标是建立生态系统 同时底层的技术有很大的不可复制性 -Zhivago- ♂ (0 bytes) () 01/25/2025 postreply 08:52:24

• 对。美帝对中国AI的优势是在这个层面上 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:59:10