汇编不是关键,关键的是思路的改变。对于DS是不是全新的model,还是抄袭,甚至偷窃。看了几个专家的分析,包括OpenA

来源: 2025-01-30 14:53:14 [博客] [旧帖] [给我悄悄话] 本文已被阅读:

汇编不是关键,关键的是思路的改变。对于DS是不是全新的model,还是抄袭,甚至偷窃。看了几个专家的分析,包括OpenAI前资深工程师的分析,我来大概总结一下:DS的确是发明了一种新的model,或者说是在原来的model上有了巨大的改进。用外行能听懂的话来解释,其实很简单,大概的思路是这样的: 原来的模型在每一个节点上,先判断出下一步有哪些可能性,然后再逐次对下一步的每一种可能性进行同样的思考和处理,因为每个节点后的可能性是天文数字,所以从深度和广度上看,近乎于无穷无尽。如果按这种思路去探求,对计算机的算力的要求就成了一个天文数字,所以大家都在疯狂的买更强大的芯片,盖更大的数据中心,由此也对电耗产生极大的需求,这种approach实际上是在用brutal force (蛮力) 来解决问题。俗话说富人有富人的活法,穷人有穷人的活法。没有那么大的财源,加上芯片的禁运,DS极大地改进了原来的model。DS的model是在许多节点上,不是盲目的把下一步的全部的可能性都罗列出来,逐一去seek,而是做一些逻辑推理和判断,把那些完全不靠谱和不太靠谱的可能性排除,集中精力于那些成功率更大的可能性,这样一来,巨量的下一步的可能性都被筛除了,于是就有了巨大的 performance improvement,成本也就下来了。可以说DS的model是一个smart model。所以AI industry下一步的发展不是急着去买更大更快的芯片,而是follow DS的思路去改进自己的model,使它变得聪明起来。当然这种思路的改变肯定会对AI industry的布局产生重大影响,进而影响股市。