1997年IBM的深蓝用AI专家系统，击败了国际象棋大师Kasparov，在学界和大众媒体里引起了轰动。我当时一半基于对

我当时一半基于对decision tree方法论的局限性的认知，一半出于民族自尊心，不无自负地对学生们说，我们这辈子还看不到AI赢围棋的。我7岁学会了围棋的规则，喜欢玩，就为了攻击的刺激，自然是臭棋了一辈子。唯一学到了的是，组合爆炸的厉害，如真想动脑子去下的话。

自不用说，20年后的阿尔法狗推翻了我的预言。我开始对深度学习的超大模型服气。但我还是大大低估了大语言模型的威力和它研发的惊人速度。原因是我认为自然语言处理要比下围棋又要复杂太多了，至少就决策优化目标而言。

自然语言的语义，常常要相邻好几个句子，几十个单词，才能决定。这里对应的组合数比宇宙里的原子数都多。GPT的大语言模型（LLM）的成功揭示了，人类语言除了句法和词法，应该还有语义方面的内在规则。这个规则还没被人发掘出来，却被GPT抢先发现和利用了。这个潜在语义规则应该是基于统计的，它让LLM用的高阶上下文空间极其稀疏，因而使得高阶统计推断在计算层面上成为可能。

在汉语口语中，“眼睛进了沙子“和”沙子进了眼睛“是同一个意思。对rule-based 传统AI，汉语语法的不严谨是一个头疼的问题，但对LLM统计推断模型不算困难。通过对大数据的观察，GPT很容易学会汉语语法松弛的习俗，因为an eye dropping into the sand is an extremely improbable event。同理，GPT会轻松地filter out ”吃食堂“这种nonsense，得到正确的语义。

 

所有跟帖： 

• 我12年带一个本科生搞围棋AI，用Monte-Carlo tree search来确定下一步，因为搜索空间太大，效果不好 -衡山老道- ♂ (0 bytes) () 06/11/2023 postreply 22:03:52

• deep learning 的出现，其实也是一种偶然. -衡山老道- ♂ (0 bytes) () 06/11/2023 postreply 22:07:47

• 只要Hinton坚持，which was true，GPU的发展是独立于AI研究的必然过程，deep learning出 -十具- ♂ (36 bytes) () 06/11/2023 postreply 22:30:31

• GPU属于图像发展研究的需要和结果，有自己大数据运行计算展示高清图像，也正好给AI的非虚拟同步运行创造了物质条件。 -明初- ♂ (0 bytes) () 06/12/2023 postreply 00:05:36

• 英伟达做显卡的，为游戏市场开发GPU。如我所说，GPU有自己的与AI，大数据无关的商业逻辑。但CNN用GPU是必然的，因 -十具- ♂ (126 bytes) () 06/12/2023 postreply 00:43:02

• 依市场经济的逻辑，AI的成功是必然。为了娃们玩得开心，好赚他们的钱，GPU必然走到今天这一步。神经网络早就有了，只等东风 -十具- ♂ (0 bytes) () 06/12/2023 postreply 00:52:24

• 英伟达往消费电子使劲，不经意搞出了战略性技术，没花政府一分钱。有人怀念毛时代的争气牌，结果是一台收音机要一个月的工资还亏 -十具- ♂ (194 bytes) () 06/12/2023 postreply 18:47:06

• 不能说是偶然，那是硬件计算能力的提高及大数据不断充实的必然需要和结果。之前缺乏计算能力及足够数据，也只能到那一步。 -明初- ♂ (0 bytes) () 06/12/2023 postreply 00:08:45

• 不仅仅是硬件的进步。AI方法论从传统的基于逻辑推理，切换到基于统计推理，这个算法理念上的变革是同等重要的，if not -十具- ♂ (19 bytes) () 06/12/2023 postreply 01:08:03

• 神经网络在上世纪80年代后期就基本死亡，只有少数人坚持，一些人转行搞应用了，正是应用才找到灵感。 -衡山老道- ♂ (0 bytes) () 06/12/2023 postreply 18:01:11

• 他们的第一篇论文，投到一个会议，结果被拒，审阅者一致认为毫无创新。：） -衡山老道- ♂ (0 bytes) () 06/12/2023 postreply 18:03:20

• 理论上不漂亮完备，没有足够强算力实效出不了。可是Hinton坚持下来了。我们只能遗憾中国没出这种灰姑娘。机会是公平的，我 -十具- ♂ (54 bytes) () 06/12/2023 postreply 18:20:12

• 你不要把自己的围棋套路送入数据库并成了大数据，即大数据库的一部分，所谓的 AI 又能如何战胜你呢？ -明初- ♂ (0 bytes) () 06/11/2023 postreply 23:54:53

• GPT已经有了一定的抽象能力。我出了两个决策优化问题，本质一样但应用领域分别是工程和金融，GPT看穿了红尘，给出了同样的 -十具- ♂ (260 bytes) () 06/12/2023 postreply 01:34:17

• 阿尔法狗靠自己下涨棋 -aluminiums- ♂ (0 bytes) () 06/12/2023 postreply 03:15:00

• AI开始靠棋谱，后来完全摆脱棋谱，从零开始，自己和自己下上百万盘，不断改进，直到天下无敌。 -半垧- ♂ (0 bytes) () 06/12/2023 postreply 14:02:08

• 能明确知道该如何提高完善自己的问题，就不算AI的难题。 -十具- ♂ (0 bytes) () 06/12/2023 postreply 17:35:02

• 它要不断靠新的数据输入才能自我改进完善。如果说聂卫平天下无敌并不断把自己的套路输入AI模型，那就同样天下无敌了 -明初- ♂ (0 bytes) () 06/13/2023 postreply 11:28:47

• 美国六十年代研发的飞机设计系统应该是AI的雏形，著名的就是F-4该系统的第一个产品，故被称为“鬼怪”。 -信笔由墨- ♂ (748 bytes) () 06/12/2023 postreply 13:30:46

• 你这个的性质是计算机模拟，不管问题有多复杂规模有多大。说AI的雏形，66年MIT的对话机器人ELIZA算一个。自然语言和 -十具- ♂ (86 bytes) () 06/12/2023 postreply 17:19:04

• 台湾人许峰雄, 深蓝的创造者与主要设计者，获美国计算机协会的葛丽斯·莫瑞·霍普奖。 -半垧- ♂ (0 bytes) () 06/12/2023 postreply 13:42:15

• 台湾人黄士杰，曾于2010奥林匹亚围棋程序竞赛获冠军，后加入DeepMind，是开发AlphaGo的一个主力。 -半垧- ♂ (0 bytes) () 06/12/2023 postreply 13:44:13

• 所以大概AI战胜不了人脑的领域之一就是对应的场景排列组合数可以是无限的情况，或在有限的组合内引入参数使之无限。 -绝对匿名- ♂ (0 bytes) () 06/12/2023 postreply 19:45:36

• 就下棋而论，虽然最终脑力可能无法战胜AI,但目前AI用于人脑深度增智的情况尚未出现，否则还会有一搏。 -绝对匿名- ♂ (0 bytes) () 06/12/2023 postreply 19:54:27

• 人脑就是个超级计算机，如能有效整合AI, 对比一个敌意的对手AI, 理论上可以是永远具备upper hand的。 -绝对匿名- ♂ (0 bytes) () 06/12/2023 postreply 20:20:35

• 大概15年前，《科学美国人》有篇文章用了一个例子来代表，当时AI的前沿。MIT的一个系统，回答”给我一个幸福男人的图片“ -十具- ♂ (219 bytes) () 06/13/2023 postreply 20:15:27