AGI 到底卡在哪里?

本帖于 2025-01-13 17:44:44 时间, 由普通用户 neillu 编辑

 

GPT能够识别英语里边的每个词。它采用空间词义法。一个词的意义,是由它在词义空间里的位置决定的。说的白一点,经常出现在一起的两个词,比如毛泽东与中国,紫檀与50万等等,放在一起,他们词义空间里边的距离近。不经常出现在一起的两个词,比如毛泽东与法国巴黎,牛顿与杜甫等等,他们在词义空间的距离就非常远。通过AI机器学习,英语的每一个词都在英语的词义空间里占有一席之地。所以当GPT使用者输入一个单词,或者一个句子时,GPT可以接龙,依靠输入这个词的词义空间,找到距离自己最近的那个词,那个词就是它的接龙的下一个词。如此循环往复,直到一篇文章完成(具体的比较复杂,这里严重简化)。

 

从中可以看出,GPT 本身是完全不了解,不懂每一个词的意思的。一篇文章的每个句子,每个段落里的那些词,之所以组合在一起,完全是依靠词义空间来决定的。值得注意的是,GPT 也不清楚不了解不懂它写出文章的每句话每个段落之间的语法。

 

 

一句话,现在GPT 生成出来的东西,看似非常精准,非常的人话,非常的语法,内容非常的可信服,但其实它完全不知道自己在说什么。道理很简单,因为它生成这些东西的唯一的依据是词义空间。

 

 

 

这导致了GPT生成的答案,每次都可能不一样。

 

很显然,AGI 仅仅依靠词义空间是不够的。GPT生成的东西,必须要有逻辑,而且这种逻辑还必须是可控的。

 

一个很显然的结论是,现在AI,比如GPT除了词义空间的算法,必须也要“逻辑空间”的算法。两者缺一不可。

 

"逻辑空间"算法如何搞,现在没有定论。

 

山姆奥特曼这些蔑视数学,蔑视物理等等AI 红脖子门(绝大部分的西洋人都属于这类),他们推崇简单粗暴的算力。他们想如法炮制”词义空间“,通过机器学习,通过大量的文本训练,找出每个民族,每个学科等等的“逻辑空间”。

 

华人喜欢数学,喜欢物理,喜欢硬核。他们觉得词义空间走暴力运算行得通。但是,“逻辑空间”不太可能通过简单的GPU 堆叠就能实现。他们更加倾向于,每一个学科,每一个专业,每一个行业,组织大量的专家学者研究生本科生,人工标志高水平的本学科,本行业的”逻辑空间“。

 

 

词义空间法不是新东西。50年代的语言学家其实就做过这些事。比如他们通过分析一个民族语言里的,比如水稻的词义空间数量的大小多寡,能得出一个民族是水稻民族,还事畜牧民族。语言学家,社会学家,民族学家等等一直这么做,一直证明行得通。只不过以前的GPU 算力不行,没人敢想到穷尽一个语言的全部词汇建立词义空间的地步。

 

逻辑空间算法以前也有人做。最著名的就是乔姆斯基的生成语法。事实证明,乔姆斯基的万能语法,生成语法等等是失败的。逻辑空间算法的突破,不是那么容易的。

 

 

 

 

 

 

所有跟帖: 

AGI到底是什么意思? -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:05:42

Artificial general intelligence -neillu- 给 neillu 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:08:26

知识靠学习,电脑的特长。I靠思维/model,电脑可不会自己model,所以,不会有什么AGI -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:10:41

AGI 其实是有标准的,它就是图灵机。换句话说,只要能糊弄得了人类 -neillu- 给 neillu 发送悄悄话 (192 bytes) () 01/13/2025 postreply 17:35:08

【它对它生成的每一个单词的实际意义都一无所知】,你觉得能出Intelligence么? -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:37:04

我还以为你懂的。反正我是不懂。 -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:12:03

adjusted gross income!马上就要报税了! -宝马奔驰- 给 宝马奔驰 发送悄悄话 (167 bytes) () 01/13/2025 postreply 18:21:04

Hinton 说逻辑就是大矢量。 -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:10:47

最新的LLM基本上穷尽了所有能找到的英文学习材料,还能从哪里学? -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:12:15

你天天说AGI不可能,但是niche特殊领域的AI就可以。这二者何区别?一通为何不能百通?AGI定义为何? -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:15:52

特定领域人类可以model,可以model的都可以(规则已知)。AGI我的理解是跨领域通用智慧,基本上不可能实现, -我是谁的谁- 给 我是谁的谁 发送悄悄话 (55 bytes) () 01/13/2025 postreply 17:18:17

跨领域,好吧。一百个领域叠加,不行就一万个。最终不就是跨领域? -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:20:35

not at all. 多个毫无关系的信号叠加产生噪声,而不是智能 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:21:55

这里就有barrier,我不明白。如果它是一万个方面的专家,方方面面它都很能了,为啥它就是被你说不行? -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:27:17

别说一万个,你把一百个不同领域的专家关进一个屋子,看看他们能不能对任何一件事达成统一意见?肚子饿了要吃饭除外 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:32:25

为何要达成一致意见?你刷题和写诗,用的是脑子二块区域。写个诗,为何要求全脑共识? -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:38:55

人脑有I,可以自己决定。电脑只有知识,到时怎么决定哪一块说了算?要能决定哪一块说了算,就必须先有model,蛋跟鸡 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:42:58

好吧,继续沿着你的全脑想法走。一万个单位都去写诗,最后以结果选最佳诗句。有何不同,为啥不可?当然最后肯定是那个写诗的单元 -oryzivore- 给 oryzivore 发送悄悄话 (15 bytes) () 01/13/2025 postreply 17:51:22

i'm at my wits end. 你去把LLM的结构和培训过程过一遍先。。。 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:56:00

Alpha Fold 能产生新知识(结构),为何绝对否认AI最终产生智能的可能性。这些,你不能一句带过啊。能解释清楚吗 -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:18:48

我说过很多遍。智能来自于自我意识,就是存在(being)。电脑没有自我意识,因为人类model不出来 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:20:05

什么是智能?如何定义? -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:24:18

探索性、创造性、能将表面上看似毫不相关的东西联系起来、对未知世界的好奇心、能handle从未见过的东西/局面,等等等等 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:27:41

这。。。世上99%的人,都没有 -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:41:17

所以人类历史一直是99%的人活着、1%的人改变世界 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:44:26

沿着你的思路,我看到了一个99%人类被取代,1%精英人类管理的美丽新世界。。。 -oryzivore- 给 oryzivore 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:56:30

楼主有点走火入魔的感觉。你不仅要从NLP理解GPT更要从DL,transformer理解为什么GPT不仅有依靠词义空间world -青裁- 给 青裁 发送悄悄话 (415 bytes) () 01/13/2025 postreply 17:11:00

transformer和GPU都是工程东西,提高学习效率(并行处理)而已 -我是谁的谁- 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/13/2025 postreply 17:14:53

请您先登陆,再发跟帖!