ChatGPT是个诚实的小骗子

来源: cw 于 2023-02-17 10:59:10 [档案] [博客] [旧帖] [给我悄悄话] 本文已被阅读：次 (13370 bytes)

本文内容已被 [ cw ] 在 2023-02-17 10:59:30 编辑过。如有问题，请报告版主或论坛管理删除.

（这是关于我问ChatGPT的一些问题。因为HTML formatting, 没有把对话的内容复制在这里。感兴趣的朋友请用链接 ChatGPT是个诚实的小骗子）

我在上一篇ChatGPT是个小骗子里说到过它常常一本正经的胡说八道。如果不熟悉相关知识，就可能被它信心满满的架势给蒙了。这小家伙不仅脸皮厚，还冥顽不灵：被指出错误以后，道歉诚恳，坚决不改；再道歉，再犯错、直到你放弃。一个朋友认真努力去教它写中文格律诗词，结果最后还是叹气“孺子不可教也”

这次我叫它诚实的小骗子，是在用了更多一些时间以后，问了它一些问题。想看看它究竟怎么工作、怎么想事情的。它比较老实地告诉了我它“脑子”是怎么想，怎么处理各种情况，为什么会“犯傻”的。所以我给它标注一点正能量，给个“诚实”的小星星。要想摘掉小骗子这个称号，它还要慢慢长大才行。不过，说到它的成长，虽然我们不会在这里多说这个问题，值得一提的是，我发现它成熟的速度非常快，和我们对其他软件发展进化的常识完全不同。

对ChatGPT后面的原理了解越多，就看到越多人类的影子和人工智能的未来。这个话题太长，先按下不说。我这次问它的问题主要围绕这几点：

它的推理机制。在解答数学问题的时候，它在很多地方都表现出缺乏基本的推理能力。它的“因为”条件和“所以”结论可以完全没有逻辑关系。尽管我后续的提问发现它的知识库里其实是有相关信息和逻辑关系的。这个问题有些意思：它是得到了相关的训练而且生成了相关知识的；但是在生成回答的时候，这些知识并没有优先用上。从我和它下面的对答来看，这可能是应用层次的训练还不够。也就是说用得还不够。还要有更多的人去用、去纠正它，这些知识才能有效自然地参与到推理应用中。
不同语言的互汇性。很多人都已经发现同样的问题用不同的语言询问会得到不同的回答（事实上同一个语言也会得到不同的答案）。我也注意到我用中文问它问题时得到的回答常常都比用英文得到的内容少。我想知道这种差异在同一种语言内和不同语言之间的关系。我们都知道，不同语言的文字资源相差非常大。很自然我们想知道它有没有利用资源丰富的语言来帮助资源贫乏的语言。
它对用户提供的实时反馈是什么态度，是如何利用的。比如我们发现它的错误并予以纠正的时候，它有可能借此产生不同的回答。但也有很多时候它只是口头上接受，在具体回复里顽固地继续犯同样的错误。了解这种机制对用户当然很重要。这可以让我们知道如何调整输入的信息去获得更好的回复。

总的来说，它的回答中规中矩，“诚实”中带一点小狡猾。偶尔也会前后矛盾。也总少不了啰啰嗦嗦地做无辜状、强调自己只是个AI 语言模型等一系列的套话等。

结合其它方面的知识，我们可以从它的回答里面引申出不少很有意思也很重要的东西。在这里我们不占用太多的篇幅来分析它的回答。有机会我们以后再说。这里简要列举几条和上面的问题相关的：

它的推理和知识不总是一致，可能是分离的（这和人类很相似，和完全建立在知识图谱上的人工智能差别很大）。它是在语言“学习”的过程中建立自己的知识体系（这也和我们人类的学习成长很类似，幼儿通过语言和外界的反馈逐渐有了各种知识）。它学到的知识也包含了知识内部的各种逻辑关系。这是它推理的基础。它由此获得的推理能力和下面我们关心的语言问题密切相关：如果没有足够的数据，它推理的能力肯定比在其它的语言上弱。另外，它回答问题时用的推理算法并不一定保证最好的运用自己已经掌握的知识。在有足够正确知识的时候，它甚至会产生逻辑错误的答案（这和人类也很类似。我们做逻辑推导的时候并不一定保证总是充分运用了自己已经掌握的知识）。这一点和以前大家熟悉的完全依靠知识图谱的人工智能系统很不一样。后者不会犯类似的错误。但是后者的局限性也很大。
另外一个问题和推理有关的是它的数学推理能力以及对特殊学科的适用性。下面的问答没有包含这些问题，是在其它时间问的。它目前没有很好地使用任何更成熟有效的数学系统（它有和其它系统的集成，但是它在详细解答中没有用，还骗我是用了的，直到我把它揭穿）。它用的是自身所有的数学的法则和技术。它自称非常经典的数学问题它有存储对应的推理、证明和解答，但是我没有看到它用。一切都靠实时计算和推理，因此错误很多，初中程度代数都常常做错。这当然不是一个数学领域的问题，这涉及这种语言模型对特殊学科的适用性。比如典型证明典型解答，这些传统意义的知识点有其特别的重要性。不是它自己临时产生的解答可以代替的。
它的知识和所用的语言基本绑定。它虽然在训练时可能借助其它语言的资源，但仍然很受自己语言资源的限制。因为各种语言的差异，词汇翻译理解之间的不同，它也不会在回答问题时跨语言给你找出最好的回答。因为那可能产生更多的混乱。所以不同语言的知识的差别不可避免。这意味着如果一个语言现有的文字和知识资源很贫乏，或者欠缺某一方面的内容，使用这种语言的用户就可能得不到最好的答案。结果是在它的世界里，世界按语言划分出了“阶级”。可想而知，如果一种语言的文字资源长期缺乏或自我封闭，那就是先天不足、就是自宫。联想到这类系统未来的前景，和它给我们对人工智能潜力的启示，我仿佛又看到了当初欧洲工业革命带来的世界文明的分水岭。。。我在最后给了一个关于数学史的中英文回答比较的例子。
它没有实时学习的功能。或者说是被禁止了。你不要浪费时间去给它灌输新的知识或者观点。你可以提供更多的信息去帮助它更好的利用已有的知识去“推理”去产生更好的回答。但是如果超越了它已有的知识，它不能真正马上接受你的”教诲“。你对它的纠正只会得到它“口头”的认可，但是它不会利用你提供的输入去产生你认可的答案。因为系统的管理者必须尽量控制训练数据以避免它的”思想“被”污染“（这是不是有点熟悉）但是，如果它已经具有相关的知识，即使最初回答错误，如果我们调整输入的问题或者提供好的提示，它也是可以给出很好的回答（这也和人类相似：我们常常也要经过不同的尝试才能在自己的知识基础上找出合适的解答）。

下面是我和ChatGPT的对话。蓝色的是我的问题，黑色的是它的回答。考虑到它经常对中文的询问给比较简短的回答，下面的对话都是英文。我最后用了谷歌翻译。ChatGPT的答复因为很长，我基本没有做任何修改。但感觉谷歌翻译进步不少，大家要看懂没有什么问题。不像以前常常主谓宾都搞错。当然也可能是因为这些AI产生的文字语法都比较规范，AI翻译起来自然会容易很多。

下面和ChatGPT的对话因为HTML formatting, 没有继续复制在这里了。感兴趣的朋友请用下面的链接

ChatGPT是个诚实的小骗子