我的理解: 它的训练主要是基于数据的递归, 是完形填空, 通过一些机制, 迫使它抽提上下文之间的关联, 抽提信息, 而不是强记海量的数据。
你可以把它看成一个压缩器, 压缩的主要是信息, 而不是数据, 是语义, 而不是文本, 当信息回吐的时候, 一定不是100%原始数据, 所以它不适合直接拿来做考证, 不适合 facts check。也可以这样理解, 它回吐的信息, 它编造的那些个出处, 放到平行宇宙里, 是合理的, 是可以发生的, 但是未必是这个宇宙发生的事情.
你也是可以把它看成一个模拟机, 你给它看全世界所有的数据, 它能很好的拟合, 但是它有个抽提过程, 举个极端简化的例子, 如果全世界所有的数据是一个正态分布, 我们用一个公式可以拟合, 这个公式就是抽提出来的虚拟机, 公式算出的数据在这个分布上, 但未必是真实数据。
至于 Hinton 说的那些话, 至少有两层意思, 人们引用的时候, 往往把两层意思混淆了。第一层意思, 这个压缩机也好, 模拟器也好, 是个黑盒子, 具体到某一个结果, 我们不知道它是怎么算出来的, 如果需要改正, 要通过训练数据来改正, 而很难直接修改机器, 我直觉这个倒不是 Hinton 特别担心的地方。第二层意思, 智慧的生物机理可能并没有超出今天的神经网络, 单个神经元的机理极其简单, 但是量变引发质变, 质变就是智慧的产生, 这里量变包括神经元的数量和数据量, 而这两个量人工都能堆出新的数量级来, 结果会是什么, 就不可而知了, 这可能是 Hinton 真正担心的地方。
