创新是如何发生的？

ChatGPT 引发的革命性创新来自于Google 的 Transformer architecture large language model. 其革命性来源于 一个崭新的attention model。现在所有人都转向transformer 的 attention model. 在这之前，是 Recurrent neural networks (RNNs) 主导，那么是谁第一个有了attention model的想法呢，是这位：

Jakob Uszkoreit  ：毕业于Technische Universität Berlin，柏林技术大学。没有 PhD 学位。在Google做Intern，然后在Google工作时凭直觉觉得 attention 比RNNs 更快，更有效，更适合并行运算。第一篇 attention model的论文四位作者（按论文排名）：

Ankur Parikh: 印度人，本科：Princeton CS；PhD：CMU Machine Learning
Oscar Täckström：瑞典人，本科：Stockholm大学 哲学；PhD: Uppsala大学，CS
Dipanjan Das：印度人，本科：CMU CS。PhD：CMU CS Language Technologies
Jakob Uszkoreit：德国人，本科：柏林技术大学 CS

他们把attention model 运用在 语言翻译上，完胜 RNNs 

Jakob Uszkoreit认为attention 不仅仅可以在语言上，更可以在AGI上，于是下面8人合作发表了著名的“Attention is all you need" 一文，这篇文章被誉为 改变AI历史的文章：

Jakob Uszkoreit：德国人，本科：柏林技术大学 CS
Noam Shazeer: 祖上德国犹太人，出生在费城，本科：Duke CS。此人重写了整个 transformer 程序
Lukasz Kaiser 波兰人，本科 Wroclaw大学 CS，PhD 亚琛工业大学 CS，OpenAI ChatGPT核心人物
Illia Polosukhin: 乌克兰人，本科：乌克兰国立技术大学 CS+应用数学
Ashish Vaswani 印度人，PhD USC CS
Llion Jones 威尔士人，本科 Birmingham 大学 CS
Niki Parmar 印度人，Master of Science USC CS (和Ashish Vaswani是一对）
Aidan Gomez 加拿大人/英国人，本科：多伦多大学 CS 是Kaiser的intern，后来读的PhD：牛津大学 CS

我的几点观察：

1）几乎没有一个美国人，但工作是在美国做的。
2) 几乎都是 CS 专业。 做ML的两类人，一类学CS的，另一类学统计的。做transformer全是学CS的
3）灵魂人物Uszkoreit，Shazeer，Polosukhin，Kaiser都是欧洲人
4）没多少名牌大学
5）印度人善于参与
6）一半PhD，一半没有PhD，灵魂人物Uszkoreit，Polosukhin，Shazeer都是本科。八人中只有2个PhD，Gomez当时是实习生，后来去牛津读 PhD。
7）Internship 也能成大事，Aidan Gomez作为一个在Google的实习生，也因此世界闻名

当今最伟大的创新就是这些人制造的，Attention模型革命性超过ChatGPT，因为ChatGPT只是利用Transformer的一个例子，transfomer还用在 Gemini 等等其他大语言模型，以及图像视频AGI（比Text文本更复杂）

 

 

所有跟帖： 

• 怎么不是名牌啊，各个国家的名牌不算啊。。。哈哈。。 -Midwestrural- ♂ (0 bytes) () 04/04/2024 postreply 20:07:16

• 你没说是如何发生的啊 lol。还都只是大力/暴力深度学习，aka深度记忆，并没有多少真正智能 -成功的三少爷- ♂ (0 bytes) () 04/04/2024 postreply 20:07:51

• attention最大的贡献是并行计算，提高了工程/计算效率 -成功的三少爷- ♂ (0 bytes) () 04/04/2024 postreply 20:09:07

• 做事快跟智慧有多深完全不同的概念 -成功的三少爷- ♂ (0 bytes) () 04/04/2024 postreply 20:10:41

• insdie story from WIRED -RomaVacation- ♂ (98 bytes) () 04/04/2024 postreply 20:15:55

• 华裔怎么没插一脚？LOL -RomaVacation- ♂ (0 bytes) () 04/04/2024 postreply 20:18:45

• 华裔贡献了最重要的一环，NVIDIA的GPU -zeno- ♀ (0 bytes) () 04/04/2024 postreply 20:27:30

• 就是算力的大幅度提高嘛。 -Pilsung- ♂ (0 bytes) () 04/04/2024 postreply 20:33:29

• 对，早期是为了游戏，后来又为了挖矿，所以其实所有大家觉得不务正业的东西都有正作用。 -zeno- ♀ (0 bytes) () 04/04/2024 postreply 20:35:59

• 这叫歪打正着。哈哈。。。 -Pilsung- ♂ (0 bytes) () 04/04/2024 postreply 20:39:41

• Ashish Vaswani 在USC的博士导师都是华裔 -gladys- ♂ (415 bytes) () 04/04/2024 postreply 20:41:45

• 大多是名牌大学的。怎么没有一个美国人？想说明什么？查了下，Noam Shazeer出生于费城,上的Duke, 算美国人吧 -sportfan- ♂ (1792 bytes) () 04/04/2024 postreply 20:20:16

• Jason Wei的cot 作用有多大？ -yddad- ♂ (0 bytes) () 04/04/2024 postreply 20:28:12

• Prompt Engineer的祖师爷？ LOL -zeno- ♀ (0 bytes) () 04/04/2024 postreply 20:32:34

• 都是CS -月色浅浅- ♀ (0 bytes) () 04/04/2024 postreply 20:29:42

• 這篇原始文章提到了每個人的貢獻 -roger_surfer- ♂ (81 bytes) () 04/04/2024 postreply 20:32:34

• Jacob思想，Noam编程，Llia和Ashish重度长期参与，Llion和Niki测试，Lucas和Aiden整合 -兄贵- ♂ (0 bytes) () 04/04/2024 postreply 21:20:41

• 不是有一个P本科cs/math Ankur Parikh? -米汤- ♂ (0 bytes) () 04/04/2024 postreply 20:33:21

• 没一个美国出生的作者，但他们都来到美国，在美国做成了这一切吧 （a research paper by Google) -gladys- ♂ (0 bytes) () 04/04/2024 postreply 20:35:04

• 各国人才来美国合作完成 不然泥 那位乌克兰的一定在前线 -东西南北衫- ♂ (0 bytes) () 04/04/2024 postreply 20:40:19

• 而且他们现在大部分都在美国，应该有美国国籍了吧，算美国人吧。反正美国人就是世界各地想来美国的人组成的。 -gladys- ♂ (0 bytes) () 04/04/2024 postreply 20:43:01

• 最后都是美国人，娃也都在美国生活，读书，就业，成家。。哈哈 -Midwestrural- ♂ (0 bytes) () 04/04/2024 postreply 20:44:52

• 是的 -gladys- ♂ (0 bytes) () 04/04/2024 postreply 20:46:22

• 是这个意思 -兄贵- ♂ (0 bytes) () 04/04/2024 postreply 20:42:44

• 美国确实厉害，吸引人才 -月色浅浅- ♀ (36 bytes) () 04/04/2024 postreply 20:52:20

• Noam出生于费城，本科Duke -sportfan- ♂ (724 bytes) () 04/04/2024 postreply 21:32:48

• 总结的好 都是外国人在干活 都是直接接触问题的人解决问题 -东西南北衫- ♂ (0 bytes) () 04/04/2024 postreply 20:38:46

• 都跑到美国来解决问题。。。哈哈 -Midwestrural- ♂ (0 bytes) () 04/04/2024 postreply 20:43:33

• 谷歌是个伟大的公司，即使现在不招人待见了。 -zeno- ♀ (0 bytes) () 04/04/2024 postreply 20:45:53

• 确实。。 -Midwestrural- ♂ (0 bytes) () 04/04/2024 postreply 20:47:42

• 美国有一代代新的，伟大的公司出现。中国也有苗头的，不过一些私营公司被伟大领袖除草了 -gladys- ♂ (0 bytes) () 04/04/2024 postreply 20:48:00

• 哈哈。。 -Midwestrural- ♂ (0 bytes) () 04/04/2024 postreply 20:51:47

• 是啊，中国的伟大公司都被伟大总统拜和川盯上了 lol -manyworlds- ♂ (0 bytes) () 04/04/2024 postreply 22:18:56

• 川普想搞没搞成。还是靠伟大领袖搞死的,以马云为首 -gladys- ♂ (0 bytes) () 04/04/2024 postreply 22:25:25

• 你说说古狗brain那批人，都是最先研发出来的技术，但现在GoogleAI被openAI吊打，难道不是executive -Pilsung- ♂ (47 bytes) () 04/04/2024 postreply 20:53:29

• openAI 有做出chatGPT啊，如果那篇文章是internet, chatGPT就是web -zeno- ♀ (0 bytes) () 04/04/2024 postreply 21:00:01

• 做ML的两类人，一类学CS的，另一类学统计的。我想说的是transformer全是学CS的 -兄贵- ♂ (0 bytes) () 04/04/2024 postreply 20:48:43

• CMU ML系刚建立时主力是CS和统计系的教授，博士生来自CS和统计系的博士生和自己的科研masters -whaled- ♂ (171 bytes) () 04/04/2024 postreply 20:55:50

• 你说的是AI major 吧，另外在 CS专业下有 ML concentration -兄贵- ♂ (374 bytes) () 04/04/2024 postreply 21:03:55

• ML系前身是Cent for Adv Lrning & Knowledge Discovery.人马是CS和统计系教授。 -whaled- ♂ (192 bytes) () 04/04/2024 postreply 21:09:42

• 另外，Internship 也能成大事，Aidan Gomez作为一个在Google的实习生，也因此世界闻名 -兄贵- ♂ (0 bytes) () 04/04/2024 postreply 21:34:02

• 赞！谢谢好文。觉得是作了统计，还没有深入research 这些人的内在动因。-：） -有言- ♂ (0 bytes) () 04/04/2024 postreply 21:50:49

• The attention mechanism最先运用在语音翻译上，太有道理了 -pct- ♂ (0 bytes) () 04/04/2024 postreply 22:36:42