稍稍地学习了一下GPT，供有兴趣的参考。

要点

- GPT-3模型是通过收集2021之前45TB文本数据训练出来的。

- 这45TB文本数据不包括人类所有的知识，但以后会不断地更新。

- 语言的生成是基于45TB文本数据，即便没有答案，目前不会去互联网上收索。

- GPT-3模型拥有巨大1750亿模型参数和96个模型层数，1750亿模型参数有点类似于人类大脑的神经元（？），人类大脑的神经元100亿个。

- 模型参数决定了模型的复杂度和表示能力，而模型层数决定了模型的抽象能力和处理复杂任务的能力。

- GPT-3 使用了一个大型的自注意力神经网络，模型结构有 96 层。每一层都用于学习语言的更复杂的模式，因此 96 层可以将语言的许多不同方面整合在一起。生成语言的时候，模型会计算出语境下最可能的回答，并在多层的模型中进行处理，以找到最终的回答。

- GPT-3是已经被预先训练好的模型，用户使用GPT-3并不会直接对模型进行训练（原以为自己在训练它）。

- 用户使用GPT-3产生的数据和反馈信息可以帮助开发者对模型进行改进和优化。

 

GPT-3 论文网址，有兴趣的可以细读。

https://arxiv.org/pdf/2005.14165v3.pdf

 

所有跟帖： 

• 悄悄地学，不是大张旗鼓地学，因为寝室熄灯了，只能在被窝里打着手电筒看书吗 -有个用户名- ♀ (0 bytes) () 02/10/2023 postreply 18:09:05

• 你眼花了，是“稍稍” -未完的歌- ♂ (0 bytes) () 02/10/2023 postreply 18:10:50

• 哎呀..真的..他奶奶的，手机屏幕太小 -有个用户名- ♀ (0 bytes) () 02/10/2023 postreply 18:12:07

• 我很少用手机上网，不是电脑就是ipad -未完的歌- ♂ (0 bytes) () 02/10/2023 postreply 18:14:43

• 手机可以到处带嘛，有时候等娃上课，买菜排队交钱，我就掏出来吵一会儿架 -有个用户名- ♀ (0 bytes) () 02/10/2023 postreply 18:17:30

• 不是灌一下水吗？XD -带娃是持久战- ♂ (0 bytes) () 02/10/2023 postreply 22:46:01

• 给有些人灌是水，给有些人灌是酒。茶越冲越淡，酒越酿越香 -有个用户名- ♀ (0 bytes) () 02/11/2023 postreply 06:24:17

• 酒不醉人人自醉 -未完的歌- ♂ (0 bytes) () 02/11/2023 postreply 08:13:03

• 没错，不会醉的给他些水就行 -有个用户名- ♀ (0 bytes) () 02/11/2023 postreply 08:32:37

• 什么是XD, please？ -xia23- ♂ (0 bytes) () 02/11/2023 postreply 11:49:30

• XD is an old emoticon -有个用户名- ♀ (284 bytes) () 02/11/2023 postreply 14:20:19

• 谢谢。但是，是中文的缩写吗？因为英文里以x打头的字不多。 -xia23- ♂ (0 bytes) () 02/12/2023 postreply 08:25:15

• 带娃不常来，我好心替他回答一下 -有个用户名- ♀ (0 bytes) () 02/11/2023 postreply 14:21:30

• 赞，奖励一朵小红花！ -带娃是持久战- ♂ (0 bytes) () 02/11/2023 postreply 23:13:14

• 没问题，收下！ -有个用户名- ♀ (0 bytes) () 02/12/2023 postreply 07:18:18

• 今天开会见到一个卖教育软件的，问她们提供的答案和CHAPTGPT 提供的答案比较如何？ -攀登2022- ♀ (635 bytes) () 02/10/2023 postreply 21:01:52

• "富人在受苦，穷人在享乐" 终于发现我为什么那么快乐啦 LOL -带娃是持久战- ♂ (0 bytes) () 02/10/2023 postreply 22:48:11

• 现代社会富人在受苦，穷人在享乐。你又出惊人之语了，好！：） -燕然山- ♀ (0 bytes) () 02/11/2023 postreply 05:36:34

• 赞。我同事有搞 AI 的，天天讨论。LOL -带娃是持久战- ♂ (0 bytes) () 02/10/2023 postreply 22:47:05

• 哇！这么一个庞然大物，是好多人参与造出来的，又是控制在少数人手中？ -燕然山- ♀ (0 bytes) () 02/11/2023 postreply 01:29:18

• Nice job! -LittleEasy- ♀ (0 bytes) () 02/11/2023 postreply 05:10:07

• 谢谢未版分享，cGPT只是从45TB海量数据训练，目前看来并不把和客户互动的数据也作为训练集作加强训练 -jinjiaodw- ♂ (0 bytes) () 02/11/2023 postreply 09:49:17

• 96层的神经网络模型，设计真够复杂的 -jinjiaodw- ♂ (0 bytes) () 02/11/2023 postreply 09:50:54

• 可以用“熟读唐诗三百首，不会吟诗也会吟”去理解GPT。 -未完的歌- ♂ (298 bytes) () 02/11/2023 postreply 15:01:00