计算机系统和平行计算和学习AI不矛盾 -- 等我忙完， 下面楼已经看不见了

系统优化（这包括平行计算）总有需求， 像GPT， 现在每月计算成本就是300万， 如果能够提高算法10%， 就可以节约30万。 系统优化从底层硬件一直到最上层用户界面公司一直会优化， 而了解系统如何工作是优化第一步。 像GPT，你先要了解OpenAI的GPT结构是如何做的，它的Encoder、Decoder是如何构架的，那些是可以使用平行计算的。 不久前， 有位工程师提出Matrices 尺寸尽可能接近 power 2， 那样就提高了许多效率。先写这些。

所有跟帖： 

• 要学习系统， 最好懂CPU 构架， 像微软是用 Nvidia的GPU去运行它的AI， 而谷歌有它 -WaldenPond- ♂ (24 bytes) () 02/11/2023 postreply 15:55:08

• TPU跟Nvidia GPU比优势大吗？ -study169- ♂ (0 bytes) () 02/11/2023 postreply 16:08:40

• 自然有优势， 效率高。 Nvidia 推出DLA 应对。 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:13:44

• 是每个月三百万。 -:) -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:00:10

• 应用领域的着眼点跟研究很不一样，应用那种了解程度，玩几天大概就可以玩下去了 -avw- ♀ (0 bytes) () 02/11/2023 postreply 16:00:14

• GPT基础研究的突破是谷歌做的， 17年谷歌的论文， 但是Scale Up是 OpenAI做的。 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:23:18

• 并行计算不是属于计算数学领域的吗？ -fakegreen- ♂ (0 bytes) () 02/11/2023 postreply 16:03:52

• 以前从编译器上动脑筋， 是有学数学的做， 但是基本上是计算机和EE系 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:12:32

• 希望对AI有新的创新， 许多人都有 PhD. 许多做软件， 只需要了解一些基本的构架。 -WaldenPond- ♂ (85 bytes) () 02/11/2023 postreply 16:07:40

• 请问AI chip这个方向怎么样？ -newca- ♀ (0 bytes) () 02/11/2023 postreply 16:25:08

• 我个人观点： 芯片肯定需求大， 但是对设计者需求可能就没有那么多。 只要看看VC对投资芯片的热度就知冷热 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:36:40

• 量子计算应该会对大数据计算有更大的帮助。加拿大也招募了不少数学，物理博士在搞量子计算机，朋友的孩子在里面。 -舒展- ♀ (87 bytes) () 02/11/2023 postreply 17:07:05

• AI 很多计算要由grid or farm来做。那部分就是distributed computing在AI一个角色。 -JianFromCA- ♂ (0 bytes) () 02/11/2023 postreply 17:49:00