NVDA的法宝是自家开发了二十年的非公开代码CUDA软件包，只能运行在自家GPU上。几乎所有的AI代码都是用它开发的。

来源: uptrend 于 2024-02-03 21:30:49 [] [博客] [旧帖] [给我悄悄话] 阅读数 : (0 bytes)

所有跟帖： 

• AMD的MI300X带192GB内存的GPU市场单价不超过1万5千美元，NVDA的H100带80GB内存的市场价4万美元 -uptrend- ♂ 给 uptrend 发送悄悄话 uptrend 的博客首页 (736 bytes) () 02/03/2024 postreply 21:36:41

• 听说中国也在做 -yma16- ♂ 给 yma16 发送悄悄话 yma16 的博客首页 (0 bytes) () 02/05/2024 postreply 12:57:17

• 也就是说，无论哪个大公司想要自己设计硬件用来训练AI，还需要自己开发软件包，再移植AI代码。要花很多时间和资源。 -uptrend- ♂ 给 uptrend 发送悄悄话 uptrend 的博客首页 (0 bytes) () 02/03/2024 postreply 21:45:12

• 大多数AI模型都有PyTorch 或者tensorflow 实现。PyTorch 支持OpenCL，OpenCL可以在 -study169- ♂ 给 study169 发送悄悄话 (131 bytes) () 02/03/2024 postreply 22:05:03

• 你说的不错。但时间就是金钱，而且是成千上万亿美元的规模。 -uptrend- ♂ 给 uptrend 发送悄悄话 uptrend 的博客首页 (0 bytes) () 02/03/2024 postreply 22:12:46

• 所以现阶段大家训练模型都是用Nvidia GPU，但将来运行大模型就会用各种自研的芯片 -study169- ♂ 给 study169 发送悄悄话 (50 bytes) () 02/03/2024 postreply 22:18:50

• Nvidia GPU的更新换代很快，没那么容易被替代。 -uptrend- ♂ 给 uptrend 发送悄悄话 uptrend 的博客首页 (0 bytes) () 02/03/2024 postreply 22:23:35

• 只是LLM基础模型训练要求高。LLM微调训练笔记本就可以胜任了。我们公司几乎所有项目都是AI，连A100 -study169- ♂ 给 study169 发送悄悄话 (18 bytes) () 02/03/2024 postreply 22:28:05

• 开源的LLM虽然能微调，但是性能不咋样，用于专项评测时和随机回答的结果差不多。你公司用的是开源的SLMs吧？ -uptrend- ♂ 给 uptrend 发送悄悄话 uptrend 的博客首页 (0 bytes) () 02/03/2024 postreply 22:37:14

• 除了专做LLM基础模型的，大多数公司用开源模型，我们也是。AI应用有太多细分领域 -study169- ♂ 给 study169 发送悄悄话 (0 bytes) () 02/03/2024 postreply 22:52:15

• 一个同事用笔记本做过演示 -study169- ♂ 给 study169 发送悄悄话 (300 bytes) () 02/04/2024 postreply 04:17:05

请您先登陆，再发跟帖！