为什么电力涨， 女大起伏不定

 

花街认可堆算力是方向，电力公司是算力的粮食，必须涨。

 

但算力是不是都落到女大头上，花街就举棋不定了。

 

两天前，我曾写文说明大集群gpu可靠方案只有女大，cuda是女大的护城河，难以撼动。

 

不幸的是，DS可能填上了这条河。有科技博主研究了DS，发现为了解决低性能GPU Cluster带宽低的问题，DS另辟蹊径，在cuda下面的准汇编语言发力，将部分算力转换成数据交换处理器，绕过了cuda。

 

既然cuda可以绕过去，芯片市场必定群雄并起，进入战国时代。

 

那，为什么美国厂商没想到这法子呢？

 

首先，老一辈的程序员把汇编语言打入冷宫。精巧的汇编性能无敌，但是难写难调，20行的汇编程序都能玩出各种花样。 几年前我还在AI芯片上写过汇编，写一次足够让我发誓终身不碰汇编。

 

其次，在集群大系统中，汇编没有成功的先例。 大多数时候都是混杂情况， 汇编写一小块性能要求高的核心算法，其他用高级语言实现。

 

那DS为什么打破常规呢？ 原因有三，

 

第一，DS拿到的芯片是二级货，只能在软件上出奇招。

 

第二， DS工程师太年轻，没吃过汇编的苦，无知无畏，敢想敢干。

 

第三， 我认为可能性很大，这个准汇编就不是人写的，而是AI写的，人只提供了思路，AI“自举”迭代，自我进化，完成了用汇编实现大集群的壮举。

 

这个技术可能是DS优化训练的核心技术。应该没有开源。

 

但这不足以成为DS的护城河。美国以“犹太人+东欧人+华人+印度人”的startup公司并不缺聪明的大脑，有点子就能实现。

 

DS是算力肌饿极限状况下的草根突围。逼急了超水平发挥而已。

 

所以即使长期投资，在女大上是不是重仓，还要留个心眼。女大的护城河没那么宽了。