NVDA的GPU设计成给Transformer模型硬件加速的。其他的设计，比如TPU，没针对Transformer。

所以GOOG，TSLA后来又各自买了上万个NVDA的GPU，因为自己设计的GPU，只是其针对的一些模型性能快，但训练不出GPT。

GOOG的TPU不是基于Transformer模型。因为当时GOOG的AI老大说Transformer效率差。ChatGPT出来后， GOOG傻了。