很多人对CUDA的护城河作用理解有问题
所谓几百万开发AI的研发人员依赖CUDA编程是错误的,大多数可能超过95%的人是用PyTorch间接调用CUDA功能,对大多数人来说从支持GPU切换到TPU取决于PyTorch对TPU的支持力度和少数原创模型架构开发新算子的研究人员。用于基础大模型训练和推理的GPU占市场销量的多数,而这类模型其实是由极少数高端大模型研发人员使用的,比方说,市面上可能50%的GPU跑的大模型是0.1%的AI研发人员写的代码,能不能由GPU切换到TPU是这些人的代码决定的。
所谓几百万开发AI的研发人员依赖CUDA编程是错误的,大多数可能超过95%的人是用PyTorch间接调用CUDA功能,对大多数人来说从支持GPU切换到TPU取决于PyTorch对TPU的支持力度和少数原创模型架构开发新算子的研究人员。用于基础大模型训练和推理的GPU占市场销量的多数,而这类模型其实是由极少数高端大模型研发人员使用的,比方说,市面上可能50%的GPU跑的大模型是0.1%的AI研发人员写的代码,能不能由GPU切换到TPU是这些人的代码决定的。