AI行业改朝换代太快

现在的架构已经到了顶端，大企业只好靠brute force计算能力来修建和维持护城河。但其实AI的突破往往是架构的革命，当大企业的AI专家被迫拼命玩算力时，一些初创公司被迫尝试别的道路。这种例子比比皆是，比如Hinton搞了一辈子RBM，在变压器架构前，不值一提，现在你看还有多少人玩RBM？还有就是autoencoder模型，一下子就被diffusion模型超越。有文章发表，说LoRA可以在计算能力微弱的环境下取得大模型等同的精确度，连谷歌科研人员都哀叹AI领域谷家没有多少护城河(moat)。我觉得AGI的实现在目前的brute force计算下不可能实现。只有另辟蹊径才能推动AI的下一轮大跃进