https://blog.wenxuecity.com/myblog/73834/202304/8564.html 其中这样预测:
GPT-3已是个十分复杂的学习模型,其训练参数总量达到1750亿之巨,而三年后的今天, GPT-4 的参数总量竟然又差不多翻了一倍达到3500亿(比较可靠估计),有人危言耸听,人的神经元总量只有860亿,机器智能复杂度已经超越人类,机器生命诞生。错! GPT 的参数量只是其训练数据的一种量度,与作为运算单元的神经元是完全两个概念,如果硬要捉对,应该用神经元的触突数才靠谱一些,不同神经元的触突数量差异巨大,但平均来说,一个神经元大约有7000个触突,那么860亿神经元就有602000亿个触突,是GPT-4 参数总量的170多倍。
如果假设GPT 的参数量每三年翻一番,那么大约在22年后,GPT 的参数总量将超越人的神经元触突的总量。