OpenAI的论文Scaling Laws for Neural Language Models指出了

计算能力和性能（test loss）是指数性的关系，哪怕提升10倍计算能力，其实性能的提升却很有限。