inference需要的算力远不如训练多，所以需求也不会大，训练模型是最花时间和钱的

所有跟帖： 

• inference计算量主要看应用规模。好的模型训练完成后，可能被调用上万次、上亿次 -study169- ♂ (0 bytes) () 01/01/2025 postreply 13:13:38

• 这个是前端，需求多时自动分配前端服务器就能解决问题，CLOUD的auto scaling方案很完善了，不需要做到芯片里 -testmobile- ♀ (0 bytes) () 01/01/2025 postreply 13:23:53