模型放在那了,从模型计算求解一样是个resource intensive的过程,如果是大模型的话

来源: 2024-12-13 12:25:08 [旧帖] [给我悄悄话] 本文已被阅读:

并不是训练才消耗资源,更何况如果这个求解过程持续进行。听起来你并不懂。 把大模型训练好下载到机器上,用这个大模型来制作东西,需要什么硬件级别? “只增加少量内存或不增加”只有一种可能性,就是有专用硬件类似ASIC把这个求解做死了,但这个ASIC还没有通用的。