这个Deep Seek对苹果电脑这种用Unified Memory的架构比较好,用普通苹果电脑就可以运行大模型

来源: 2025-01-28 14:42:51 [博客] [旧帖] [给我悄悄话] 本文已被阅读:

本地运行大模型的一大障碍是模型要放在GPU的graphic memory,但是VRAM很贵,内存和VRAM之间调数据也需要时间。苹果用统一内存,模型就直接放在RAM上,也不需要调来调去,最适合Deep Seek这样模型的本地部署,我在MacBook上运行速度很快。估计是这两天苹果涨了不少的原因,手机端也可以运行大模型了,而且别人已经做好了开源,自己拿来改改就可以用了