这个Deep Seek对苹果电脑这种用Unified Memory的架构比较好,用普通苹果电脑就可以运行大模型

本地运行大模型的一大障碍是模型要放在GPU的graphic memory,但是VRAM很贵,内存和VRAM之间调数据也需要时间。苹果用统一内存,模型就直接放在RAM上,也不需要调来调去,最适合Deep Seek这样模型的本地部署,我在MacBook上运行速度很快。估计是这两天苹果涨了不少的原因,手机端也可以运行大模型了,而且别人已经做好了开源,自己拿来改改就可以用了

所有跟帖: 

赞第一手的资信 -沉默的老农民- 给 沉默的老农民 发送悄悄话 (0 bytes) () 01/28/2025 postreply 15:02:17

是,我的windows电脑,也有32G RAM,跑个7B模型都吭哧吭哧地。 -亚特兰蒂斯- 给 亚特兰蒂斯 发送悄悄话 亚特兰蒂斯 的博客首页 (0 bytes) () 01/28/2025 postreply 15:11:00

要看显存大小。我用的4080,16G显存,96G内存,跑14B的很快,但是32b就很慢 -gyarados- 给 gyarados 发送悄悄话 (75 bytes) () 01/28/2025 postreply 20:07:21

正是!苹果电脑设计的太棒了,早就为AI都准备好了。有人问我的苹果电脑有几个GPU,40个! -未知- 给 未知 发送悄悄话 未知 的博客首页 (479 bytes) () 01/28/2025 postreply 15:11:22

苹果不搞AI, 却提供了最好的个人AI运行平台。不知道是不是瞎猫碰上了死耗子。 -亚特兰蒂斯- 给 亚特兰蒂斯 发送悄悄话 亚特兰蒂斯 的博客首页 (0 bytes) () 01/28/2025 postreply 15:17:43

我猜测苹果电脑的系统设计师很有远见,另外苹果从来都是Vertical Integration上做的出色 -未知- 给 未知 发送悄悄话 未知 的博客首页 (112 bytes) () 01/28/2025 postreply 16:03:48

个人看法,不是。苹果深耕视频处理多年,视频和AI技术在硬件要求上重合度高。 -亚特兰蒂斯- 给 亚特兰蒂斯 发送悄悄话 亚特兰蒂斯 的博客首页 (0 bytes) () 01/28/2025 postreply 16:27:35

前几天没人要的苹果突然又变成了香饽饽 -越王剑- 给 越王剑 发送悄悄话 越王剑 的博客首页 (48 bytes) () 01/28/2025 postreply 15:18:34

AI大神好不容易放下身段坐下来,苹果就砸中了。 -亚特兰蒂斯- 给 亚特兰蒂斯 发送悄悄话 亚特兰蒂斯 的博客首页 (0 bytes) () 01/28/2025 postreply 15:21:58

这是你自己想的?什么时候苹果要靠配置高取胜?以前乔布斯都是靠设计和用户体验的,哈哈 -BrightLine- 给 BrightLine 发送悄悄话 BrightLine 的博客首页 (161 bytes) () 01/28/2025 postreply 15:35:37

什么叫我自己想的,这个是常识吧,谁可以去试,我本来就在用MacBook运行本地的Llama3.2 vision -丁丁在美洲- 给 丁丁在美洲 发送悄悄话 丁丁在美洲 的博客首页 (54 bytes) () 01/28/2025 postreply 15:52:08

DS 出的太晚了,否者PatGelsinger 的 AI PC 说不定就救了Intel:) -三心三意- 给 三心三意 发送悄悄话 (0 bytes) () 01/28/2025 postreply 15:55:52

如果多是用AI模型,苹果性价比较高!如果AI训练多,苹果就差远了,毕竟NVDA和CUDA的性能更高,高端PC太贵了。 -pichawxc- 给 pichawxc 发送悄悄话 pichawxc 的博客首页 (0 bytes) () 01/28/2025 postreply 18:04:25

请您先登陆,再发跟帖!