70B太大了，我的4080的机器32b的跑起来都嫌慢，14b的才差不多

所有跟帖： 

• 只就是苹果计算机的优势了，Unified Memory?构建CPU&GPU共享RAM，可以跑大模型 -未知- ♂ (88 bytes) () 01/28/2025 postreply 20:35:43

• 你的ram多大？我8G的ram，低配版M2，只能跑7b版。加个UI每次问问题它思考我都不能干别的事。 -largesammy- ♂ (0 bytes) () 01/29/2025 postreply 18:39:44

• M2跑大模型有的吃力，试试1.5b版 -未知- ♂ (81 bytes) () 01/29/2025 postreply 23:46:03