144 总核心，512G 统一内存，819G/s 带宽，超越 M1 Ultra16.9 倍的 LLM 令牌生成速度，看起来是本地部署 LLM 的最佳利器？双机 EXO 或单机 INT4 即可部署 Deepseek 671B 全量模型？
8 条回复 • 2025-03-06 12:10:26 +08:00
 |
1
Donaldo 2025 年 3 月 6 日
exo 会让速度变慢很多。
|
 |
2
mumbler 2025 年 3 月 6 日
只是为了能跑的话，阿里云租一台 512G 内存 ECS ，一个小时几元钱而已，但慢得完全不可用
其实不用追求 671B ，按目前发展速度，明年 70B 或者 32B 就能达到现在 671B 的水平 |
 |
3
ajaxfunction 2025 年 3 月 6 日
@mumbler 阿里云的 512g 内存，和 mac 的 512g 内存不是一回事吧。
mac 是内存=显存， |
 |
4
mayli 2025 年 3 月 6 日
最佳指的是体积最小？
|
 |
5
whileFalse 2025 年 3 月 6 日  1
我来发表暴论：需要自己研究怎么部署 671B 的人，99%不需要本地 671B 。
|
 |
6
mandex 2025 年 3 月 6 日
怎么不是 M4 Ultra 啊？
|
