社区讨论V2EX 技术
mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万
编者注：此文完全是数字推演，不代表真实硬件能力。笔者不对信息准确度负责。 信源会罗列在文章下方 结合 256GB 统一内存来看，目前比较有价值的就是运行 ds-v4-flash-0731 ，恰巧最近 omlx 有过一次版本更新，官方性能数据如下： 信息来源 然后，M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据，其 prefill 性能是 M3 Ultra 的 4 倍（ ollama 数据，框架不同，只能参考） 所以大概预期，M5 Ultra 运行 ds-v4-flash-…
内容摘要
编者注：此文完全是数字推演，不代表真实硬件能力。笔者不对信息准确度负责。 信源会罗列在文章下方
结合 256GB 统一内存来看，目前比较有价值的就是运行 ds-v4-flash-0731 ，恰巧最近 omlx 有过一次版本更新，官方性能数据如下： 信息来源
然后，M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据，其 prefill 性能是 M3 Ultra 的 4 倍（ ollama 数据，框架不同，只能参考）
所以大概预期，M5 Ultra 运行 ds-v4-flash-0731 Q4 的大致性能是：
prefill
上下文 M3U （ v0.5.4rc2 ） 3× 4× 1K 531.0 ~1590 ~2120 4K 486.5 ~1460 ~1950 64K 468.5 ~1410 ~1870 128K 438.6 ~1320 ~1750
decode
场景 M3 Ultra M5 Ultra 预计 MTP 关，1K 27.6 ~40 MTP 关，4K 25.8 ~38 MTP 关，64K 22.8 ~33 MTP 关，128K 21.3 ~31
信息来源： https://newreleases.io/project/github/jundot/omlx/release/v0.5.4rc2
https://www.apple.com.cn/mac-studio/
https://omlx.ai/compare
资讯来源
V2EX