24gb Mac咨询

[Gaeroce]

我是24GB M5 后续有可能能用上本地模型吗？大佬辛苦

[fanyue0203-glitch]

您好，您的配置可以使用本地模型的，您可以体验下~

[Gaeroce]

十分感谢，我体验一下

[Gaeroce]

Hardware: MacBook Pro M5, 24GB RAM
mano-cua: 1.1.1
Local model: Mano-P w8a16
cider.is_available: True
vlm_service: OK
torch: OK

Observation:

1. mano-cua config --list says w8a8 default is auto.
2. But source visual/agents/local.py uses:
   w8a8_mode = get_config("w8a8") or "off"
   so unset config actually disables W8A8.
3. With w8a8 unset/off:
   prefill ~1150 tok/s
   decode ~24 tok/s
   peak_mem ~6.4GB
4. After mano-cua config --set w8a8 auto:
   [cider] Converted 252 layers to CiderLinear in 27.1s
   prefill drops to ~130 tok/s
   decode drops to ~2.5-2.8 tok/s
   each step takes ~50s
5. Setting w8a8 off restores previous speed.

大佬，速度似乎有些慢 这是正常的吗

[HanningWang]

这个是不正常的 我们正在深入调查尝试复现你的问题

请问有更多的信息吗？
比如w8a8只是第一个慢 还是每次都慢 同样的情况能复现吗？