32GB内存跑180B MoE:HF流式推理与Strata/vLLM评测
Hugging Face 开源 Transformers MoE 专家流式推理(PR #50717),在 32GB 内存 MacBook 上以 13.9 tok/s 跑起 180B 参数 Qwen3.8-Flash-Next。本文深度对比 St…
话题标签
Hugging Face 开源 Transformers MoE 专家流式推理(PR #50717),在 32GB 内存 MacBook 上以 13.9 tok/s 跑起 180B 参数 Qwen3.8-Flash-Next。本文深度对比 St…