技术博客/在 NVIDIA GB300 NVL72 上部署 Qwen3.8-2.4T-A95B:2.4T 参数模型与可配置推理能力
NVIDIA进阶2026-08-12· 5 分钟· Agent 智能体

在 NVIDIA GB300 NVL72 上部署 Qwen3.8-2.4T-A95B:2.4T 参数模型与可配置推理能力

阿里开源 2.4T 总参数、每 token 激活 95B 的 Qwen3.8-2.4T-A95B,采用全注意力与线性注意力混合架构和细粒度 MoE,支持百万 token 上下文与 low/high/xhigh 推理档位。NVIDIA 通过 SGLang、vLLM、Dynamo 与 NIM 提供 Day-0 部署方案,在 GB300 NVL72 上 FP8 精度实现每 GPU 超 4K tokens/s。

本文需解锁后阅读

免费开放 3 篇精选工程博客(列表置顶)。其余文章登录后可阅读全文。