NVIDIA Nemotron 3.5 发布：Super VL 120B、Bolt 74B、24GB 本地部署与 AI Agent 完整指南

一、NVIDIA Nemotron 3.5 正式发布：AI Agent 不再只依赖云端

2026 年 10 月 15 日，NVIDIA 发布 Nemotron 3.5 系列新模型，将开放模型能力进一步扩展到企业级多模态推理与个人本地 AI Agent 场景。

本次推出的主要模型包括 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B-A9B 24GB，同时预告了面向低内存设备的 Bolt E4B 4GB。

这一发布值得关注，并不只是因为 NVIDIA 推出了更强的模型。

更重要的是，NVIDIA 正在尝试解决企业部署 AI Agent 时面临的现实问题：模型能力、运行效率、硬件成本和数据控制之间如何取得平衡。

过去，大模型领域的讨论主要围绕参数规模与推理排行榜展开。

但当 AI 开始进入软件开发、企业办公、知识管理和自动化工作流后，仅仅能够回答问题已经不够。

一个真正可以用于生产环境的 AI Agent，需要持续读取信息、调用工具、执行任务，并在遇到错误时进行调整。

这种工作方式可能产生大量模型请求，也会对系统延迟、稳定性和单位任务成本提出更高要求。

NVIDIA Nemotron 3.5 的产品设计，正是围绕这些问题展开。

二、Nemotron 3.5 三款模型有哪些区别？

根据 NVIDIA 官方资料，本次系列模型主要覆盖三种部署需求。

Super VL 主要面向企业多模态场景，强调复杂工作流、视觉理解和任务执行能力。

Bolt 74B-A9B 更关注在有限内存环境中实现高能力推理。

Bolt E4B 则面向体量更小、强调实时响应的应用，例如嵌入式语音助手与交互式角色。

需要注意，2026 年 10 月 16 日撰文时，Bolt E4B 仍属于即将发布的产品，不应写成已经全面开放下载。

从整个产品组合来看，NVIDIA 希望让开发者根据实际设备和任务复杂度选择模型，而不是所有应用都使用同一种大模型。

三、Nemotron 3.5 Super VL：120B 多模态模型面向复杂企业任务

Nemotron 3.5 Super VL 是本次发布中最具代表性的企业级模型。

官方将其定位为适用于长期运行、高吞吐量和多模态任务的开放模型。

它能够支持视觉理解、指令执行、工具使用和多步骤业务流程。

为什么多模态能力对于企业 Agent 如此重要？

因为真实业务数据往往不只是普通文字。

一份采购报告可能包含表格、图表、产品图片和说明文字。

一份工程文档可能同时具有结构化数据、流程图和设备截图。

传统自动化系统需要针对不同数据类型使用多套工具，最终再将结果汇总。

多模态模型则可以在同一个任务上下文中理解多种信息。

例如，企业可以构建一个文档分析 Agent，自动读取项目报告，识别关键指标，并生成可供人工复核的分析摘要。

不过，模型能够处理视觉信息，不等于能够保证准确识别所有图表数字。

在财务、法律和医疗等高风险领域，仍需要使用额外的结构化解析与校验机制。

120B 模型的效率设计

NVIDIA 将 Super VL 定位为兼顾能力与效率的开放模型。

根据官方介绍，它在部分特定测试中实现了较高的任务处理速度，并能够在一些多模态 Agent 任务上提供有竞争力的结果。

NVIDIA 宣称，相较指定同类模型，它的吞吐表现最高可以达到约五倍。

但这里必须明确区分官方基准与真实部署效果。

性能结果往往受到硬件配置、测试数据、输入长度、输出长度和并发数量影响。

因此，五倍吞吐量不能被解释为任何企业部署后都可以获得五倍加速。

对于生产应用，更建议以实际业务任务作为评估标准。

例如，统计模型完成一份报告所需的总时间，而不是只比较每秒输出多少 Token。

四、为什么 Nemotron Bolt 74B-A9B 更值得个人开发者关注？

相比 Super VL，Nemotron 3.5 Bolt 74B-A9B 24GB 可能更容易吸引本地 AI 爱好者和独立开发者。

它拥有约 740 亿总参数，其中约 90 亿参数参与每 Token 的主要计算。

NVIDIA 使用了适用于低精度运行的量化技术，将特定模型版本优化到 24GB 内存规模。

这意味着开发者有机会在具备相应条件的本地 NVIDIA 设备上运行高参数量模型。

对于希望在本地执行代码分析、文档处理或自动化任务的用户而言，这是一个重要变化。

传统高参数量模型往往需要昂贵的 GPU 服务器。

现在，专门为本地设备设计的模型开始提供新的选择。

但 24GB 不能被理解为所有部署情况下的唯一资源需求。

实际运行仍需要考虑驱动、推理框架、KV Cache、上下文长度及其他应用程序的内存占用。

因此，购买硬件前应核对官方模型版本与所选框架的兼容要求。

五、2-bit 量化到底是什么？

Bolt 74B-A9B 的一个重要技术特点，是原生 2-bit 量化设计。

模型参数在计算机中需要使用一定的数据精度表示。

常见的 FP16 或 BF16 格式，通常需要约 16 位存储一个参数。

当模型具有数百亿参数时，权重本身就会占用大量存储空间。

量化技术通过降低参数表示精度来减少模型权重的资源占用。

以 74B 参数为例，进行简单理论估算：

这些数字只是按照参数数量乘以每参数位数得到的理想化结果。

实际模型还需要量化元数据、部分高精度参数以及运行时缓存。

因此，不能认为 2-bit 版本实际只占用 18.5GB。

NVIDIA 公布的 Bolt 24GB 版本，体现的是围绕低内存部署进行的整体优化。

量化会不会影响模型能力？

可能会。

较低的数值精度有机会降低推理资源需求，但也可能产生信息损失。

影响程度取决于模型训练、量化方法以及具体任务。

NVIDIA 对 Bolt 使用了与量化相关的训练优化，以尽可能保留模型能力。

但开发者仍应测试本地模型在真实工作流中的表现。

特别是 AI 编程、数学推理、工具调用和长上下文任务。

不能因为一个模型能够流畅聊天，就直接推断它能稳定完成复杂编程任务。

六、Nemotron Bolt 可以运行在哪些硬件上？

NVIDIA 官方将 Bolt 74B-A9B 24GB 面向本地 RTX 和 DGX 设备推广。

支持范围包括符合条件的 GeForce RTX PC、RTX 工作站、DGX Spark、DGX Station 及 RTX Spark 平台。

需要注意，这只是产品级别的兼容方向。

不同设备是否能够顺利加载模型，取决于显存或统一内存容量、推理框架和模型版本。

对于普通桌面电脑用户，建议重点检查以下项目：

1. 显卡型号和可用显存。
2. 操作系统与 NVIDIA 驱动版本。
3. CUDA 和推理框架要求。
4. 模型权重文件的量化格式。
5. 目标上下文长度。
6. 同时运行的其他程序。

即使模型权重可以加载，长上下文和多个并发任务也可能导致内存需求上升。

因此，能够运行与能够稳定服务多个用户，是完全不同的评价标准。

七、Ollama、LM Studio、llama.cpp 和 vLLM 怎么选？

NVIDIA 官方列出了多个 Bolt 生态运行方案。

Ollama：适合快速本地体验

Ollama 提供相对简单的本地模型管理方式。

开发者可以通过命令行管理模型，也可以让支持相应接口的应用程序调用本地服务。

但使用 Bolt 时应选择真正支持其权重格式的版本，不能随意使用未验证的模型标签。

LM Studio：适合图形界面用户

LM Studio 更适合希望通过桌面界面进行模型体验的开发者。

在硬件和模型格式兼容的情况下，可以用于测试对话、提示词与本地推理。

llama.cpp：适合轻量化部署探索

llama.cpp 提供多种硬件和量化格式相关支持。

对于本地模型开发者而言，它是重要的部署生态。

不过，是否支持特定 Bolt 版本，应以实际发布的兼容说明为准。

vLLM：适合建立推理 API 服务

vLLM 更适合希望把模型作为 API 服务运行的团队。

它能够用于构建具有批处理与推理调度能力的模型服务。

对于企业来说，还需要额外配置身份验证、日志、速率限制和服务监控。

无论采用哪种框架，建议从官方模型仓库进入，而不是直接下载来源不明的第三方权重包。

八、AI Agent 如何利用本地 Nemotron 模型？

Nemotron Bolt 的实际价值在于让部分 Agent 工作流可以在本地执行。

场景一：本地 AI 编程

开发者可以使用模型阅读项目代码、解释错误日志、生成修改建议和辅助编写测试。

如果结合文件系统工具，还可以构建能够自动编辑代码的 Agent。

但实际文件写入需要经过权限控制。

对于删除文件、覆盖配置、提交代码等操作，应采用明确的确认机制。

场景二：企业文档助手

企业可以将部分文档处理工作放在自己的设备或内部网络中。

例如，分析内部操作手册、技术规范和业务流程。

本地部署有机会减少向外部 API 发送原始内容的需求。

但它并不自动保证信息安全。

企业仍需保护设备、存储、访问权限和日志。

场景三：研究与资料整理

开发者可以构建一个本地研究助手，让它检索本地资料、提取信息并生成总结。

这种方式适合需要反复处理同类文档的工作流。

场景四：低成本原型验证

对于准备开发 AI 产品的团队，本地模型可以用于验证 Agent 编排、工具接口和业务流程。

当任务逻辑成熟后，再决定使用本地部署还是商业云端模型。

九、NVIDIA NeMo、NIM 与 Dynamo 的作用

Nemotron 系列不只是模型权重，还与 NVIDIA 软件生态紧密结合。

NVIDIA NeMo 主要面向模型训练、定制和评估工作。

企业可以围绕自身任务构建训练数据，并对模型进行相应调整。

但模型定制并不是把企业文件全部输入训练程序就可以完成。

还需要进行数据清洗、训练集划分、质量评估和安全验证。

NVIDIA NIM 则用于将模型封装为方便部署和管理的推理微服务。

它能够帮助企业减少部分推理服务工程化工作，但具体支持范围和商业条件应以 NVIDIA 文档为准。

Dynamo 主要围绕大规模推理资源调度与优化展开。

NVIDIA 在官方公告中展示了使用 Dynamo 提高服务能力的性能数据。

然而，相关结果来自特定配置，不代表所有部署都会获得相同提升。

企业在规划基础设施时，应通过自己的并发测试和任务负载验证。

十、企业到底应该使用本地模型还是云端 API？

本地部署和云端 API 并不是非此即彼的选择。

两种方式各有适用条件。

对于少量、低频的 AI 请求，云端 API 通常更容易开始。

对于持续、大量、相对固定的内部任务，本地模型有机会获得成本优势。

但这种优势必须经过完整成本核算。

硬件折旧、耗电、散热、模型升级和工程维护都应纳入计算。

因此，不建议只根据单个模型的显存占用就判断长期成本。

十一、为什么 Nemotron 3.5 对 AI API 平台也有价值？

对于 AI API 聚合平台，Nemotron 3.5 提供了新的模型选项。

平台可以根据上游供应商提供的服务能力，将 Nemotron 与其他模型组合到统一接口中。

例如，在用户需要复杂视觉理解时，优先评估 Super VL。

在用户需要本地代码处理时，优先考虑 Bolt 是否适合其硬件环境。

对于不同任务，还可以通过路由策略选择性能和成本更匹配的模型。

但聚合服务需要避免两个问题。

第一，不应把官方模型完整能力等同于所有托管服务商提供的功能。

第二，不应忽略不同版本、量化方式和推理配置产生的实际差异。

平台必须分别核实模型 ID、API 格式、上下文限制、价格和工具调用能力。

十二、如何评价 Nemotron 3.5 的真实能力？

官方性能数据可以用于模型初步筛选，但正式应用必须进行独立验证。

建议建立五类测试。

基础问答测试： 验证常见知识和文本处理任务。

编程测试： 通过真实代码仓库任务评估模型修改质量。

Agent 测试： 检查工具调用、计划执行和错误恢复。

性能测试： 记录吞吐量、首 Token 延迟和完整任务耗时。

成本测试： 计算硬件资源、API 价格和每次成功任务的总成本。

在多模态测试中，还要关注视觉信息的准确提取情况。

如果模型需要处理表格和图表，建议建立人工核对标准，避免仅凭语言表达流畅度评价正确性。

十三、常见问题 FAQ

Nemotron 3.5 是开放模型吗？

NVIDIA 将本次产品作为开放模型系列发布。具体模型权重、训练资源与使用许可应以对应官方仓库为准。

Bolt 74B-A9B 真的只需要 24GB 吗？

NVIDIA 提供了针对 24GB 资源规格优化的版本，但实际运行还需要满足相应硬件和软件条件。

普通 RTX 显卡能运行吗？

需要检查具体显卡容量、推理框架和权重格式，不能只根据是否属于 RTX 系列判断。

Nemotron 3.5 可以离线运行吗？

在完成本地部署且不依赖外部工具或在线服务的情况下，可以构建本地推理工作流。

Bolt E4B 什么时候发布？

NVIDIA 官方计划于 2026 年 10 月 23 日提供。

可以用于商业 AI Agent 吗？

需要检查模型许可证、部署方式以及相应 NVIDIA 软件服务的商业条款。

十四、结语：开放模型竞争开始进入效率时代

Nemotron 3.5 展示了 NVIDIA 对 AI Agent 发展方向的判断。

高能力模型仍然重要，但模型是否容易部署、能否控制成本，以及能否在具体硬件上持续运行，也将决定实际商业价值。

Super VL 代表面向企业多模态复杂任务的路线。

Bolt 74B-A9B 则代表在有限内存资源中实现高能力本地 Agent 的探索。

对于普通开发者，本地模型正在成为越来越值得认真评估的工具。

对于企业，开放模型也提供了更多基础设施自主选择的可能性。

未来的模型选型不应只回答哪款模型最强，而应该回答：哪款模型能够在可接受的成本下，最稳定地完成实际任务。

参考资料

1. NVIDIA 官方博客 — Nemotron 3.5 Super VL and Bolt Models
   https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/

2. NVIDIA — RTX Spark 与本地 AI 模型生态
   https://blogs.nvidia.com/blog/local-ai-rtx-spark-laptops-software-updates/

3. NVIDIA 开发者平台
   https://developer.nvidia.com/

4. NVIDIA NGC 模型与服务目录
   https://catalog.ngc.nvidia.com/