嵌入模型决定了一个智能体在检索时能看到哪些文档——这是RAG和智能体系统的第一道关卡。7月17日，NVIDIA正式开源Nemotron 3 Embed系列嵌入向量模型，专为生产级RAG、智能体检索、代码检索及智能体记忆等场景设计。其中8B版本在检索嵌入基准测试RTEB上综合排名第一，成为当前该领域性能最强的开源模型。

三个检查点，覆盖精度与效率的完整光谱

该系列包含三个开放检查点：

Nemotron-3-Embed-8B-BF16（精度优先） ：旗舰级模型，面向对检索质量要求极高的高风险企业级RAG应用。基于Ministral-3-8B-Instruct-2512骨干网络，通过转换为双向编码器并经多领域多语言数据微调而成。

Nemotron-3-Embed-1B-BF16（轻量化版本） ：专为对延迟和成本敏感的生产环境打造，兼顾性能与资源占用。基于Ministral-3-3B-Instruct-2512，通过结构化剪枝与蒸馏技术压缩而来。

Nemotron-3-Embed-1B-NVFP4（Blackwell优化版） ：针对NVIDIA Blackwell架构优化的4比特量化版本，以极低内存占用实现高吞吐量。

三者均采用双向注意力掩码训练的Transformer编码器，最大序列长度统一为32,768个token，原生支持34种语言，以OpenMDW-1.1开源协议发布，允许商业使用。

RTEB登顶：16项任务全面领跑

在RTEB基准涵盖的16项公开检索任务中：

8B-BF16版本以平均NDCG@10得分78.46位列榜首。在MMTEB Retrieval上得分率为75.5%。

1B-BF16版本得分72.38，相较上一代基线llama-nemotron-embed-vl-1b-v2提升达10.4分。

1B-NVFP4版本仅比BF16版本低0.38分，精度保留率达99.5%，同时在Blackwell平台上推理吞吐量提升至BF16的2倍。

从8B教师到1B高效变体：一条压缩路径

1B规模模型并非从零训练，而是走了一条模型压缩路径：

研发团队首先借助NVIDIA ModelOpt的神经架构搜索技术，将3B基础模型剪枝至2B。随后以微调完成的8B嵌入教师模型为指导，结合余弦距离损失与均方误差损失开展知识蒸馏，最终迭代收敛至约1.14B参数量。

NVFP4版本则在此基础上进一步实施量化感知蒸馏——使用512个样本完成校准、2万个样本参与训练，在长文本输入场景下有效恢复了量化带来的精度损失。

智能体效率：更少轮次、更低token成本

在智能体工作流评估中，更优质的检索能力显著降低了下游token成本。使用Nemotron 3 Ultra驱动的搜索智能体测试显示，Nemotron 3 Embed模型能更早返回相关证据，减少重复搜索与推理轮次。在ViDoRe V3、BRIGHT和BrowseComp-Plus基准测试中，8B模型实现了最高的平均检索准确率与最低的估计下游token成本。

部署与生态：开源权重+优化微服务

部署层面，三个版本存在差异：

8B与1B的BF16版本全面支持Transformers和Sentence Transformers框架。

1B-NVFP4适配vLLM 0.25.0的/v2/embed API接口。

硬件支持方面，NVFP4版本可运行于Ampere、Hopper、Lovelace及Blackwell全系列GPU；BF16版本主要面向Ampere、Hopper和Blackwell架构。

NVIDIA同步发布了针对1B模型定制优化的NIM微服务（基于Rust构建），在GB200和RTX PRO6000平台上实测性能达到甚至超越标准vLLM检查点表现。

应用场景与分层策略

该系列模型广泛适用于：

多语种企业搜索：支持跨语言语义匹配

代码检索：训练数据融合SWE-bench等专业代码语料

智能体记忆管理：依托32K token上下文能力实现长对话摘要嵌入

针对资源受限场景，推荐采用“1B-NVFP4负责大规模初筛召回 + 8B精确处理疑难查询”的分层RAG架构策略。

NVIDIA同步开源完整示例代码，覆盖Sentence Transformers本地推理与vLLM服务端部署两种主流方式。输入文本需明确标注前缀：查询使用query:，文档段落使用passage:；生成的嵌入向量经L2归一化处理后，点积即等于余弦相似度。

包括Automation Anywhere、Boomi、IBM、Mem0、Palantir、ServiceNow、turbopuffer、You.com、Zep和Zoom在内的多家企业正在评估或集成Nemotron 3 Embed。早期反馈显示，该模型在提升智能体准确性、降低延迟及优化存储成本方面表现优异。

嵌入模型是RAG和智能体系统的第一道关卡。NVIDIA用三个开源检查点、一套完整的技术配方和一条从8B到1B的压缩路径，把这个关卡的标准往上提了一截。