正文 · AI 翻译
简而言之
NVIDIA Cosmos 世界模型开发平台为其 Cosmos 3 模型家族新增了 4 个开放权重检查点，用于生成交互式世界模拟和多传感器、多视角驾驶场景：
🌦️ Cosmos3-Nano-Transfer-Auto：生成涵盖不同天气、光照和一天中不同时段的多视角驾驶数据。
🚗 Cosmos3-Nano-Sim-Auto：流式生成用于驾驶模拟的同步摄像头和激光雷达观测数据。
🎨 Cosmos3-Nano-Sim-Transfer：将模拟器控制信号和文本提示转化为逼真视频。
🤖 Cosmos3-Nano-Sim-Bimanual：根据机器人或摄像头的动作预测视频。
这 4 个模型都是 Cosmos 3 Nano 的后训练示例，均有 160 亿个可训练参数。这些模型采用 OpenMDW1.1，依照其条款可用于商业和非商业用途。
下载检查点 · 阅读技术报告。观看演示
为什么需要这些检查点？
🦾 机器人技术需要能在场景和视角变化时对此作出回应的环境。这些检查点提供了互补的构建方式：Sim-Bimanual 根据动作预测视觉结果，而 Sim-Transfer 将物理模拟器的控制信号转化为生成的观测数据。
🚦 对于自动驾驶，外观和几何信息必须一致。同步生成摄像头和激光雷达数据，将视觉观测与 3D 感知联系起来。场景和交通信号控制让研究人员能够改变道路布局和信号状态，然后研究驾驶策略如何响应。
🔄 每次观测都可以影响下一步动作。流式生成将视频预测与持续交互联系起来，让世界模型研究人员得以探索动作和观测如何共同展开。
🌐 为他人提供可在其上构建的开放基础。NVIDIA 的愿景是帮助研究人员和开发者创建更丰富、响应更灵敏的模拟世界。开放权重和后训练方案为模型适配、方法比较及改进贡献提供共同起点。这些问题仍然棘手：今后的工作是衡量模型在哪些方面能可靠地支持策略学习和评估，了解其局限，并改进其不足之处。
使用 Cosmos3-Nano 构建自动驾驶汽车世界
🌦️Transfer-Auto：驾驶场景 → 多传感器数据
Cosmos3-Nano-Transfer-Auto 是一个用于离线生成合成驾驶数据的双向模型。它可生成最多 11 个摄像头视角（包括鱼眼视角）的同步视频，并支持联合生成 RGB 和激光雷达数据。针对每个摄像头的世界场景地图（WSM）控制信号用于指定场景结构和交通运动，文本提示则引导外观生成。
开发者可以改变环境条件，以扩大训练和评估的覆盖范围，还可以选择提供初始 RGB 图像来锚定场景外观。联合生成激光雷达数据时，还会使用对齐的高清地图距离图控制信号。
Transfer-Auto 也是将 Cosmos 适配到自有传感器配置和驾驶领域的基础。首先使用自己的数据对其进行后训练，以适应摄像头布局、激光雷达配置和目标环境。适配后的模型可直接用于离线数据生成，也可进一步经过因果训练和少步蒸馏，用于快速流式模拟——这也是创建 Cosmos3-Nano-Sim-Auto 所采用的开发路径。
让你的智能体使用这项开放技能：使用 Cosmos3-Nano-Transfer-Auto 运行推理
更喜欢笔记本？打开 Transfer-Auto。
🚗Sim-Auto：驾驶控制信号 → 流式观测数据
Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 经过因果蒸馏的流式变体。它只需少量去噪步骤，就能连续生成小块的同步摄像头视频和激光雷达数据，并利用已生成的历史数据和更新后的驾驶控制信号，支持快速流式生成和长时间交互式推演。
为每个摄像头提供描述文字和同步的 WSM 控制信息，也可以添加初始 RGB 图像。生成 LiDAR 数据时，加入与摄像头控制信息对齐的 HD-Map 范围控制信息。蒸馏后的模型利用滚动历史记录连续生成片段。闭环交互需要仿真运行环境和 WSM 渲染器，根据驾驶输入更新这些控制信息。对于新的传感器配置或领域，先适配 Transfer-Auto，再将其蒸馏为 Sim-Auto。
让你的智能体使用开放技能：通过 Cosmos3-Nano-Sim-Auto 运行推理
更喜欢笔记本？打开 Sim-Auto。
🎨 Sim-Transfer：仿真器控制信息 → RGB
你的仿真器计算运动、接触和物理状态。Sim-Transfer 使用仿真器的空间控制信息和文本提示，渲染可供策略使用的彩色观测结果。
动作 → 仿真器更新 → 空间控制信息 → 生成的 RGB → 下一步策略动作
深度：相对于摄像头的距离。
深度：相对于摄像头的距离。
分割：区域和物体边界。
分割：区域和物体边界。
边缘：场景轮廓。
边缘：场景轮廓。
模糊图像：粗略的外观和布局。
模糊图像：粗略的外观和布局。
文本引导外观；物理过程和真实状态仍由仿真器负责。
深度控制信息生成视频
分割控制信息生成视频
让你的智能体使用开放技能：通过 Cosmos3-Nano-Sim-Transfer 运行推理
更喜欢笔记本？使用 Transfer。
🤖 Sim-Bimanual：动作 → 视频
输入帧
由 Sim-Bimanual 仿真检查点生成的输出视频
Cosmos3-Nano-Sim-Bimanual 模拟环境如何随双臂机器人的动作而变化。它支持针对 YAM 和 AgiBot 机器人形态的交互式双臂仿真，可由策略或人操作的操纵杆控制。
从一张图像开始，移动机器人或摄像头，并生成后续观测结果。同一控制序列可以在视角变化和操作动作之间切换。
混合动作示例使用 59 个控制值，在训练期间填充至 64 个。其模式规定了坐标系、旋转、夹爪校准、有效性掩码和控制域。遵循这些约定，使每个值都能描述预期的运动。
保持时间对齐：T 次状态转换需要 T+1 个观测结果。训练过程将原始采集数据转换为模型的动作表示；发布的推理动作已经过归一化。
这里，Sim-Transfer 根据物理仿真器更新后的状态生成视觉画面；Sim-Bimanual 则直接根据场景和机器人动作生成下一个观测结果。
参阅数据契约和动作模式。
要求：Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit。发布的 vLLM-Omni 配置在一块 GB200 上经过测试；这并非最低显存要求。服务器会下载模型权重；客户端会获取示例输入。
让你的智能体使用开放技能：通过 Cosmos3-Nano-Sim-Bimanual 运行推理
更喜欢笔记本？打开 Bimanual
流式生成的工作原理
Cosmos 3 的 Mixture-of-Transformers 主干网络通过注意力机制连接独立的文本处理网络和视觉生成网络。生成器根据提示、可用控制信息和已生成的历史内容预测每个短片段。
控制信息 + 历史内容 → 生成片段 → 解码图像 → 更新历史内容
去噪将带噪声的压缩视频表示逐步细化为一个片段。时间因果注意力机制使其能够读取可用的历史内容和控制信息，同时阻止其访问未来的目标观测结果。键值缓存保留注意力信息，供下一次预测使用。
模型处理称为潜变量的压缩视频表示。在初始图像之后，每个潜变量时间步对应 4 帧 RGB 图像。Transfer 每个片段预测 1 个时间步；报告中经过优化的 Bimanual 配置预测 2 个。较短的片段使新控制信息能更频繁地影响生成过程。
四阶段训练流程
阶段 0 — 双向适配：从完整的录制片段中学习目标领域及其控制信息与视频之间的关系。
阶段 0——双向适配：从完整录制的视频片段中学习领域知识及控制与视频之间的关系。
阶段 1——教师强制：根据此前录制的观测结果和可用控制信号预测每个片段，同时遮蔽正确答案和未来目标。
阶段 1——教师强制：根据此前录制的观测结果和可用控制信号预测每个片段，同时遮蔽正确答案和未来目标。
阶段 2——一致性蒸馏：使用冻结的教师模型训练学生模型，使其通过 4 步去噪生成每个片段。
阶段 2——一致性蒸馏：使用冻结的教师模型训练学生模型，使其通过 4 步去噪生成每个片段。
阶段 3——自强制：基于学生模型生成的历史内容进行训练。冻结的教师模型和辅助评分模型提供分布匹配信号。
阶段 3——自强制：基于学生模型生成的历史内容进行训练。冻结的教师模型和辅助评分模型提供分布匹配信号。
最后一个阶段为何重要：预测稍有偏差的物体会成为后续帧的上下文，因此误差可能不断累积。自强制让训练接触到这种生成的历史内容。蒸馏和缓存降低了生成每次观测结果的成本。
🛠️ 使用你的数据进行适配
后训练方案以 Cosmos3-Nano 或兼容的基础权重为起点，涵盖全部 4 个阶段。保留完整的训练检查点以便恢复训练；导出的推理权重不包含优化器及其他训练状态。
Transfer-auto：使用你的驾驶数据进行后训练，以适配你的传感器配置和领域，并离线生成合成数据。
Transfer-auto：使用你的驾驶数据进行后训练，以适配你的传感器配置和领域，并离线生成合成数据。
Sim-auto：对经过适配的 Transfer-Auto 模型应用因果训练和蒸馏，以实现快速流式仿真。
Sim-auto：对经过适配的 Transfer-Auto 模型应用因果训练和蒸馏，以实现快速流式仿真。
Sim-Transfer：通过本地数据准备、阶段配置和恢复训练，对用于你的环境的检查点进行后训练。
Sim-Transfer：通过本地数据准备、阶段配置和恢复训练，对用于你的环境的检查点进行后训练。
Sim-Bimanual：通过数据验证、阶段配置、检查点交接和导出，针对你的机器人形态进行后训练。
Sim-Bimanual：通过数据验证、阶段配置、检查点交接和导出，针对你的机器人形态进行后训练。
向你的编程智能体提供技能和数据集的位置。按要求检查环境、验证一个样本，并在开始更长时间的运行前测试训练和重启。使用留出的任务片段评估质量：短时间运行成功只能验证流程可执行，不能证明模型已收敛。
更多资源
🤗 下载检查点
🤗 下载检查点
📺 观看 Cosmos Labs 直播回放
📺 观看 Cosmos Labs 直播回放
📖 阅读技术博客
📖 阅读技术博客