• 全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting（3DGS）庫(kù)支持大規(guī)模世界重建

• 全新 NVIDIA Cosmos 模型支持世界生成與空間推理

• 全新 NVIDIA RTX PRO Blackwell 服務(wù)器和 NVIDIA DGX Cloud 讓開(kāi)發(fā)者能夠在任何地方運(yùn)行需求嚴(yán)苛的仿真

• 物理 AI 領(lǐng)先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成數(shù)據(jù)生成技術(shù)

SIGGRAPH —— 2025 年 8 月11日 —— NVIDIA 宣布推出全新 NVIDIA Omniverse? 庫(kù)和 NVIDIA Cosmos? 世界基礎(chǔ)模型 (WFM)，加速機(jī)器人解決方案的開(kāi)發(fā)和部署。

這些庫(kù)和模型由全新 NVIDIA RTX PRO? 服務(wù)器和 NVIDIA DGX? Cloud 提供支持，可幫助開(kāi)發(fā)者在任何地方開(kāi)發(fā)物理精確的數(shù)字孿生，在仿真中捕捉和重建現(xiàn)實(shí)世界，生成用于訓(xùn)練物理 AI 模型的合成數(shù)據(jù)，并構(gòu)建理解物理世界的 AI 智能體。

NVIDIA Omniverse 和仿真技術(shù)副總裁 Rev Lebaredian 表示：“計(jì)算機(jī)圖形與 AI 的融合，從根本上改變著機(jī)器人。通過(guò)將 AI 推理與物理精準(zhǔn)的可擴(kuò)展仿真相結(jié)合，我們正幫助開(kāi)發(fā)者打造未來(lái)的機(jī)器人和智能汽車(chē)，這將為各行業(yè)帶來(lái)價(jià)值數(shù)萬(wàn)億美元的改變?！?p>

全新 NVIDIA Omniverse 庫(kù)助力世界構(gòu)建應(yīng)用

全新 NVIDIA Omniverse 軟件開(kāi)發(fā)套件 (SDK) 和庫(kù)現(xiàn)已推出，可用于構(gòu)建和部署工業(yè) AI 和機(jī)器人開(kāi)發(fā)仿真應(yīng)用。

• 全新 Omniverse SDK 推出了 MuJoCo (MJCF) 與通用場(chǎng)景描述 (OpenUSD) 之間的數(shù)據(jù)互操作性，幫助超過(guò) 250,000 名 MJCF 機(jī)器人學(xué)習(xí)開(kāi)發(fā)者無(wú)縫地模擬各平臺(tái)的機(jī)器人。

• 全新 Omniverse NuRec 庫(kù)和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting（3DGS）技術(shù)，這種渲染技術(shù)可幫助開(kāi)發(fā)者利用傳感器數(shù)據(jù)，在 3D 中截取、重建和模擬現(xiàn)實(shí)世界。

• NVIDIA Isaac Sim? 5.0 和 NVIDIA Isaac Lab 2.2 開(kāi)源機(jī)器人仿真和學(xué)習(xí)框架現(xiàn)已在 GitHub 上提供。Isaac Sim 現(xiàn)在包括 NuRec 神經(jīng)渲染和基于 OpenUSD 的全新機(jī)器人及傳感器模式，幫助機(jī)器人開(kāi)發(fā)者縮小仿真與現(xiàn)實(shí)之間的差距。

Omniverse NuRec 渲染現(xiàn)已集成到超過(guò) 15 萬(wàn)名開(kāi)發(fā)者使用的領(lǐng)先開(kāi)源模擬器 CARLA 中。 智能汽車(chē) (AV) 工具鏈領(lǐng)先者 Foretellix 正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增強(qiáng)其可擴(kuò)展的合成數(shù)據(jù)生成能力，提供物理精準(zhǔn)的場(chǎng)景。 Voxel51 的視覺(jué)和多模態(tài) AI 數(shù)據(jù)引擎 FiftyOne 支持 NuRec，幫助簡(jiǎn)化重建的數(shù)據(jù)準(zhǔn)備工作。 FiftyOne 的客戶包括福特和保時(shí)捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫(kù)、Isaac Sim 和 Isaac Lab，加速其 AI 機(jī)器人開(kāi)發(fā)。 Amazon Devices & Services 正在使用它們來(lái)支持新的制造解決方案。

Cosmos 推動(dòng)機(jī)器人世界生成進(jìn)步

Cosmos WFM 下載量超過(guò) 200 萬(wàn)次，可幫助開(kāi)發(fā)者通過(guò)文本、圖像和視頻提示大規(guī)模生成各種用于訓(xùn)練機(jī)器人的數(shù)據(jù)。 

NVIDIA 在 SIGGRAPH 大會(huì)上宣布的新模型在合成數(shù)據(jù)生成速度、模型精度、語(yǔ)言支持和控制方面取得了重大進(jìn)步：

• Cosmos Transfer-2 即將發(fā)布，它簡(jiǎn)化了提示并能從地面實(shí)況 3D 仿真場(chǎng)景或空間控制輸入（如深度、分割、邊緣和高清地圖）中，快速生成逼真的合成數(shù)據(jù)。

• Cosmos Transfer 的精簡(jiǎn)版本將 70 個(gè)步驟的蒸餾過(guò)程簡(jiǎn)化為一個(gè)步驟，開(kāi)發(fā)者能夠以前所未有的速度在 NVIDIA RTX PRO 服務(wù)器上運(yùn)行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規(guī)模模擬各種條件，加速物理 AI 訓(xùn)練。 

Cosmos Reason 突破對(duì)世界的理解

自 OpenAI 的 CLIP 模型推出以來(lái)，視覺(jué)語(yǔ)言模型 (VLM) 改變了物體和模式識(shí)別等計(jì)算機(jī)視覺(jué)任務(wù)。但是，它們尚未能夠解決多步驟任務(wù)，也無(wú)法處理模糊或新穎的體驗(yàn)。

NVIDIA Cosmos Reason 是一款面向物理 AI 和機(jī)器人開(kāi)發(fā)的全新開(kāi)源、可定制的 70 億參數(shù)推理 VLM，可讓機(jī)器人和視覺(jué) AI 智能體像人類(lèi)一樣推理，利用先驗(yàn)知識(shí)、物理理解和常識(shí)，理解現(xiàn)實(shí)世界并付諸行動(dòng)。

Cosmos Reason 可用于機(jī)器人開(kāi)發(fā)和物理 AI 應(yīng)用，包括：

• 數(shù)據(jù)管理與注釋?zhuān)瑤椭_(kāi)發(fā)者自動(dòng)對(duì)海量、多樣化的訓(xùn)練數(shù)據(jù)集進(jìn)行高質(zhì)量管理與注釋。

• 機(jī)器人規(guī)劃和推理，在機(jī)器人視覺(jué)語(yǔ)言行為 (VLA) 模型中，充當(dāng)有意識(shí)、有條理決策的大腦。Cosmos Reason 讓機(jī)器人能夠解讀環(huán)境，并在收到復(fù)雜指令時(shí)，將其分解為任務(wù)，并運(yùn)用常識(shí)執(zhí)行這些任務(wù)，即使是在不熟悉的環(huán)境中。

• 視頻分析 AI 智能體基于可用于視頻搜索和總結(jié)的 NVIDIA Blueprint 構(gòu)建，能夠從海量視頻數(shù)據(jù)中提取有價(jià)值的洞察并進(jìn)行根本原因分析。

NVIDIA 的機(jī)器人和 NVIDIA DRIVE? 團(tuán)隊(duì)正在使用 Cosmos Reason 進(jìn)行數(shù)據(jù)管理和篩選、注釋和 VLA 后訓(xùn)練。Uber 正使用它為輔助駕駛訓(xùn)練數(shù)據(jù)添加注釋和字幕。

Magna 正在其城市配送平臺(tái)（City Delivery platform）中使用 Cosmos Reason 進(jìn)行開(kāi)發(fā)。該平臺(tái)是一種完全自主、低成本的即時(shí)配送解決方案，旨在幫助車(chē)輛更快地適應(yīng)新城市。Cosmos Reason 為車(chē)輛的長(zhǎng)期軌跡規(guī)劃器增加了對(duì)世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision 正在采用 Cosmos Reason 實(shí)現(xiàn)城市和工業(yè)環(huán)境的自動(dòng)化交通監(jiān)控，提高安全性，并提升視覺(jué)檢查能力。

全新 NVIDIA AI 基礎(chǔ)設(shè)施為任何地方的機(jī)器人開(kāi)發(fā)工作負(fù)載提供支持

為幫助開(kāi)發(fā)者充分利用這些先進(jìn)技術(shù)和軟件庫(kù)，NVIDIA 宣布推出專(zhuān)為極高要求工作負(fù)載而設(shè)計(jì)的 AI 基礎(chǔ)設(shè)施。

• NVIDIA RTX PRO Blackwell 服務(wù)器為訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)和仿真等所有機(jī)器人開(kāi)發(fā)工作負(fù)載提供統(tǒng)一架構(gòu)。

• NVIDIA DGX Cloud 現(xiàn)已在 Microsoft Azure Marketplace 上提供，為 Omniverse 開(kāi)發(fā)者提供一個(gè)完全托管的平臺(tái)，簡(jiǎn)化從云端大規(guī)模流式傳輸基于 OpenUSD 和 NVIDIA  RTX? 的應(yīng)用，從而最大限度地減少基礎(chǔ)設(shè)施編排和管理。Accenture 和 Hexagon 是首批采用該平臺(tái)的行業(yè)領(lǐng)先者。

加速開(kāi)發(fā)者生態(tài)系統(tǒng)

為了幫助機(jī)器人開(kāi)發(fā)者和物理 AI 開(kāi)發(fā)者推動(dòng) 3D 和仿真技術(shù)的采用，NVIDIA 還宣布：

• OpenUSD 課程和認(rèn)證：滿足對(duì)通用場(chǎng)景描述專(zhuān)業(yè)知識(shí)的需求，由 OpenUSD 聯(lián)盟成員 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業(yè)領(lǐng)先者的支持。

• 與 Lightwheel 開(kāi)源協(xié)作，將機(jī)器人策略訓(xùn)練和評(píng)估框架集成到 NVIDIA Isaac Lab 中，具備并行強(qiáng)化學(xué)習(xí)訓(xùn)練功能，以及機(jī)器人操作和運(yùn)動(dòng)的基準(zhǔn)測(cè)試和仿真就緒資產(chǎn)。