NVIDIA利用全新開放式模型與模擬函式庫 加速機器人技術研發
- 陳俞萍／台北
-
NVIDIA近日宣布，開源Newton物理引擎以及應用於機器人技能與全新AI基礎設施的開放式NVIDIA Isaac GR00T N1.6推理視覺語言動作模型，現已在NVIDIA Isaac Lab推出。
這些技術共同為開發者與研究人員提供開放式、加速的機器人平台，可加速迭代、測試標準化、將訓練與機器人上推論統合，並協助機器人以安全可靠的方式，將技能從模擬環境轉移至現實世界。
NVIDIA Omniverse與模擬技術副總裁Rev Lebaredian表示：「人形機器人是物理AI下一個前沿，必須具備在無法預測世界中推理、適應及安全行動的能力。透過這些最新更新，開發者現在有3部電腦可將研究中的機器人轉化為實際應用。Isaac GR00T能做為機器人的大腦、Newton模擬機器人軀體，而NVIDIA Omniverse則為訓練環境。」
Newton開創機器人技術物理模擬的全新標準
機器人在模擬環境中學習更加快速和安全，但人形機器人的關節、平衡與動作相當複雜，挑戰現今物理引擎的極限。全球逾25萬名機器人開發者需要準確的物理模擬能力，才能確保他們在模擬環境中指導機器人的技能，可以在現實世界中安全可靠的執行。
NVIDIA近日宣布推出Newton測試版。Newton是由Linux Foundation管理的開源GPU加速物理引擎，建置於NVIDIA Warp與OpenUSD框架上，由Google DeepMind、Disney Research與NVIDIA共同開發，現已開放使用。
Newton設計靈活並可搭配不同類型的物理求解器，協助開發者模擬極其複雜的機器人動作，例如在雪地或礫石行走及拿放杯子與水果，並成功部署於現實世界。
Newton的最新採用者包括蘇黎世聯邦理工學院Robotic Systems Lab、慕尼黑工業大學與北京大學等知名研究實驗室與大學，以及機器人公司Lightwheel與模擬引擎公司Style3D。
Cosmos Reason為全新開放式Isaac GR00T N1.6模型改善機器人推理
人形機器人必須能理解模稜兩可的指示，並且因應大量前所未有的多樣化經驗，才能在物理世界執行各種類人任務。
開放式Isaac GR00T N1.6機器人基礎模型的最新版本即將在Hugging Face推出。此版本將整合NVIDIA Cosmos Reason這款專為物理AI打造的開放式可自訂推理視覺語言模型。
Cosmos Reason做為機器人深度思考的大腦，運用既有知識、常識與物理學，將模糊的指示轉化為逐步計畫，可因應新情境並在執行多種任務時舉一反三。
Cosmos Reason下載次數已突破100萬，目前高居Hugging Face物理推理排行榜之首，也可為模型訓練彙整大量真實資料與合成資料集並加以註釋。Cosmos Reason 1現以簡單易用的NVIDIA NIM微服務提供，可部署於AI模型。
Isaac GR00T N1.6現在可以讓人形機器人同時移動及拿取物件，讓軀體和手臂可更自由完成艱難的任務，例如打開沉重的門。
開發者可運用Hugging Face上的開源NVIDIA物理AI資料集，對Isaac GR00T N模型進行後訓練。此資料集下載次數已突破480萬次，目前包含成千上萬種合成與現實世界軌跡。
AeiROBOT、Franka Robotics、LG Electronics、Lightwheel、Mentee Robotics、Neura Robotics、所羅門、達明機器人與UCR等機器人領域領導製造商，正在評估運用 Isaac GR00T N 模型打造通用型機器人。
用於物理AI開發的全新Cosmos世界基礎模型
NVIDIA宣布推出開放式Cosmos WFM （世界基礎模型） 的全新更新。此模型被下載超過300萬次，可讓開發者生成各種資料，利用文字、影像與影片提示，加速大規模訓練機器人模型。
即將推出的Cosmos Predict 2.5將三種Cosmos WFM的強大功能結合至單一強大模型，降低複雜度、節省時間並大幅提高效率。它支援更長的影片生成時間，最長可製作30秒的影片，以及多重視角攝影機輸出，實現更豐富的世界模擬。
即將推出的Cosmos Transfer 2.5提供比前代模型更快也更高品質的結果，而且大小減少了3.5倍。它能從具備真實標註的3D模擬場景，以及深度、影像分割、邊緣資訊與高解析度地圖等用於空間控制輸入內容，生成逼真的合成資料。
指導機器人抓取的全新工作流程
指導機器人抓取物體是機器人技術領域數一數二的難挑戰。抓取的動作不單單是移動手臂，還包括將思緒轉化為精確動作 ，是一個機器人必須透過試錯中習得的技能。
Isaac Lab 2.3開發者預覽版中全新的靈巧抓取工作流程以NVIDIA Omniverse平台為建置基礎，運用自動化課程在虛擬世界訓練多指手臂機器人。它從簡單的任務開始，然後逐步提高複雜度。工作流程會調整重力、摩擦力與物體重量等層面，訓練機器人即使在無法預測的環境也能學習技能。
Boston Dynamics的Atlas機器人運用這項工作流程學會抓取，大幅提升操作能力。Agility Robotics、Boston Dynamics、Figure AI、Hexagon、Skild AI、所羅門與達明機器人各大機器人開發者，均採用NVIDIA Isaac與Omniverse技術。
在模擬環境中評估機器人習得的技能
幫助機器人掌握新技能，例如拿起杯子或在房間行走，是極其困難的過程，而且用物理機器人測試這些技能既緩慢又昂貴。
以模擬環境的方式進行可讓機器人對照無數情境、任務與環境測試所學技能，解決這類問題。然而，即使是在模擬環境，開發者打造的測試也往往流於片段簡化，無法反映現實世界。機器人若在完美簡單的模擬環境學習找方向，面對現實世界的複雜度時註定失敗。
NVIDIA與Lightwheel正共同開發Isaac Lab - Arena，這款可擴充實驗與標準化測試用的開源政策評估框架，讓開發者不必從頭打造系統，就能在模擬環境執行大規模複雜的評估。這款框架近期即將推出。
全新NVIDIA AI基礎設施讓各種機器人工作負載能隨地執行
NVIDIA發表為最高工作負載設計的AI基礎設施，讓開發者能充分利用這些先進的技術與軟體函式庫，其中包括：NVIDIA GB200 NVL72：這個整合36顆NVIDIA Grace CPU與72顆NVIDIA Blackwell GPU的機架規模系統，可加速複雜的推理與物理AI任務等AI訓練與推論，廣受各大雲端供應商採用。
NVIDIA RTX PRO伺服器：提供適用於訓練、合成資料生成、機器人學習與模擬領域的各項機器人開發工作負載的單一架構。RTX PRO伺服器已獲得RAI Institute採用。
NVIDIA Jetson Thor：由Blackwell GPU驅動，可讓機器人執行多個AI工作流程，實現即時智慧互動與即時機器人上推論，對於高效能物理AI工作負載與人形機器人技術應用而言是一大突破。Jetson Thor已獲得Figure AI、Galbot、Google DeepMind、Mentee Robotics、Meta、Skild AI和宇樹科技等合作夥伴採用。
NVIDIA推動機器人技術研究
GPU、模擬框架與CUDA加速函式庫等NVIDIA技術，獲得CoRL收錄的近半數論文引用，並受卡內基梅隆大學、華盛頓大學、蘇黎世聯邦理工學院與新加坡國立大學等頂尖研究實驗室與機構採用。
此外，由Stanford Vision and Learning Lab推出的機器人學習標竿專案BEHAVIOR ，和由北京大學開發用於推動視覺型觸覺機器人技術的高效能模擬平台的Taccel，亦為本次CoRL亮點。歡迎在CoRL深入瞭解NVIDIA的機器人技術研究成果，大會將於9月27日至10月2日在首爾舉行。
