NVIDIA推開放式AI代理安全平台 強化AI代理從測試到部署的安全性 智慧應用 影音
DIGITIMES Logo
231
DIGITIMES Logo

NVIDIA推開放式AI代理安全平台 強化AI代理從測試到部署的安全性

  • 賴品如/台北

NVIDIA宣布推出NVIDIA開放式AI代理安全平台(NVIDIA Open Agent Safety Platform),這是一套由開放式軟體平台與參考系統設計組成的解決方案,旨在強化人工智慧(AI)代理從測試到部署各階段的安全性,並針對軟體以及執行AI代理的硬體、運算與機器人系統,提供全端治理與控制。

近期發生的安全事件凸顯了組織需要開放且可客製化的工具,以對長時間運行的AI代理進行更嚴格的控管。這些事件都呈現出了相同的模式,即為AI代理繞過應用程式層的安全控制,以完成其被指派的任務。

NVIDIA執行長黃仁勳表示:「唯有解決AI的安全問題,AI為社會帶來的龐大潛力才能真正實現。隨著我們持續探索AI能力的前沿,也必須加速推進對AI安全領域的探索。安全與資安需要全端工程。NVIDIA開放式AI代理安全平台匯聚產業界、研究機構與公部門組織,共同分享最佳實務、協調評估方法並促進國際合作。透過合作,我們可以為全球AI安全樹立更高標準。」

開放式AI代理安全平台 全面強化AI代理堆疊控制能力

NVIDIA開放式AI代理安全平台可針對執行AI代理的軟體、支援其運作的硬體與運算層,以及在實體環境中執行任務的機器人系統,提供全端治理與控制。組織可依自身需求部署NVIDIA開放式AI代理安全平台的各項元件。

其中包括NVIDIA OpenShell安全執行環境軟體,可為在CPU上運行的AI代理設定邊界。隨著AI代理跨越更多系統、承擔更多工作,企業需要在模型與代理執行框架外,建立可強制執行的安全邊界。OpenShell現已全面推出,可提供安全的執行時邊界,控制自主AI代理如何運用開放與封閉模型執行任務。

OpenShell可在NVIDIA Vera上以極低的負擔提供此項防護。NVIDIA Vera是首款專為代理型AI打造的CPU。OpenShell與Vera結合,可讓AI代理在安全運行的同時,盡可能快速完成工作。作為開源軟體,OpenShell亦可擴展支援第三方運算平台,包括Arm與英特爾的平台。

NVIDIA開放式AI代理安全平台的參考系統設計採用NVIDIA Sentry。這是一套運行於NVIDIA BlueField-4 DPU的頻外監控機制,可持續監控AI代理行為。 Sentry提供晶片內建安全執行機制,當AI代理試圖超出其軟體邊界時,可在毫秒內將其隔離並停止運行。

Sentry運行於BlueField-4 DPU上,可持續監控AI代理活動,並直接在晶片中獨立執行安全政策。Sentry透過隔離的頻外信任網域,整合威脅偵測、以硬體為基礎的AI代理治理與政策執行,以及資料存取保護,不僅能即時回應,也可避免被AI代理與攻擊者察覺。

Sentry以NVIDIA DOCA軟體為基礎。DOCA提供Sentry所需的可程式化能力,使其能檢查AI代理的要求與回應、提供可驗證的遙測資訊、驗證代理身分,並針對資料、工具、應用程式設計介面與服務執行細緻的零信任存取政策。

產業領導者與NVIDIA合作  強化代理安全

Anthropic與NVIDIA共同合作,為AI代理堆疊加入更多層次的安全與控制機制。Claude Managed Agents 透過將代理迴圈與執行其工作的沙箱分別部署於不同伺服器,建立安全邊界。透過整合OpenShell與BlueField,企業可對AI代理經由這些沙盒進行的存取實施嚴格控管。

Anthropic商務長Paul Smith表示:「企業正將愈來愈多重要工作交由AI代理處理,因此需要能夠指引並驗證AI代理的行為,尤其在敏感環境中。Claude Managed Agents可讓企業清楚掌握每個AI代理正在執行的工作,而NVIDIA的平台則進一步在硬體與軟體層面增加治理與控制。」

SpaceXAI正將NVIDIA開放式AI代理安全平台用於Cursor程式設計代理與Grok模型。

SpaceXAI總裁Mike Nicolls表示:「隨著客戶愈來愈仰賴AI代理處理實際工作,安全機制就應在模型之外,透過AI代理無法繞過的額外控制措施加以落實。客戶應能為Cursor與Grok設定這些限制,並相信這些限制會持續有效。」

Scale AI正與NVIDIA合作,將NVIDIA開放式AI代理安全平台技術整合至Scale GenAI Portfolio的代理型基礎設施層。

Scale AI執行長Francis deSouza表示:「Scale AI正運用NVIDIA開放式AI代理安全平台參考設計,為執行關鍵任務應用的企業與政府客戶打造可靠的代理型AI系統,並從一開始就納入隔離、政策執行與可稽核性。我們透過明確的邊界定義AI代理可以執行的工作,並利用控制機制確保AI代理持續在這些權限範圍內運作,以強化代理型AI安全。」

Salesforce與NVIDIA已將OpenShell與Slack整合,讓團隊可直接透過Slack管理OpenShell AI代理活動,包括查看代理活動與稽核事件,以及核准或拒絕AI代理提出的額外權限要求,讓團隊在AI代理執行工作時,能獲得更高的可視性與人工監督能力。

思愛普正將OpenShell整合至Joule Studio執行階段。Joule Studio為思愛普Business AI Platform的一部分,可將企業監督與執行階段安全相結合。思愛普也正投入OpenShell的工程開發,並與NVIDIA透過開放安全AI聯盟(Open Secure AI Alliance)共同推動互通性標準。

埃森哲、Armadin、益華電腦、Cognition、CrowdStrike、思科、達梭系統、勤業眾信、安永、Hugging Face、 IBM、Irregular、Perplexity、微軟、思愛普、Scale AI、ServiceNow、西門子、新思科技、OpenClaw、Palantir與Palo Alto Networks等,也位列使用NVIDIA開放式AI代理安全平台技術的100多家組織之中。

Figure、Gecko Robotics與Skild AI等機器人領域領導業者,也正採用OpenShell,將AI代理安全控制導入能在實體世界採取行動的自主系統。

花旗與摩根大通等金融服務領導企業,則正與NVIDIA合作,共同推動開源AI代理安全技術。

日立永續能源、美國電力研究院、NextEra Energy、Quanta Services、日本住友精密、施耐德電機、西門子能源與沃利帕森等能源業者,也都是正採用NVIDIA開放式AI代理安全平台技術的美國關鍵基礎設施供應商。

科能、SUSE與Red Hat等基礎設施軟體領導者,也正將NVIDIA開放式AI代理安全平台整合至廣泛採用的軟體作業系統。Red Hat在Red Hat AI Factory with NVIDIA上執行OpenShell與DOCA,兩者皆為NVIDIA 開放式AI代理安全平台的一部分。Red Hat AI Factory with NVIDIA是由雙方共同開發的企業級AI解決方案,可協助企業在混合雲環境中大規模建置、部署與管理AI。

包括Baseten、思科、CoreWeave、戴爾科技集團、GMI Cloud、慧與科技、惠普、Irregular、聯想、微軟、Nebius、Oracle Cloud Infrastructure、美超微與Together AI在內的NVIDIA合作夥伴,也都提供採用並支援NVIDIA開放式AI代理安全平台技術的AI基礎設施解決方案,協助客戶更安全地執行AI代理。

關鍵字