企業利用NVIDIA NeMo工具加速AI團隊成員上線 擴大員工生產力
- 陳俞萍／台北
-
人工智慧（AI）代理的準確性、相關性與及時性，皆取決於其背後所依賴的資料。現已全面開放使用的NVIDIA NeMo微服務可協助企業IT部門快速建立AI團隊成員，利用資料飛輪提升員工的生產力。
這些微服務為開發人員提供一個端對端平台，用以建立最先進的代理型AI系統，並且透過推論和商業資料驅動的資料飛輪，再輔以使用者喜好持續最佳化。
企業IT部門利用資料飛輪，能讓AI代理成為數位團隊成員。這些代理能利用使用者互動和AI推論過程中產生的資料、持續改善模型效能。這能將使用情況變成寶貴見解，並且將這些見解化為行動。
為代理型AI建立強大的資料飛輪
若沒有資料庫、使用者互動或現實世界訊號等一直源源不絕輸入的高品質內容，代理的理解能力就會變差，造成回應內容不夠可靠，進而降低代理的生產力。
維護和改善生產環境裡支援AI代理的模型需要三種資料類型：用於收集見解與適應資料模式不斷發展的推論資料、用於提供智慧的最新業務資料，還有用於告知模型和應用是否如預期運行的使用者回饋資料。NeMo微服務可以幫助開發人員利用這三種資料。
NeMo微服務利用端對端工具來庋用、自訂、評估驅動代理的模型，並且保護模型的安全，以加快開發AI代理。
包括NeMo Customizer、NeMo Evaluator及NeMo Guardrails在內的NVIDIA NeMo微服務，可以搭配NeMo Retriever和NeMo Curator使用，透過自訂企業資料飛輪，讓企業更輕鬆建立、改善與擴充AI代理。使用範例包括：NeMo Customizer可以加速微調大型語言模型，將訓練輸送量加大1.8倍。這個高效能又具擴充性的微服務使用熱門的後訓練技術，包括監督微調和低秩適應（LoRA）。
NeMo Evaluator將以自訂與業界基準評估AI模型與工作流程的過程，簡化至5次應用程式介面（API）請求。NeMo Guardrails在只有額外延遲半秒鐘的情況下，可將保障遵守規定的程度提高1.4倍，協助組織實施符合組織政策與指導方針的強大安全和保護措施。
開發人員使用NeMo微服務可以建立資料飛輪，提高AI代理的精確度與效率。NeMo微服務透過NVIDIA AI Enterprise軟體平台進行部署，操作簡便，可以在本地部署或雲端上執行的任何加速運算基礎架構上，並具備企業等級的安全性、穩定性與技術支援。
這些微服務正式開放使用之際，正迎合企業建置大規模多代理系統的浪潮。數百個各有不同目標與工作流程的專門代理，將以數位團隊成員之姿與員工並肩作業，協助、強化及加快處理跨職能的工作，協同處理各種複雜任務。
這種對於整個企業的影響，使得AI代理成為市值上兆美元的商機。其應用範圍涵蓋自動偵測詐欺活動、購物助理、預測性機器維護、文件審查等，潛力無可限量，且凸顯出資料飛輪在將商業資料轉換為可行見解方面所扮演的重要角色。
產業先驅利用NeMo微服務提高AI代理的準確性
NVIDIA的合作夥伴與產業先驅利用NeMo微服務建立反應迅速的AI代理平台，讓數位團隊成員能夠協助完成更多工作。
AT&T攜手Arize及Quantiphi，利用NVIDIA NeMo打造一個先進的AI代理，專門用來處理內有近一萬份每週更新的知識庫文件。這款具可擴充的高效能AI代理針對三大重點業務項目進行微調：速度、成本效益與準確性。而隨著採用的規模日漸增大，這三者的重要性日漸顯著。
AT&T透過微調Mistral 7B模型，使用NeMo Customizer和Evaluator將AI代理的準確性提高40%，以協助提供個人化服務、防止詐欺及提高網路效能。
貝萊德使用NeMo微服務，在該公司的Aladdin技術平台上提供代理型AI，透過通用資料語言整合投資管理流程。
思科的Outshift團隊與Galileo合作，使用NVIDIA NeMo微服務來支援程式碼編寫助理，可以將工具選擇錯誤率降低40%，回應速度加快10倍。
納斯達克使用NeMo Retriever微服務與NVIDIA NIM微服務，以加速該公司Nasdaq Gen AI平台。NeMo Retriever增強這個平台的搜尋功能，除了達到節省成本的目的，還將準確性和回應速度提高30%。
NeMo微服務廣泛支援主流模型與合作夥伴生態系
NeMo微服務支援各種熱門的開源模型，包括Llama、微軟的Phi系列小型語言模型、Google Gemma、Mistral ，以及Llama Nemotron Ultra這個目前在科學推理、程式碼編寫與複雜數學基準測試方面有著頂尖表現的開源模型。
Meta透過Meta Llamastack的全新連接器來利用NVIDIA NeMo微服務。使用者可以透過API使用Customizer、Evaluator和Guardrails的完整功能，讓他們能夠在自己的開發環境中執行整套的代理建置工作流程。
Meta GenAI部門的軟體工程師Raghotham Murthy表示：「透過整合Llamastack，開發代理的工程師們便能使用有著NeMo微服務支援的資料飛輪。這樣他們便能一直改善模型，提高準確性和效率，並且降低總持有成本。」
Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights&Biases等多家領先的AI軟體供應商，皆將各自的平台與NeMo微服務整合。開發人員同樣可以在熱門的AI框架中使用NeMo微服務，包括CrewAI、Haystack by deepset、LangChain、LlamaIndex和Llamastack。
企業可以使用NVIDIA認證儲存裝置合作夥伴提供的NVIDIA AI Data Platform產品，透過NeMo Retriever 微服務建置資料飛輪。NVIDIA認證儲存裝置合作夥伴提包括DDN、戴爾科技、慧與科技、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data及WEKA。
包括Amdocs、Cadence、Cohesity、SAP、ServiceNow和Synopsys在內的各大企業平台也已經在各自的AI代理解決方案中使用NeMo Retriever微服務。
企業可以在戴爾、思科、慧與科技and聯想等領先系統供應商所提供的NVIDIA加速基礎架構、網路和軟體上運行AI代理。
包括埃森哲、德勤及 安永在內的顧問業龍頭都在使用NeMo微服務為企業建置AI代理平台。
開發人員可以從NVIDIA NGC目錄下載NeMo微服務。這些微服務可作為NVIDIA AI Enterprise的一部分進行部署，並且提供有著更長生命週期的軟體分支，以確保API的穩定性、主動安全修復與企業等級的支援服務。
