NVIDIA 全新NIM 微服務 協助台灣多家產業組織提升效率和安全性
- 賴品如／台北
-
世界各地都在追求發展主權AI，利用自己的運算基礎設施、資料、勞動力及商業網路等資源來發展人工智慧（AI），打造出符合當地的價值觀、法律與利益的AI系統，保護和推動文化、語言多元性與知識。
為支持全球各地AI的發展和進步，NVIDIA推出全新的NVIDIA NIM微服務，支援各種常用的社群模型，也包括主權基礎模型，可按照當地語言和文化傳統，透過準確理解和改善回應，強化與使用者的互動，使開發人員在輕鬆地建置與部署高效能的生成式AI應用的同時，有效控制生成式AI對社會、經濟、安全可能帶來的負面影響，對每個區域、國家的永續發展至為關鍵。
全新NVIDIA NIM微服務，更快讓生成式AI產生出更精準的結果
全新NVIDIA NIM 微服務包含支援最新發展出的、基於Llama-3架構在大型繁體中文和英文資料語料庫上進行微調的大型語言模型（LLM）Llama-3-Taiwan-70B。主要特點包括強大的語言理解、生成、推理、多輪對話能力。Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而Llama 3 70B正是全新Llama-3-Taiwan-70B NIM微服務的基礎模型，可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。
該模型能更好地理解和反映台灣文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。與 Llama 3 等基礎 LLM 相比，Llama-3-Taiwan-70B在理解國語、處理本地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。
台灣多家產業組織率先採用全新NVIDIA NIM微服務
NVIDIA NIM微服務能夠加速部署、提升整體效能，且為全球醫療保健、金融、製造業、教育與法律等各產業的組織提供必要的安全性。NVIDIA已與台灣多家產業組織合作，導入全新NVIDIA NIM微服務。
台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的AI推論服務（AIIS），以集中管理醫院體系內的所有LLM應用。長庚醫院使用Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。
長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示：「即時提供適合情境的指導，以當地語言 LLM建立的AI應用能夠簡化工作流程，並且當成持續學習的工具，作為支持員工發展與提昇病患照護品質。而NVIDIA NIM的工具簡化了這些應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。」
台灣的電子設備製造商和碩聯合科技將採用Llama 3-Taiwan 70B NIM微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的PEGAAi Agentic AI系統進行整合，以達到流程自動化，提升製造與營運效率。
全球石化產品製造商長春集團使用Llama 3-Taiwan 70B NIM 微服務開發用於知識管理、銷售分析和預測、翻譯和品質保證的內部AI平台，提升決策精準度和營運效率。
全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技，以及生成式 AI 新創APMIC 同樣正在使用Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。
利用 NVIDIA AI Foundry 為企業量身打造模型
雖然區域性 AI 模型可以提供文化上的細微差異與在地化的回應內容，企業還是要針對其業務流程與領域專業知識進行微調。
NVIDIA AI Foundry是一個平台與服務，其中包括各式常用的基礎模型、用於微調的NVIDIA NeMo，以及NVIDIA DGX Cloud上的專用容量，為開發人員提供完整堆疊解決方案，以建立包裝為NIM微服務的客製化基礎模型。
除此之外，使用NVIDIA AI Foundry的開發人員同樣可以使用NVIDIA AI Enterprise軟體平台，為生產環境部署作業提供安全性、穩定性與支援。
NVIDIA AI Foundry為開發人員提供必要工具，幫助他們更便捷地建置與部署自身的客製化區域語言NIM 微服務，以支援各種AI應用，確保為使用者提供符合各地文化與語言使用習慣的結果。
