HPE推出專為生成式AI設計的端對端AI原生產品組合
- 周建勳／台北
-
Hewlett Packard Enterprise（NYSE: HPE）於2024 NVIDIA GTC大會上宣佈更新其在業界最完整的AI原生產品組合之一，以加速生成式人工智慧（GenAI）、深度學習和機器學習（ML）應用的運作。更新內容包括：
HPE機器學習推論軟體（Machine Learning Inference Software）的預覽版本企業級檢索增強生成（RAG, Retrieval-Augmented Generation）參考架構支援未來採用新NVIDIA Blackwell平台的產品開發「為實現GenAI的承諾，並有效涵蓋完整的AI生命週期，解決方案必須採用混合設計，」HPE總裁暨執行長Antonio Neri表示。「無論是內部部署、主機代管中心或公有雲上訓練與調校模型，到邊緣端的推論運算，AI都是一種混合雲工作負載。NVIDIA是HPE的長期創新合作夥伴，未來我們將持續共同開發AI軟硬體解決方案，協助客戶加速GenAI從概念驗證階段進入到生產階段的開發與部署。」
「生成式AI能夠將來自連網裝置、資料中心和雲端的資料轉化為洞察，進而在各產業實現突破性創新，」NVIDIA創辦人暨執行長黃仁勳（Jensen Huang）表示。「透過與HPE更緊密合作，我們將能協助企業利用資料開發與部署新的AI應用，以實現業務轉型，獲得前所未有的生產力。」
以超級運算能力為基礎的GenAI訓練與調校
HPE在SC23大會上宣佈其生成式AI超級運算解決方案已開放訂購，企業組織能透過預先配置並經過測試的全端解決方案開發與訓練大型AI模型。該解決方案專為加速執行GenAI及深度學習專案所設計，採用NVIDIA技術，最多可支援168個NVIDIA GH200 Grace Hopper超級晶片。
其可協助大型企業、研究機構及政府單位簡化模型開發流程。透過AI/ML軟體堆疊，客戶可以加速執行GenAI及深度學習專案，包括大型語言模型（LLM）、推薦系統及向量資料庫。該解決方案亦提供安裝與設定服務，協助AI研究中心及大型企業加速價值創造時間，並將訓練速度提升2~3倍。如需了解更多資訊或訂購，請至HPE生成式AI超級運算解決方案。
企業級GenAI調校與推論
HPE生成式AI企業運算解決方案在2023 Discover Baecelona大會已搶先曝光。客戶現在可以直接購買或透過HPE GreenLake，以靈活、可擴充且按使用量付費的方式購買。此由HPE與NVIDIA共同開發並預先配置的調校和推論解決方案可為企業組織提供生產GenAI應用所需的運算、儲存、軟體、網路和諮詢服務，並減少準備時間和成本。透過這套AI原生的全端解決方案，企業可獲得所需的速度、規模和控制力，以使用私有資料調校基礎模型並在混合雲環境中部署GenAI應用程式。
該解決方案採用HPE和NVIDIA的高效能AI運算叢集和軟體，適合對模型進行輕量級微調、RAG及橫向擴展推論。執行該解決方案時，調整一個擁有700億參數的Llama 2模型所需時間會隨節點數量增加而線性下降，在一個擁有16個節點的系統上，這個過程只需6分鐘即可完成1。其速度和效能有助於客戶使用虛擬助理、智慧聊天機器人及企業搜尋等AI應用程式提升企業生產力，進而加速價值創造時間。
其採用HPE ProLiant DL380a Gen11伺服器，並預先配置了NVIDIA GPU、NVIDIA Spectrum-X乙太網路平台和NVIDIA BlueField-3資料處理單元（DPU），同時搭載HPE的機器學習平台和分析軟體、NVIDIA AI Enterprise 5.0軟體（包含用以最佳化GenAI模型推論的新NVIDIA NIM微服務）、NVIDIA NeMo Retriever以及其他資料科學和AI程式庫。
為解決AI技能短缺的問題，HPE Services專家將協助企業設計、部署和管理此解決方案，包括應用適當的模型調校技巧。如需了解更多資訊或訂購，請至HPE生成式AI企業級運算解決方案。
從原型到生產力
HPE與NVIDIA正合作開發軟體解決方案，協助企業將AI和ML從概念驗證推進至實際生產應用。HPE客戶可以透過技術預覽版使用HPE機器學習推論軟體，迅速且安全地大規模部署ML模型。新的解決方案將與NVIDIA NIM整合，利用預先建置的容器提供NVIDIA最佳化的基礎模型。
為協助企業快速建置和部署具備私有資料的GenAI應用程式，HPE開發了採用NVIDIA NeMo Retriever微服務架構的企業級RAG參考架構，由HPE Ezmeral Data Fabric軟體和HPE GreenLake for File Storage提供完整的資料基礎架構，為企業提供用以打造客製化聊天機器人、生成器或智慧助理的藍圖。
為協助資料準備、AI訓練和推論運算，該解決方案整合了HPE Ezmeral Unified Analytics軟體和HPE AI軟體的開源工具和解決方案，其中包括HPE機器學習資料管理軟體（HPE Machine Learning Data Management Software）、HPE機器學習開發環境軟體（HPE Machine Learning Development Environment Software）和新的HPE機器學習推論軟體（HPE Machine Learning Inference Software）。HPE的AI軟體可應用於HPE生成式AI超級運算和企業級運算解決方案，讓客戶在一致的環境中管理GenAI工作負載。
採用NVIDIA Blackwell架構的次世代解決方案
未來HPE將在新推出的NVIDIA Blackwell平台上開發產品。該平台整合了第二代Transformer引擎，可加速GenAI工作負載。關於NVIDIA GB200 Grace Blackwell超級晶片、HGX B200和HGXB100的新HPE產品，其詳細資訊和上市時間將於日後另行公布。
資料來源
根據llama-recipes finetuning.py的初始內部基準測試，使用閃光注意力參數高效微調（parameter efficient fine-tuning；PEFT），在8個節點上微調平均耗時594秒，而在16個節點上微調平均耗時369秒。
