研華攜手群聯電子 打造更便利的AI模型微調解決方案

研華科技攜手群聯電子，打造更便利的AI模型微調解決方案。研華科技

生成式人工智慧（Generative AI；GenAI）的出現已讓 AI 助手在各個領域廣泛使用，包括製造業、商業環境、教育、醫療保健、法律和會計領域、銀行業。許多新的 AI 應用正在逐步出現。認識到這一趨勢，全球邊緣運算領導廠研華科技宣布與 NAND 控制器和 NAND 存儲解決方案領先供應商群聯合作，共同推出專為邊緣和工業應用量身定制的 GenAI 解決方案。整合現今AI應用做設計，讓企業導入AI可以省下大量成本，同時有更好的效能。

現今的AI 伺服器以GPU來進行AI運算，而GPU模組卡上的HBM記憶體（High Bandwidth Memory）容量則是影響整體AI運算效能以及AI模型參數大小的關鍵。群聯的aiDAPTIV+對AI模型運算進行架構的調整，通過其獨家的專利SSD技術整合GPU卡上的HBM記憶體，並將大型AI模型進行結構性拆分後，與SSD協同運行，使得在有限的GPU與DRAM資源下也能夠訓練大型的AI模型；更重要的是，群聯的aiDAPTIV+方案完整相容於現今市場上的所有主流的AI運算架構與GPU卡。

換言之，經過aiDAPTIV+架構調整後可以大幅降低AI基礎建設的硬體成本，並同時提高運算效率，並且在相同的AI模型微調訓練運算條件下，所需的整體電力較少，也符合當前減少能源消耗和碳足跡的環保趨勢。

以擁有700億個參數量的Llama2為例，僅需採用8顆輝達A6000的RTX顯卡驅動，搭配微調運算，中文AI模型的精準率可達92%，甚至台語、客語也都超過85%的精準率。進行成本則約落在150萬新台幣。這與動輒就需要千萬甚至上億的費用的解決方案相比，有助於AI的普及。效能上，平均也可以提升1.13倍

硬體的部分，SKY-602E3塔型伺服器，搭載AMD EPYC 8004 系列處理器，支援 4 個 PCIe 5.0 x16 雙槽全高/10.5吋 卡片，並可搭載2 個M.2 2280 PCIe 5.0 SSD，可以支援四張GPU卡與兩張Phison aiDAPTIV+ SSD 達成群聯的aiDAPTIV+ AI運算架構的最佳化。SKY-602E3在設計ｓ也適用於多種環境，可安裝於桌面以便於存取，也可以安裝在牆面上以節省空間，或者有效地利用兩個單位裝入4U機架空間，展示其卓越的空間效率。這種適應性使得SKY-602E3成為各種AI領域操作環境的理想選擇。

HPC-7420+ASMB-807工業級伺服器，搭載Intel Xeon W系列處理器，DDR5 5600 MHz RDIMM，可支援3 槽PCIe 5.0 x16、1槽 PCIe 5.0 x8、2槽PCIe 4.0 x4，處理器最高更是可支援到Intel最高規格385W。搭配HPC-7420機箱，可於最佳解熱效能的環境下進行AI AOI的應用，協助工廠端產線效率提升，更精準的辨識產線上的各類瑕疵。

欲瞭解更多研華伺服器解決方案，請造訪官方網站