研華攜手群聯電子 打造更便利的AI模型微調解決方案
- 林稼弘/台北
生成式人工智慧(Generative AI;GenAI)的出現已讓 AI 助手在各個領域廣泛使用,包括製造業、商業環境、教育、醫療保健、法律和會計領域、銀行業。許多新的 AI 應用正在逐步出現。認識到這一趨勢,全球邊緣運算領導廠研華科技宣布與 NAND 控制器和 NAND 存儲解決方案領先供應商群聯合作,共同推出專為邊緣和工業應用量身定制的 GenAI 解決方案。整合現今AI應用做設計,讓企業導入AI可以省下大量成本,同時有更好的效能。
現今的AI 伺服器以GPU來進行AI運算,而GPU模組卡上的HBM記憶體(High Bandwidth Memory)容量則是影響整體AI運算效能以及AI模型參數大小的關鍵。群聯的aiDAPTIV+對AI模型運算進行架構的調整,通過其獨家的專利SSD技術整合GPU卡上的HBM記憶體,並將大型AI模型進行結構性拆分後,與SSD協同運行,使得在有限的GPU與DRAM資源下也能夠訓練大型的AI模型;更重要的是,群聯的aiDAPTIV+方案完整相容於現今市場上的所有主流的AI運算架構與GPU卡。
換言之,經過aiDAPTIV+架構調整後可以大幅降低AI基礎建設的硬體成本,並同時提高運算效率,並且在相同的AI模型微調訓練運算條件下,所需的整體電力較少,也符合當前減少能源消耗和碳足跡的環保趨勢。
以擁有700億個參數量的Llama2為例,僅需採用8顆輝達A6000的RTX顯卡驅動,搭配微調運算,中文AI模型的精準率可達92%,甚至台語、客語也都超過85%的精準率。進行成本則約落在150萬新台幣。這與動輒就需要千萬甚至上億的費用的解決方案相比,有助於AI的普及。效能上,平均也可以提升1.13倍
硬體的部分,SKY-602E3塔型伺服器,搭載AMD EPYC 8004 系列處理器,支援 4 個 PCIe 5.0 x16 雙槽全高/10.5吋 卡片,並可搭載2 個M.2 2280 PCIe 5.0 SSD,可以支援四張GPU卡與兩張Phison aiDAPTIV+ SSD 達成群聯的aiDAPTIV+ AI運算架構的最佳化。SKY-602E3在設計s也適用於多種環境,可安裝於桌面以便於存取,也可以安裝在牆面上以節省空間,或者有效地利用兩個單位裝入4U機架空間,展示其卓越的空間效率。這種適應性使得SKY-602E3成為各種AI領域操作環境的理想選擇。
HPC-7420+ASMB-807工業級伺服器,搭載Intel Xeon W系列處理器,DDR5 5600 MHz RDIMM,可支援3 槽PCIe 5.0 x16、1槽 PCIe 5.0 x8、2槽PCIe 4.0 x4,處理器最高更是可支援到Intel最高規格385W。搭配HPC-7420機箱,可於最佳解熱效能的環境下進行AI AOI的應用,協助工廠端產線效率提升,更精準的辨識產線上的各類瑕疵。
欲瞭解更多研華伺服器解決方案,請造訪官方網站
- NXP攜手系夥伴打造Brighter Together願景 探索與AI共存未來生活商機
- COMPUTEX 2024圓滿落幕 躍升為全球AI科技核心
- 上榜NVIDIA台廠供應鏈 IPC點亮邊緣AI商機
- 台灣科技產業「軟硬兼施」 全球新創不遠千里覓合作
- COMPUTEX 2024星光閃耀
AI PC與伺服器成台積電高性能運算成長動能 - 安提發布基於NVIDIA的次世代邊緣AI系統 引領工業與醫療領域AI應用新篇章
- PowerWalker不斷電系統登陸COMPUTEX高效電力備援助攻企業AI應用
- 生成式AI發展所面臨的倫理挑戰與未來競爭格局
- 先進AI晶片發展趨勢
- 翱翔智慧電梯原地轉型升級 搭載AI成為智能電梯
- 十銓科技創新推出 TEAMGROUP Model T USB 3.2 Gen 1隨身碟
- Avier@Earth與COMPUTEX 2024 展出友善環境及高速充電的解決方案
- MetAI攜手產業夥伴於COMPUTEX展示創新生成式模型技術
- 研華攜手群聯電子 打造更便利的AI模型微調解決方案
- 慧榮科技推出全新SSD單晶片控制器,為下一代 AI 智慧型裝置和遊戲機提供絕佳選擇
- 安提國際於COMPUTEX 2024發表NVIDIA MGX邊緣AI伺服器
- 運算推進時代 GIGABYTE於COMPUTEX趨動科技未來
- DEEPX執行長Lokwon Kim:打造讓每個人都能使用的AI晶片
- 智微科技與開酷科技將於COMPUTEX 2024展示雷達智慧感測解決方案
- BIOSTAR 映泰將於COMPUTEX 2024帶來全新AI運算解決方案
- 勤誠COMPUTEX秀肌肉 重磅展示AI、雲端伺服器機殼新品
- 趨勢科技守護全球AI驅動私有資料中心
- 十銓科技推出三款T-FORCE SIREN CPU 一體式水冷散熱器
- MetAI於COMPUTEX展示四分鐘生成模擬智慧物流中心的突破性技術
- APMIC於2024 COMPUTEX展示最新AI技術 讓每個員工都成為AI專家
- COMPUTEX 2024科技星光雲集 六大產業爭艷
- 聚焦七大電源主軸解決方案 COMPUTEX 2024明緯展現減碳技術能量
- NVIDIA、英特爾、超微、高通AI平台全押 華碩PC、伺服器火力全開
- Nordic Semiconductor加速整合低功耗短、中、長距離無線技術創新
- 科技巨擘築起AI算力高牆 彭双浪:機會在垂直場域數位轉型
- NVIDIA在台千人研發中心座落何處?黃仁勳先問一條件
- 英特爾淡看對手叫陣AI PC Gelsinger:還在找比較基準點
- Arm CEO:2025年將有1,000億台Arm裝置 迎接AI時代來臨
- 生成式AI技術發展與應用趨勢
- 威鋒電子宣布推出 PortSense 以AI人工智慧功能強化USB Hub管理
- 新思科技利用台積電先進製程加速新世代的晶片創新
- 台灣鎧俠於2024台北國際電腦展展示先進儲存技術與生態圈應用
- 驚艷COMPUTEX 鴻翊國際以智慧飯店與零售創新展示AI時代新型態POS
- TSLG耐落扣件防鬆價值解決方案提供者
- Brickcom引領全球無線技術趨勢 InstantFind系統締造物聯網資料傳輸
- 泓格科技引領綠色永續製造,共創美好未來
- 佈局5G、AI、物聯網
廣和通以智能創新力助產業轉型 - Skymizer正式推出ET2矽智財方案 以軟硬體平台方案為LLM打造更多想像
- 宜鼎擴充邊緣AI智慧應用與儲存 揭示Architect Intelligence品牌主張
- 十銓科技以「遊戲進化,AI 革命」主題 強勢登入COMPUTEX 2024
- Bahwan CyberTek 押注台灣科技生態系統
- 智微科技攜手開酷科技 震撼登場COMPUTEX 2024 創新是科技進步的火苗
- 迎廣展現一站式服務價值,AI生態系共創無限可能
- 慧榮科技總經理苟嘉章:AI應用轉變 儲存新技術需求大增
- 安提邊緣AI助力各行各業 COMPUTEX 2024展現全系列產品實力
- 宜鼎將於COMPUTEX展出多款嵌入式相機模組及獨家MIPI over Type-C技術
- DEEPX 即將在COMPUTEX 2024展現頂尖的AI創新
- 2024台北國際電腦展 公信電子聚焦電動車與企業資安解決方案
- 串聯AI 引領未來 COMPUTEX 2024匯聚全球科技力
- COMPUTEX 明緯展示電源實力 助力產業落實減碳願景
- 元信電子COMPUTEX 2024 迎接高容量SSD時代來臨
- InnoVEX 2024 匯聚逾30國新創團隊齊聚 展現創新動能
- 高通擴大PC平台產品線 傳已獲美系大客戶力挺
- 6月台灣很AI!黃仁勳COMPUTEX 2024開講 移師台大體育館受矚目
- 生成式AI硬體大本營 1,500廠商聚集COMPUTEX 2024
- COMPUTEX 2024 Forum從應用布局及硬體創新 深入剖析生成式AI新賽局
- CXL技術發展邁大步 COMPUTEX 2024可望躍升重要議題
- 超微為AI PC劃重點 蘇姿丰中國行說了什麼?
- NVIDIA、鴻海兩大巨頭GTC相見歡 劉揚偉透露6月COMPUTEX有驚喜
- COMPUTEX 2024 全球科技巨擘共同演繹AI與未來科技
- COMPUTEX 2024大秀AI肌肉 匯聚全球1,500家廠商
- NVIDIA、超微、英特爾三巨頭 將首度齊聚COMPUTEX 2024
- 高通執行長Cristiano Amon將於COMPUTEX 2024發表主題演講
- 微軟搭英特爾、高通 AI PC首波主秀在COMPUTEX