突破運算成本高門檻 群聯aiDAPTIV+加速生成式AI平民化 智慧應用 影音
Microchip
member

突破運算成本高門檻 群聯aiDAPTIV+加速生成式AI平民化

  • 張丹鳳台北

群聯電子執行長潘健成表示「aiDAPTIV+推動生成式AI走向平民化,讓AI應用就好像電腦一樣普及,是群聯電子的終極目標!」。群聯電子
群聯電子執行長潘健成表示「aiDAPTIV+推動生成式AI走向平民化,讓AI應用就好像電腦一樣普及,是群聯電子的終極目標!」。群聯電子

生成式AI浪潮興起,帶動新一波企業AI應用需求,然而AI伺服器動輒要價新台幣上千萬元,卻不是每一家企業都能負擔得起的價格。為免昂貴的硬體成本延緩企業導入生成式AI應用的腳步,日前在台灣年度最大AI博覽會「AI EXPO Taiwan 2024」上,群聯電子執行長潘健成特別分享,如何應用自家最新AI解決方案aiDAPTIV+克服AI運算成本高的挑戰,實現生成式AI平民化、普及化的目標。

運算成本過高,延緩生成式AI發展速度

「2023年上半ChatGPT風潮初起時,群聯電子就在評估是否要導入生成式AI應用,但當時估算下來的硬體成本至少要200萬美元,」潘健成表示,龐大的投資金額讓群聯電子暫緩GenAI投資腳步,也意識到運算成本過高將成為企業導入生成式AI應用的門檻。

於是,群聯電子重新檢視AI伺服器架構,尋找可以降低成本的方法。在AI伺服器中,圖形處理器(GPU)和HBM是兩個重要關鍵,GPU決定伺服器的運算能力,HBM則決定這台伺服可以執行哪一種參數規模的AI模型,通常參數規模越大,對HBM的需求也就越大,價格也跟著越高,而這也是生成式AI運算成本居高不下的主要原因,因為大型語言模型(LLM)對GPU和HBM的需求大,成本自然相當高。

為此,群聯電子嘗試將SSD作為HBM使用的可能性,經過不斷研發與努力下,最終成功開發出aiDAPTIV+。aiDAPTIV+是一套整合硬體與軟體的AI解決方案,內含經過特殊專利設計的AI100 M.2固態硬碟(SSD)解決方案aiDAPTIVCache,具備群聯獨家技術以延長SSD壽命的特性,及群聯電子自行開發的中介軟體(MiddleWare)aiDAPTIVLink,可在AI伺服器或工作站(Workstation)中扮演高頻寬記憶體(HBM)的角色,有效降低硬體成本。

aiDAPTIV+兩大助益:降低成本、免除雲端訓練和微調的資安疑慮

潘健成進一步以陽明交大教授研發的台客語TAIDE大語言模型和研華AI工作站AIR-520為例,說明aiDAPTIV+對降低生成式AI運算成本的幫助。

台客語TAIDE大語言模型研究僅使用了8片輝達A6000的RTX顯示卡及2片群聯AI100,就能微調訓練Llama 2或Llama 3 70B模型,而且整體伺服器硬體成本僅約新台幣150萬元,但若不使用aiDAPTIV+解決方案,以傳統GPU和HBM架構來估算硬體成本的話則需約5,000~6,000萬台幣。這也就是說,企業使用aiDAPTIV+架構AI伺服器,只要傳統硬體架構40分之1的成本,就能在地端微調訓練(Fine-tuning)大型語言模型、省下數千萬元的運算成本。

此外,研華運用aiDAPTIV+打造的AI工作站AIR-520,只要一台設備就能滿足Llama 2 70B模型的微調運算算力需求,但若不使用aiDAPTIV+解決方案,每一台設備最高只能運算48億個(4.8B)參數的AI模型,且需要30台設備才能運算Llama 2 70B模型。由此可知,研華透過aiDAPTIV+提高設備算力,相對也能協助企業客戶降低導入AI應用的運算成本。

除了降低成本門檻外,群聯電子aiDAPTIV+解決方案也解決了企業將資料上傳至雲端進行AI模型訓練或微調(Fine-Tuning)的資安疑慮。

目前各大雲平台或科技大廠皆有開發大型語言模型,企業在導入生成式AI應用時,多半會使用現成LLM進行訓練或微調,使LLM推論出來的答案更貼近實際應用需求,但將資料上傳至雲端,免不了擔憂資料外洩風險,而企業如果自行建構地端AI伺服器進行模型訓練或微調又有硬體運算成本太高的門檻,群聯aiDAPTIV+解決方案恰好能同時解決這兩個問題,讓企業能夠負擔得起在地端進行訓練或微調的成本,而且不必擔心資料上傳雲端的風險。

放眼全球,以生態圈力量搶攻生成式AI商機

雖然aiDAPTIV+解決方案降低了成本、克服生成式AI應用的進入門檻,但在推動生成式AI應用上其實還有另外一個挑戰,許多企業不知道如何運用AI,因此,群聯電子進一步攜手系統整合商、資訊服務商、新創團隊等不同領域的合作夥伴組成生態圈,同時還舉辦開發者大會、與學界合作進行生成式AI應用研究等,透過各種方式來整合各界力量,共同推動生成式AI應用的發展。

在群聯電子積極推動下,於6月登場的COMPUTEX 2024,已有超過10家以上合作夥伴展示aiDAPTIV+相關解決方案。此外,群聯電子亦累積超過100個以上的POC成功案例,涵蓋律師、法官、會計師、工程師、建築師、政府機關、醫師、教師、分析師及科學家等不同領域,幾乎各行各業都可以透過AI協助減輕工作負擔。

舉例來說,某專利事務所原本希望透過生成式AI來協助摘要過往的專利資料、提高同仁閱讀歷史資料的效率,但卻面臨地端AI伺服器硬體設備成本過高的問題,而導入群聯aiDAPTIV+方案後才突破AI模型跑不動的窘境。另外,群聯電子也應用自家解決方案aiDAPTIV+,發展出文件生成機器人、智慧AI助理及高效程式幫手3個生成式AI應用,供群聯內部同仁使用。

「推動生成式AI走向平民化,讓AI應用就好像電腦一樣普及,是群聯電子的終極目標!」潘健成強調,群聯電子希望透過aiDAPTIV+技術方案讓擁有各種敏感資料的企業、學校、公部門等,也能具備AI模型的地端微調訓練能力,讓企業能各自打造自己的地端生成式AI應用,而且不只聚焦台灣市場,群聯已經積極走向國際,集結aiDAPTIV+生態圈夥伴的力量快速滲透到全球各個市場,創造更大商機。