群聯aiDAPTIV+地端AI方案 助DIGITIMES打造產業情報平台確保永續安全

群聯電子以固態硬碟技術 (aiDAPTIVCache) 擴充GPU中高昂的高頻寬記憶體（HBM），研發出平價的地端生成式AI解決方案aiDAPTIV+。群聯電子

隨著人工智慧（AI）應用的迅速發展，企業在運算能力與資料安全方面面臨重大挑戰，試圖尋找更低廉的成本獲取算力，同時能保護企業機密資料。過往在公有雲上的AI服務雖然能夠提供強大的運算能力，但也帶來高昂的運算成本、資料外洩風險、以及AI所有權的問題。

因此，越來越多企業開始轉向地端邊緣AI伺服器或AI工作站，以降低成本、提高運算效率，更重要的是保護企業機敏資料。

NAND控制晶片大廠群聯電子推出獨家專利aiDAPTIV+生成式AI落地訓練暨推論解決方案，協助DIGITIMES開發產業情報平台，提供會員迅速豐富的產業知識查詢加值服務，同時確保核心研究報告不外流。

aiDAPTIV+生成式AI落地方案  不只模型微調更加速推論

群聯電子以自有固態硬碟（SSD）技術（aiDAPTIVCache）擴充GPU中高昂的高頻寬記憶體（HBM），研發出平價的地端生成式AI解決方案。

群聯電子執行長潘健成表示，「擁有自己專屬的AI模型並非大型企業的專利，aiDAPTIV+可降低企業建置符合自身專用的地端AI模型的門檻，推動人人可用的民主式AI。」

aiDAPTIV+邊緣地端AI解決方案能避免企業機密資料外流，透過在邊緣地端直接使用企業自家資料為通用模型（Pre-trained AI model）做再訓練與微調（Fine-tuning或Post-training），可提升更精準的推論能力，同時還能帶來加速效果。

經過實證，透過aiDAPTIV+的技術，能提升大語言模型推論時間（Time-to-First-Token；TTFT）快14倍，或是推論回答的內容長度（Token-Length）多8倍的效能。

而群聯電子也與台灣人工智慧實驗室合作，推出aiDAPTIV+結合FedGPT的軟硬整合一體機解決方案。台灣人工智慧實驗室創辦人杜奕瑾表示，aiDAPTIV+與FedGPT的結合，不僅減少企業擔心資料外洩的風險，同時解決過去邊緣AI最大的問題挑戰，即在終端若要做到模型精進需要大量記憶體支援，如今透過aiDAPTIV+技術，多模態、多專家的全參數模型訓練都可以透過此一體機達成。

DIGITIMES導入aiDAPTIV+地端AI方案  優化會員體驗

DIGITIMES近期與群聯電子共同合作，透過aiDAPTIV+生成式AI落地方案打造產業情報平台，以提供會員知識檢索服務。

DIGITIMES產業情報平台起初是仰賴公有雲平台上的AI服務，但由於研究報告資料庫攸關DIGITIMES核心營運，需確保其資料安全，加上隨著資料量持續增加，運算成本亦大幅上升，因此DIGITIMES決定改採用aiDAPTIV+生成式AI落地方案，將AI運算能力直接部署於內部伺服器機房。

DIGITIMES總經理蘇育正表示，「很高興能與群聯電子合作，在群聯團隊的協助下，2天就完成概念驗證，且透過專門優化微調後的AI模型，不僅加速推論時間，能為DIGITIMES會員提供更快速詳實的服務，也有助於降低營運成本。」

DIGITIMES產業情報平台目前是運行在參數量達70B的大語言模型上，未來若隨著資料量的增加需要擴充算力，也只需要將更多的群聯aiDAPTIVCache加上去即可。aiDAPTIV+的成功導入經驗，讓DIGITIMES可以用比HBM低2000倍的成本，來訓練自己的AI模型，未來能繼續訓練更多模型或放心地嘗試各種AI創新專案，AI建置門檻降低也開啟更多創新服務的可能。aiDAPTIV+幫助DIGITIMES在成本控制、資料安全、AI所有權與邊緣AI創新應用之間取得最佳平衡。

隨著AI應用的普及與企業導入需求增加，群聯也深感市場上AI工程師供不應求，因此投入AI訓練師的培力課程，從模型推理、效能優化到實作，手把手協助企業訓練能導入AI的專業人才，並結合內遷aiDAPTIV+技術的AI訓練電腦（AI Training PC；ATTPC）解決方案，讓使用者用單一電腦就可訓練AI模型並推理，真正達到人人可用AI建模，也為各產業帶來更多創新應用與價值。