力麗科技攜手戴爾、AMD與APMIC 助企業實現LLM加速落地

力麗科技攜手戴爾科技集團（Dell Technologies）、AMD、亞太智能機器等夥伴，於日前舉辦「加速LLM落地．開創AI智慧轉型研討會」，期望引領企業理解如何善用一站到位完整方案，無痛啟動各種AI專案，吸引眾多產業界菁英參與盛會。力麗科技

近年隨著AI與GenAI浪潮延燒，已被視為是強化企業營運管理的關鍵動能；但企業欲推動LLM落地、實現AI/Gen AI創新，過程中難免遇到諸多瓶頸。為此力麗科技攜手戴爾科技集團（Dell Technologies）、AMD、亞太智能機器等夥伴，於日前舉辦「加速LLM落地．開創AI智慧轉型研討會」，期望引領企業理解如何善用一站到位完整方案，無痛啟動各種AI專案。

力麗科技系統服務事業部副總經理張榮城表示，自2024年底DeepSeek崛起，各行業都感到導入AI沒有那麼困難；但其實在推動過程中，仍有亟待克服的關卡。故透過本次會議讓大家理解AI組成原理、實用的模組化工具。

AMD台灣區資深業務協理黃偉喬指出，對於AI，過去大家關注算力資源的佈建，係因算力稀缺昂貴、有一定的取得難度；因此要讓LLM落地，第一步便是準備硬體，為此AMD針對大型加速器、伺服器、AI PC等不同場景提供對應產品。第二和第三步依序是準備軟體工具、執行應用開發，而AMD現正積極在台灣擘建AI應用生態系，與眾多學校展開建教合作，期望讓更多人懂得善用AMD ROCm軟體程式，加速實踐這些目標。

善用多元算力方案  加速AI轉型節奏

AMD台灣區商用業務處資深技術顧問張歐佑豪，闡述AMD如何藉由全方位AI方案助攻企業智慧轉型，其中包含EPYC CPU、Instinct MI300X GPU及Ryzen AI PRO 300系列CPU等主軸。

EPYC伺服器處理器憑藉軟體相容性、效能、穩定度、性價比等優勢，現已獲逾50% CSP業者採用，另外在企業市場的佔有率亦逐年攀高。以2024年底發布的第五代產品而論，每顆最大核心數達192個，較第一代32核心成長6倍，CPU效能更激增近11倍。

值得一提，EPYC CPU對企業AI轉型可望產生莫大助力。首先企業需有足夠空間、電力、資金等條件，才能展開AI導入；而兼具卓越效能、卓越能源效率的EPYC CPU，即可協助企業以相對精省的投資滿足這些要件。

其次EPYC可勝任中或小型推論工作。再者即便GPU伺服器已成不少AI專案主角，但仍需搭配CPU執行資料的前／後處理，所以EPYC的存在，有助帶動GPU產值大幅躍升；例如經過實測，8張NVIDIA H100搭配64核心EPYC CPU，可讓Llama3.1-70B推論的吞吐效能提高20%，訓練時亦可加速15%。

有關GPU部分，目前AMD的對應產品為第二代MI300X系列，發展迄今已締造不俗成果。如微軟於Azure Cloud提供搭載MI300X的虛擬機服務，且OpenAI也運用此資源展開GPT-4訓練。如Meta的Llama 3.1-405B獨家採用MI300X進行推廣，主要看上MI300X擁有最大HBM記憶體容量。

綜觀許多客戶的反饋，便充分彰顯MI300X價值所在，包括微軟認為使用MI300X加速器，有望以更少伺服器來服務更大模型；至於Meta、Databricks等其他客戶，皆對ROCm軟體程式多所讚譽，指其不論在軟體相容性或效能都有優異表現。

最後論及AI PC，AMD現有不同產品分類，一是用於行動工作站的Ryzen AI PRO Max系列，係將16個桌機等級的CPU核心、約莫4080獨顯等級的GPU、50個TOPS的NPU，三者一同封裝在內，故運算效能甚佳，可讓筆電執行70B模型推論。

此外在Mainstream部份，則以Ryzen AI PRO 300系列挑大樑，支援50到55個TOPS的NPU；最大亮點在於，讓不適合裝載獨顯的商用筆電，也有足夠算力啟動Copilot+ PC功能。

專業夥伴加速LLM落地  促使模型持續聰明進化

亞太智能機器（APMIC）AI生態圈策略夥伴總監蔡宜潔，以淺顯白話表述方式，剖析Deepseek與其他推理模型對企業影響。她表示自2024年底DeepSeek-V3問世後，許多企業對它深感興趣，紛紛探索運用之道；但她提醒，任何組織想要推動AI或LLM應用，皆會面臨一些障礙，此時不妨援引專業夥伴助力，以利快速解決難題，推動專案進程。

站在APMIC角度，建議組織先以5W1H梳理GenAI導入框架，其中「When」尤其重要，旨在釐清「若現在不做，組織的競爭優勢還可撐多久」。接著透過IT視角檢視幾大重點，包括如何採購最適合的伺服器規格，現有資料中心的空間、電力、散熱能否滿足GPU伺服器的高耗能需求，及如何佈局具AI基礎設施維運管理能力的監控機制。

後續則執行系統整合、模型微調與訓練，並基於訓練與微調的資料需求，尋求Data Owner團隊或個人的協作；畢竟要確保AI專案成功，一定需要乾淨數據。而APMIC擅長「讓模型變聰明」，可藉由資料前處理、持續微調、指令微調、時效性資料更新（RAG）、持續搜集資料與訓練模型、Prompt Templates製作、模型驗證等流程服務，一步步化解所有難題，且引導組織有效驗證、找出效果最佳的推理模型（例如Deepseek、QwenGemma等等）來實踐AI/LLM應用。

建構自動化數據管道  源源不斷供輸AI黃金燃料

活動最後，由戴爾科技集團服務銷售部服務業務協理劉芷伶發表壓軸演說，分享如何藉由Data insight:獲取AI黃金燃料。她首先介紹Dell的AI Factory方案架構，指出其會透過與客戶討論，釐清想要解決的業務痛點，藉此定義Use Case，接著探討需要什麼資料來解決問題。經過資料處理後，才協助規劃對應的基礎架構，包含端點設備，乃至運算，儲存與數據保護產品。

此外Dell會結合強大生態夥伴，佐以富含AI實作輔導經驗的Dell Consulting Service，確保客戶的AI專案成功落地。

談到Data Insight，主要取決於乾淨的數據，確使模型產出結果具有可信度。此時須從一開始的需求解析到資料盤點、資料清整並產生資料洞察，再透過BI儀表板進行可視化分析，據此形成最佳決策，最終把彰顯資料價值的AI成果導入至企業業務流程。

針對上述「數據來源->數據攝取->數據存儲->數據分析／AI」等重要階段，Dell將協助建立數據管道，使資料能自動從來源端流向儲存端、模型及分析平台。此數據平台架構蘊含眾多層次，需搭配諸多開源或商業工具，其中關鍵樞紐為基於DDAE查詢引擎的Dell Data Lakehouse；係因企業資料散落於不同系統，有整合難度，須藉助Lakehouse執行格式統一化，並利用DDAE執行跨來源資料查詢，使數據工作流更靈活，更易於調度，而非一味仰賴繁冗耗時的ETL作業。

總括來說，力麗科技期望串聯Dell AI Factory一站式方案能量，輔以AMD適合不同場景的個別算力佈局，再借重生態夥伴APMIC讓模型變聰明的流程服務，協助企業打造順暢有序的AI轉型路徑。