2024 AMD AI Solutions Day 從雲端到邊緣 AMD全方位加速AI普及
- 孫昌華／台北
-
智慧化浪潮席捲全球，企業的AI應用需求與日俱增，如何透過高效能運算加速AI技術落地，成為企業轉型的關鍵課題。「2024 AMD AI Solutions Day」活動以「AI無限進化．AMD驅動未來」為題，邀請到AMD高層與業界專家，從不同面向剖析AI技術趨勢與商業應用。會中也同步展示AMD EPYC處理器、AMD Instinct MI300系列加速器等最新一代的AI解決方案，協助台灣產業在生成式AI時代掌握先機。
AMD台灣區商用業務處資深業務副總經理林建誠在主題演講中，以「AI無限進化．AMD驅動未來」為題，全面介紹AMD在AI領域的布局與最新進展。他指產業轉型的核心驅動力，針對此趨勢，AMD建構出從雲端、終端到邊緣AI運算的完整AI解決方案。
AI模型參數在過去十年成長了70萬倍，對運算能力的需求也大幅提升，促使資料中心架構產生重大變革。為因應此趨勢，AMD與台積電緊密合作，強化產品線在效能、成本與能耗等層面優勢。
在資料中心方面，AMD EPYC處理器營收市佔率從2018年的2%大幅成長至2024年第3季的33.9%。最新推出的第5代AMD EPYC處理器（代號Turin）採用台積電3奈米與4奈米製程，單顆處理器可支援最高192核心與384執行緒，整體效能達競爭對手的2.7倍，特別適合執行7~10B參數等級的中小型AI模型。目前全球主要雲端服務供應商，包括AWS、Microsoft Azure、Google Cloud、IBM、Oracle、Meta和騰訊等，都已採用AMD EPYC處理器。
GPU產品線部分，AMD Instinct MI300系列具備192GB的HBM3記憶體容量，為NVIDIA H100的2.4倍，已獲Microsoft、OpenAI、Meta等科技大廠採用。其中Meta的Llama 3.1 400B模型推論完全運行在AMD Instinct MI300X上。新一代AMD Instinct MI325X提供256GB HBM3E記憶體容量，為H200的1.8倍，在訓練與推論效能上都優於對手。AMD Instinct MI325X將如期於2024年第4季量產出貨，合作夥伴包括華碩、技嘉、MiTAC、QCT、研華、緯穎等台灣廠商[HC2][RK3]。預計2025年下半推出的AMD Instinct MI350系列將採用台積電先進製程，搭載288GB HBM3E記憶體，AI運算效能較前代提升35倍。
針對軟體生態系統，AMD持續優化ROCm軟體堆疊，已支援Hugging Face、Meta Llama等主流AI架構，多數模型無需額外調校，即可直接運行於AMD平台。網路解決方案方面，AMD加入UEC聯盟，並推出AMD Pensando Pollara 400 網路介面卡(NIC)，相較InfiniBand可降低50%總持有成本，同時提供更佳擴充性，最高可支援超過48,000個節點的連接。
對於個人電腦，AMD在2024年下半推出的新品將全面支援Microsoft Copilot，其中最新推出的Ryzen AI PRO 300系列採用AMD Zen 5架構，整合XDNA 2架構的NPU，提供頂尖的50+ NPU TOPS的AI處理能力，超過100款Ryzen AI PRO PC將於2025年推出搭載Ryzen AI PRO 300系列處理器的NB能夠解決企業最棘手的工作負載，與Intel Core Ultra 7 165U相比，最高階的Ryzen AI 9 HX PRO 375提供高達40%的效能提升及高達14%的生產力效能提升。
林建誠指出，AMD憑藉完整的AI硬體產品線、持續強化的軟體生態系統支援，以及在效能、成本和能源效率上的全方位優勢，已在AI運算市場站穩關鍵地位，隨著各項新產品陸續到位，再加上微軟、Meta等指標客戶的實際導入，AMD在AI基礎架構市場的競爭實力更趨完整。
AMD全球副總裁暨嵌入式解決方案事業群總經理Rajneesh Gaur，接著在「AMD AI Edge Solutions」議題中指出，AI是近50年來最重大的技術創新。隨著全球大部分的資料處理都發生在終端設備，邊緣運算的角色愈發關鍵。目前AMD在嵌入式領域已服務近7,000家客戶，業務範圍涵蓋工廠自動化、車用電子、電信網路、資料中心、工業及醫療機器人等多元領域。
在技術層面，AMD提供的異質運算解決方案具有獨特優勢，可針對不同應用最佳化效能，同時具備自行調適運算能力，能因應演算法變化進行調整，並可隨應用成長而擴充。處理流程上，AMD能同時處理「預處理」、「AI推論」及「後處理」三個階段，提供完整的應用程序處理方案。
再就產品布局來看，AMD的嵌入式AI產品線主要分為自行調適運算產品系列與嵌入式處理器兩大類。自行調適運算產品包含FPGA、自行調適SoC、SOM與加速卡；嵌入式處理器則有Ryzen與EPYC兩大系列。軟體支援部分，Ryzen嵌入式處理器搭配Ryzen AI軟體，支援多種產業標準AI框架，並可相容Hugging Face等主流LLM框架；自行調適SoC則提供Vitis AI軟體，支援機器學習框架整合。
展望未來，他認為邊緣AI在工業、醫療保健及車用市場深具發展潛力。在工業領域，AI將持續革新機器人技術；在醫療保健方面，AI驅動的外骨骼技術正快速進展；在車用市場，AI助理的整合將為使用者帶來全新體驗。
業界專家深入剖析 台灣掌握AI發展契機
2024 AMD AI Solutions Day特別邀請DIGITIMES暨IC之音董事長黃欽勇、Microsoft微軟亞洲區HPC/AI解決方案資深副總經理馮立偉、MiTAC神通資科董事長暨總經理蘇亮三位業界專家，就不同角度發表趨勢觀點。
黃欽勇在「天選．矽島：台灣在AI時代的黃金法則」演講中表示，台灣在AI時代具備獨特優勢與發展契機。從產業規模來看，2020年台灣上市櫃電子業營收首度突破1兆美元大關，2023年半導體產業產值也邁向2000億美元里程碑。以上市櫃電子廠商20%的附加價值率計算，直接為台灣GDP貢獻四分之一產值，這顯示電子業在台灣經濟結構中的關鍵地位。
台灣的核心競爭力來自完整的產業生態系，五十年來的產業積累，不僅培養大量人才，也建立起綿密的供應鏈網絡。面對AI時代，黃欽勇認為產業策略應優先於效率，效率又重於成本考量。傳統代工模式必須轉型，重新定義與客戶的合作關係。特別是在GPU、AI加速器等新興應用快速成長之際，台廠應善用在硬體製造的優勢，積極與國際大廠合作，提升在價值鏈的定位。
馮立偉以「運用Azure引領未來的AI創新與應用」為題，分享微軟Azure在AI領域的創新布局與應用策略。他提到Azure過去一年將超級運算能力提升30倍。微軟與AMD的合作已進入新階段，目前已開放AMD Instinct MI300X規格給企業客戶使用，並持續強化運算效能。
在AI服務創新上，Azure推出GPT-4 Turbo多模型API，不僅支援文字與影像處理，效能較前代提升2倍以上，輸出量更提升5倍，同時降低使用成本。針對一般應用情境，則提供GPT-4O mini版本，在保持精準度的前提下提供更經濟的選擇。企業若需客製化語氣及回應方式，也能進行模型調校。
為加速企業導入AI應用，Azure提供RAG機制，讓企業得以整合內部資料與AI模型，提升應用精準度。新推出的影片翻譯服務，更能在保留原音色的前提下實現多語言轉換，大幅提升跨國溝通效率。此外，微軟也持續將Copilot整合至Office、Teams等應用中，強化日常工作效率。馮立偉指出，Azure透過完整的AI基礎建設、數據服務與應用工具，協助企業大幅縮短AI專案導入時程。未來微軟將透過與AMD的策略合作，提供更強大且經濟的解決方案。
MiTAC神通資科董事長暨總經理蘇亮接著在「Advancing AI：攜手與AMD推動數位變革」演講中，介紹系統整合商在AI浪潮中的策略布局。他提到神通資科兩年前選擇與AMD合作，主要看重其產品性價比優勢、完整的產品線布局，以及開放架構便於整合開源方案的特性。在解決方案架構上，神通資科結合關係企業神達泰安的伺服器平台，整合CPU與GPU混合運算效能，並開發MiAIOT平台實現數據整合，逐步建立完整的AI生態系統。
為降低企業導入門檻，神通資科建立AI運算實驗室，提供客戶進行POC，並透過完整的建置服務協助企業落地。蘇亮也從軟體開發者的視角指出，AI應被視為人機介面的延伸，重點在於如何有效整合產業知識，創造實質價值。從早期的機器語言、組合語言，到今日的高階程式語言，人機介面不斷演進，AI正是新一代的溝通橋梁。
對於未來，蘇亮期望台灣產業能從硬體製造優勢，延伸至系統整合與軟體開發領域。透過完整的硬體、軟體與服務策略，協助企業實現數位轉型，同時朝向國際市場邁進，這不僅是神通資科的轉型之路，也將是台灣AI產業的發展新方向。
產業生態系協作 展現多元AI應用實力
除了精采演講，AMD也邀請多家合作夥伴，從四大面向分享AI應用的實際經驗。在智慧轉型領域，戴爾科技集團展示AI Factory革新資料中心的應用，HPE介紹混合IT架構創新，技嘉、MyelinTek與Supermicro等夥伴，則展現AI運算與基礎建設的整合優勢。探索AI應用方面，神通資科展示生成式AI創新，聯想分享AI普及化方案，工研院則以動態影像追蹤技術展現研發實力。政治大學及APMIC從學術及產業觀點，深入剖析AI技術發展趨勢。雲端智慧轉型議題上，Broadcom、Red Hat、Nutanix等合作夥伴分別展示私有AI部署、企業應用平台及現代化架構方案。在邊緣運算領域，除了AMD展示Ryzen AI解決方案外，研華、DFI等廠商也分享了企業級AI系統建置經驗。
從「2024 AMD AI Solutions Day」可見，AMD不僅擁有完整的AI硬體產品線，更廣泛串連產業生態系，提供從雲到邊緣的全方位解決方案，協助企業提升競爭力，從而推動台灣產業創新發展，掌握龐大的AI商機。
