「AMD AI技術日」展現開放架構的優勢 助力AI應用快速普及
- 孫昌華／台北
-
拜人工智慧（AI）應用蓬勃發展之賜，政府推動「百工百業用AI」的策略下，鼓勵企業開發AI創新應用以解決產業痛點，從軟硬整合、資料應用到場域導入，協助產業界突破算力、資料與人才瓶頸。這場由數發部數位產業署與AMD共同主辦「AI國際技術日」活動，於2025年10月30日匯集AMD技術團隊、工研院及開發者社群，成為一場聚焦於AI高效能運算開放平台與企業AI部署實務的科技饗宴。
活動由AMD台灣區商用業務處資深業務副總經理林建誠開場，由於生成式AI的蓬勃發展，AI相關的技術發展更是一日千里，AMD為了鏈結開發者社群與企業用戶，積極舉辦技術相關的研討會。
林建誠指出，AMD在AI落地應用有幾個重要的優勢，首先，AMD的x86架構對台灣產業界而言是長久以來是比較熟悉的開發環境，容易上手，第二，AMD作為開放架構的推動者，其ROCm的軟體生態系統提供強大的使用者友善的環境，助力AI應用的發展，第三、AMD多樣化的產品線，能滿足使用者在成本效益與彈性配置的需求，適合企業用戶擁抱AI應用的發展趨勢。
數位發展部數位產業署林俊秀署長在致詞中表示，全球AI技術正快速發展。數產署與國際大廠一直都保持密切合作，如今面對技術驅動的新時代，更需要及時引進國際技術與趨勢、強化連結，讓台灣產業能力與國際同步。
2025年，數位產業署與多家國際企業合作，包括像是與AMD等國際大廠攜手辦理國際技術日活動，將最新AI技術引入台灣，協助產業掌握發展趨勢。林俊秀署長也分享，數位發展部持續透過算力、資料、人才、行銷、資金等五大政策工具，協助產業提升能量，並促進國際合作、推動台灣AI生態系發展。
AMD引領開放式生態系加速產業創新 展現全方位AI解決方案
AMD資深業務協理黃偉喬精闢簡要的介紹AMD多樣化產品線與解決方案，協助企業打造AI智慧型應用。AMD採取三大重要的AI策略，首先就是、強大算力引擎與卓越產品線，憑藉EPYCTM CPU、Instinct GPU、Ryzen AI CPU、Radeon AI GPU、以及Versal自行調適系統單晶片（SoC）等產業界高度評價的端對端AI運算完整解決方案，加速企業的AI部署，為AI、雲端、終端及嵌入式工作負載推出廣泛的解決方案與產品組合。
第二，AMD擁抱開放系統的架構，為客戶打造多元選擇，除了整合領先業界的GPU、CPU之外，還加入UALink（Ultra Accelerator Link）聯盟，強化CPU、GPU與交換器（Switch）間高速I/O資料交換標準；另外，AMD支援開放的超乙太網路（UEC）標準規格的網路卡，對於機架式機櫃解決方案則支援OCP聯盟的技術平台，這些一系列積極支持開放標準，加速生態系統的整合。
第三，AMD以ROCm的開放式軟體堆疊提供完整堆疊開發（Full Stack Development），同時開發應用程式前端和後端的程序，包括整合驅動程式、開發工具和API，可編寫從低階核心到終端用戶應用的設計，並同步擁抱開放軟體架構與開源軟體社群，尤其以支援開源夥伴Hugging Face合作提供的AI模型，納入在Windows與Linux上對PyTorch框架的支援，以及在速度上強調只要新硬體一上線就能用地同步支援的決心，提供直接支援相關模型移轉到AMD生態系統一系列的實際輔助，這些幫助都讓使用者有感，以更完整的框架支援、硬體相容性與開發工具，讓企業與開發團隊可以從實驗性開始打造長遠的AI應用。
AMD與工研院合作建立GPU高速運算平台 催生算力分享服務
黃偉喬進一步強調，為有效提供完整的AI應用開發軟體堆疊與技術支援，協助使用者專注AI應用開發工作，節省環境建置時間成本，AMD與工研院合作建置以GPU高速運算平台為主的AI算力池，提供工研院資料中心開放給台灣的開發者來申請使用之外，並開放讓產業界申請使用，免費分享算力給予國內產／學／研公開申請，助攻人工智慧應用研發，再者，AMD也提供自家GPU免費算力使用的申請與服務，透過以點數申請來提供使用者體驗AI算力運用的獎勵計畫與的方案。
AMD資深技術顧問鄭凱元隨後專章介紹支援開放生態系的ROCm軟體堆疊。透過先進的軟體工具，ROCm提升AMD Instinct GPU支持AI、ML和HPC工作負載，廣泛應用在AI模型、訓練與調校技術，由於ROCm所提供的多樣化的開源軟體，讓使用者選擇AMD旗下的不同硬體更具備充分的彈性，對精打細算的開發團隊而言，直接享受高CP值的效益是最為受用的好處，無論從語言模型、FRAMEWORK的優化，加速引擎，到Triton支援，AMD ROCm架構都顯現其重要價值。
目前AMD透過教學影片、官方部落格文件等教育與技術資源的分享與輸出，提供最新的使用者指南、容器映像檔（Docker Images）、訓練影片，網路研討會等資訊，快速滿足使用者的需求，而且目前每周都有大量文件更新，讓開發者掌握新技術的開發節奏。
再者，為了解決終端客戶在環境上安裝與使用上的挑戰，AMD特別製作許多相容的容器安裝影像檔，以及使用者操作指引等即時支援，降低使用與安裝的門檻。
另外，值得一提的，ROCm除了支援多個不同AI大型語言模型（LLM）之外，在推論工作負載中也提供高性能的躍升，對vLLM及SGLang等新興框架深度優化，以及對分散式推論技術的增強，顯示AMD正從單純硬體供應商快速轉型為軟硬體整合方案提供者。
ROCm支援擴展至Ryzen消費級電腦 滿足邊緣AI應用的核心需求
AMD對於大型語言模型的支援以AMD Instinct MI350系列GPU為核心，因為MI350產品線非常適合需要大記憶體容量的AI負載的運行優勢；另一方面，針對中、小型模型配置可用諸如AMD Radeon AI PRO R9700 GPU為主的工作站等級的系統，對於小型的語言模型支援，AMD著重於Ryzen AI 300系列的AI PC等級的電競筆電或消費級筆電系統，由於ROCm 對消費級晶片擴大支援，並聚焦於降低推論延遲與提升能源效率，甚至能實現接近即時響應速度，滿足邊緣AI應用核心需求。
AMD策略性地將ROCm支援擴展至Ryzen消費級筆記型電腦與工作站，並同時涵蓋Linux 與 Windows作業系統，當中做為AI PC用途也進行AI推論的積極支援，這對初階開發者用戶而言，可以體驗Ryzen AI平台運行AI模型的一般性應用場景，另外對於支援更大參數數量的AI模型，AMD推Ryzen AI MAX硬體平台來因應，展現省電的高CP值優勢，加上x86 Windows支援，為台灣使用者提供眾多使用優勢。
張歐佑豪是AMD的資深技術顧問，他專章介紹Ryzen AI MAX系列APU特殊定位與其卓越的硬體性能，Ryzen AI MAX支援最高16核心桌機等級CPU，40個運算單元的獨顯等級GPU並搭配可支援Copilot+ PC 的 50 TOPS NPU，為了發揮此晶片的強大運算能力，AMD特地配置了全新的記憶體介面，提供高達256 GB/s的記憶體頻寬，確保所有運算單元能發揮最大效能。
Ryzen AI MAX系列適用於輕量級工作站、行動筆電，桌上型的EDGE AI工作站，除了效能提升之外，記憶體容量也提升，再加上省電效能的卓著效益，這都是Ryzen AI MAX系列主要的優勢。其非常適合在辦公室或是在邊緣節點上運行大型語言模型的應用，因為筆電上仍需運行大型語言模型才能有真正的應用效益，而AMD的Ryzen AI MAX工作站可以充分滿足這個需求。
ROCm的開發環境的安裝、測試與建置操作簡易 容易上手
接下來由工研院技術顧問黃彥勳先生介紹ROCm的開發環境的安裝、測試與建置操作，教導使用者可以在從工作站到AI PC一系列系統安裝驅動程式的展示，由於企業在經費限制下與實際應用的不同的需求，常常需要面對使用本地端建置或是雲端AI部署的選擇，選擇買一台本地端AMD的AI伺服器或是使用雲端租借之前，黃彥勳建議使用者先做一個簡單POC專案，先試做或是測試兩者的適合性，再做決定，尤其是考慮資料安全與隱私的基本要求，如果是高隱私的資料需求時，那最好選本地端的伺服器了。
無論是從本地伺服器或雲端平台上安裝ROCm，基本上大致相同，手動安裝或是直接使用容器影像檔來安裝完整的開發環境，端視使用者的需求，一般使用者也可以直接到GitHub上去搜尋適當的ROCm用的Docker Images。
接著黃彥勳繼續介紹ROCm平台的AI應用，分別考量使用在本地端、雲端或是AI PC的多方使用情境，以不同的算力平台使用，憑藉著企業內設立的自動化應用目標所需而定，考量企業AI應用主要的目標聚焦用AI來提升效率，所以他也列舉常用的企業AI使用情境做為快速導覽。
常見的範例如自動光學瑕疵檢測系統（AOI）的範例，使用AMD的AI PC筆電往往可以一次支援生產線上多個AOI的應用。另外，他另外舉出實際使用諸如Claude進行自動程式撰寫的應用，但是使用LLM無法從頭到尾寫出完整生成整個專案的程式，所以他也提醒，最後還是需要仰賴人工介入來解決問題。
另一個常見的應用如AI Mentor的高層次的助理，透過RAG（Retrieval-Augmented Generation，檢索增強生成）指令或外掛，在特別的資料庫中來輔助生成所需要的答案，應用在如旅遊業的自動訂房服務，或是延伸到企業用戶的自動客戶服務的問答，這些都是專屬領域的問答式自動客服的廣泛應用。
但是他也不諱言表示，要做到一個大型的複雜應用時，需要使用多模態（Multi-Modal）的應用框架模式，意指在一台電腦中需要掛上好幾個LLM做為多工使用的場景，以同時處理和生成多種數據類型的複雜專案，例如做一個可以用語音控制的機器人，這通常會需要用到諸如Whisper模型先將語音轉文字的功能，再透過LLM去理解文字的意涵，接著驅動機器人的特定指令以執行任務，這些都是常見的一系列AI應用的範例，讓與會者可以按圖索驥，作為參考。
小算力輕量級平台運行AI應用 Ryzen AI平台的AI PC應用加分
黃彥勳特別專章介紹AI PC的建置，透過較小的算力輕量級平台運行AI應用，由於Ryzen AI平台的AI加速都是透過NPU來做的，傳統的Yolo或是ResNet模型都已經有完善的NPU支援，而一般的主流模型則需要經過轉換成ONNX格式才能支援NPU的加速，由於NPU是針對加速特定AI架構的功能來設計的，所以如果是新的模型有時是NPU無法辨識，就只能轉到GPU上去執行，甚至有時需要用程式改寫才能使用。
安裝的方式與ROCm不同，透過裝好Ryzen AI的環境後才能開始部署AI應用，AMD在GitHub或官網上準備許多轉換完成的AI模型可以讓使用者下載使用，由於Multi-Modal的應用框架模式在Ryzen AI電腦中掛上好幾個LLM做為多工使用的場景變得重要，讓LLM裝在本地端的硬體上運行、創建複雜度高的應用就成為黃彥勳的重點。
通常在ROCm上使用Ollama的開源軟體管理本地端LLM服務，但是他特別建議在AI PC上轉成使用Lemonade Server來提供OpenAI API支援GPU與NPU加速功能，Lemonade的安裝直接使用Windows 11的安裝包，提供使用者選擇下載享用的模型，Lemonade也提供內建瀏覽器模式來設定參數管理Lemonade Server與支援的模型。
另外在實際示範上，黃彥勳展示打造自動化行事曆與新聞摘要與搜尋的RSS READER系統，透過Gmail傳遞摘要的功能，都有相當的啟發性。AMD提供Instinct GPU、Radeon AI等級GPU，以及搭載於AI PC的Ryzen AI處理器，還有用Xilinx FPGA卡的加速模型應用，多個規格與層次的硬體提供使用者彈性與未來擴充上的優勢選擇。
最後由AMD的資深技術顧問陳信宏與工研院技術顧問聯袂登台做最後壓軸，針對AMD與工研院如何提供資源與服務來協助台灣企業與開發社團找尋多種輔助的方案，首先在AMD方面，除了參考AMD官方網站與部落格資料之外，如果要得到免費體驗AMD的AI強大運算的優勢，可以找尋由AMD與DigitalOcean合作的AMD Developer Cloud的服務，當中以申請者所取得一些點數來免費體驗AMD GPU高速使用情境，使用者需要上網申請使用帳號，目前有25小時免費的使用機制，當然也有付費的機制以支持大型與長期合作客戶的需求。
而工研院的協助使用者使用AMD架構AI應用，除了提供工研院資料中心給台灣企業與研究單位的申請使用之外，為了企業使用AI應用普及化與人才培育的需要，目前也提供課程教導Ryzen AI PC的使用，以及使用不同的AMD硬體來做AI模型加速的課程，歡迎各界報名參與。
現今生成式AI及大型語言模型的能力已不僅限於回答問題等基礎的應用，AMD期盼攜手台灣企業與開發者社群，探詢AI推論、決策和自主行動的能力與更多的可能性，並為AI應用普及化時代鋪設康莊大道。
