AI伺服器架構進化 支撐地端算力穩定落地

DIGITIMES董事長黃欽勇。DIGITIMES攝

AI Agent與地端推論加速進入企業核心流程，高科技製造對即時運算、資料安全與穩定維運的需求同步升高；千瓦級晶片與高密度機櫃，也使供電、液冷、網路傳輸及安全驗證成為AI基礎設施落地必須面對的課題。為協助台灣業者掌握地端算力的建置與維運方向，DIGITIMES舉辦「2026 AI伺服器論壇」，邀請產學研專家解析企業AI、主權AI、資料治理、機櫃整合、電力散熱與測試驗證等議題。

推論經濟驅動算力投資  企業AI加速落地

AI算力競賽正改變科技業的資本配置與獲利結構，記憶體也成為投資重心。DIGITIMES董事長黃欽勇指出，全球兆美元科技巨頭總市值已達28.9兆美元，前15大科技公司資本支出佔獲利比重預估將超過100%，記憶體佔比也由14.4%升至37%以上。

台灣憑藉台積電與完整供應鏈，上市電子公司2025年營收達1.18兆美元，外資持股接近五成。黃欽勇認為，全球正進入以Token、AI Agent及自動化決策為基礎的「推論經濟」，企業與個人應調整企劃方法與決策架構，以因應AI帶來的工作模式變化。

企業AI部署已由單機伺服器擴大至機櫃與叢集層級，算力競爭也延伸至網路互連、軟體生態與系統整合。AMD業務總監Sean Chiu表示，大模型訓練算力需求過去每年約成長4倍，近兩年推論需求更大增100倍，顯示AI正加速進入企業應用。專用模型增加也帶動FP4、FP8等低精度運算，可降低記憶體佔用與功耗；部分企業應用採用CPU即可兼顧效能與成本，GPU則負責高密度運算。

AMD目前以EPYC CPU、Instinct GPU、Pensando DPU及Helios機櫃方案建構完整架構，並推動Ultra Ethernet與UALink，提高叢集及跨機櫃的資料傳輸效率。透過併購ZT Systems，AMD也補足機櫃設計、組裝與系統整合能力，縮短客戶產品上市時間。軟體方面，ROCm支援PyTorch、Hugging Face等主流框架，Enterprise AI Suite則涵蓋模型微調、資源管理及資安防護。Chiu指出，台灣具備完整的ICT與ODM生態系，仍是國際大廠擴建AI基礎設施的重要夥伴，ODM業者也持續擴大全球製造布局，以支援AI Agent、機器人與工業自動化應用。

生成式AI進入企業流程後，算力投資的評估標準正轉向Token產出效率，企業更在意每秒、每瓦與每美元能生成多少Token。華碩伺服器事業群資深經理Joseph Lu指出，AI Agent可提升程式開發、專案管理與除錯效率，也可能推高硬體與雲端API支出，因此企業須妥善調度地端私有模型與雲端大型模型。

華碩採取混合式架構，依工作負載配置雲地資源，同時確保資料不離開場域、不留存在雲端。其AI Factory涵蓋運算、網路、儲存及基礎設施，整合邊緣裝置、推論與訓練伺服器、GPU互連、KV Cache、冷熱資料分層、高功率配電、CDU水冷及環境監控。

華碩也以自有軟體平台動態分配GPU資源、監控Token產出效率並管理資安，降低設備閒置。針對缺乏專業人力的區域型雲端服務商與中小型資料中心，華碩提供建置模擬、部署擴充及維運優化服務，事前評估水力、電力、功耗與空間條件；相關方案已應用於中東智慧城市監控、國防防空及無人機反制系統。

企業投入大量預算採購GPU與建置機房後，AI專案能否產生效益，往往取決於資料品質與治理能力。Everpure技術顧問劉瑞豐表示，全球數據僅約兩成是資料庫內的結構化資料，其餘多為PDF、CAD圖檔、Word文件及Log檔等非結構化資料，也是模型訓練與微調的重要素材。

企業資料經常分散於NAS、MES及雲端設備，形成資料孤島，其中還混雜大量重複、過期及低價值的ROT資料，佔用儲存與運算資源。AI儲存架構也須兼顧效能、擴充性與合規風險；傳統架構可能使GPU資料吞吐利用率僅約4成，業者可透過GPUDirect Storage、S3物件儲存與RDMA等技術提高存取效率，支援PB級部署。若未先辨識個資與商業機密，資料也可能在AI互動中外洩。

Everpure於2026年2月由Pure Storage更名，並藉由1touch.io技術強化資料探索、敏感資料分類及血緣分析。劉瑞豐強調，企業須具備發現、理解、分類及追蹤資料脈絡的「資料就緒度」，才能將算力投資轉化為可用的AI服務。

AI伺服器單櫃功耗突破百kW後，既有機房的配電、散熱與空間都面臨壓力，舊廠房升級還須控制停機風險。東元電機技術長饒達仁表示，傳統伺服器機櫃功耗約10至20kW，NVIDIA Blackwell NVL72已提高至120至180kW，新一代Vera Rubin機櫃更可能超過300kW，大型AI資料中心用電也將達數十MW甚至GW級。為降低多次電力轉換損耗，資料中心可採用800V直流供電架構，並透過使用碳化矽元件的固態變壓器，將轉換效率提高至98.5%。

東元提出模組化資料中心方案，將IT機櫃、電力系統與液冷設備整合為預製模組，在工廠完成測試後運抵現場組裝，可將建置期由約兩年縮短至3至6個月。維運方面，DCIM系統整合能源、IT設備及環境資料，再以AI調控液冷與電力分配，可將PUE控制在1.15至1.2。饒達仁建議，通用運算可使用雲端資源，敏感產線、工廠控制及專屬算力則部署於地端MDC，兼顧擴充效率與資料安全。

主權AI要形成可持續運作的服務體系，除了國家級算力，還須整合本土模型、開發工具與產業服務。國研院國網中心大語言模型平台服務組技術總監林昀德指出，國網中心在主權AI架構中扮演算力與應用之間的橋樑，整合NVIDIA、AMD、Intel及台灣ASIC、FPGA等異質硬體，串接中研院與TAIDE團隊開發的本土模型，再向公部門、學研機構及產業提供算力與模型API。

目前國網中心已部署H200、GB200、MI300及MI325X等運算資源，TWAREN骨幹網路也升級至4條400Gbps。其建置的TAIWAN AI RAP平台涵蓋RAG、Agent與Platform，提供低程式碼流程設計、多模型API、模型微調評估及AI Tribe產業聚落，支援TAIDE、Llama、Phi、YOLOv9與多模態模型。

平台也導入執行追蹤、動態權重調整及強化學習方法，兼顧專業任務與通用能力。國網中心將資源集中於概念驗證及小規模測試，正式商用後再銜接國內雲端與資服業者，協助政府、學研及企業發展專屬AI服務。

AI Agent帶來大量且難以預測的Token消耗，企業若長期依賴雲端API，成本與資料治理壓力都會增加。陽明交大人工智慧系統檢測中心教授陳添福建議，企業應累積自主知識資產，建立符合業務需求的領域專用小語言模型與工具，再依任務難度調度地端、國網中心及公有雲算力。

評估架構時除了Token單價，還須考量模型能力、工作負載、硬體利用率及總持有成本；對需求穩定且流量高的企業而言，採購一台8卡H100伺服器，約10個月可達到與租用雲端服務相當的損益平衡點。

由於Llama、Qwen及DeepSeek等開放模型與閉源模型的效能差距縮小，日常與敏感資料任務可交由地端小模型處理，高難度推論再轉至國網中心或公有雲。陽明交大開發的MyPDA企業級多Agent平台，可管理地端運算資源並支援類比電路設計等工作，同時記錄Agent的規劃、執行與修正過程，讓決策可追溯、稽核與除錯。

AI伺服器進入高密度封裝與液冷時代後，微米級瑕疵可能造成設備停機與高額損失，品質檢測已成為量產良率的重要環節。卡爾蔡司台灣工業量測資深應用服務經理朱紹宇指出，AI伺服器採用CoWoS、2.5D/3D封裝、高層數厚板PCB、冷卻板及高密度連接器，傳統人工與目視方式難以掌握內部缺陷。

蔡司運用光學顯微與X射線電腦斷層掃描進行無損檢測，可辨識Microbump、矽貫孔及底充膠內部的氣泡，並檢查冷卻板流道中的顆粒、堵塞與加工殘渣，以及快拆接頭、金屬焊道的孔隙與裂紋。針對厚板PCB與NVLink等高密度連接器，系統也能量測通孔、背鑽深度、板彎、Pin針位置及共面度。蔡司進一步結合AI影像辨識與3D數位雙生，自動判定虛焊、連焊、孔隙與裂紋，再將量測結果回饋至SMT、焊接及組裝製程，縮短新品導入期間的試錯與判讀時間。

高密度算力重塑基礎設施  系統整合成落地主軸

AI機櫃的功率密度與重量快速攀升，既有機房的供電、散熱及樓板結構已難以承接新一代設備。技鋼科技資深總監林鴻豪提到，單台8-GPU伺服器功耗已由H100的13.2kW提高至B200、B300的22kW，GB200整櫃功耗約120至140kW，後續Vera Rubin架構可能超過200kW；滿載液冷機櫃重量也可達1.5至2噸，進場動線與樓板補強都須納入規畫。

供電架構則朝800V高壓直流發展，以降低電流、線材尺寸、發熱及傳輸損耗。散熱方面，直接液冷可將冷板配置於GPU、CPU、記憶體及電壓調節模組，帶走九成以上熱量，並採常溫水迴路減少冰水主機耗電。針對漏水風險，技鋼以快拆接頭、管線感測、機櫃集水盤及微量漏水感測器建立多層監控，異常時可連動CDU切斷壓力。技鋼的服務已涵蓋單機、整機櫃、水電網路基礎設施及軟體調度，協助客戶事前完成水、電、散熱與承重評估。

AI資料中心加速擴建，高功率設備帶來的電擊、火災、弧閃與冷卻液外洩風險，也讓安全驗證須提前進入系統設計。UL Solutions消費醫療暨資訊科技事業部首席工程師江志翔表示，單顆GPU熱設計功耗突破1,000W，單櫃用電提高至100至200kW以上，供電、線纜、斷路器及散熱系統都須採取更嚴格的安全規範。高壓直流架構可減少電力轉換與線路熱損，但開關及斷路器仍須通過短路電流驗證與弧閃防護測試。

液冷系統方面，直接冷板須檢驗管路與快拆接頭的耐壓、老化及洩漏風險；浸沒式冷卻則須評估冷卻液的毒性、閃點、介電強度與材料相容性。預製模組化資料中心出廠前也應完成電氣安全、結構承重、防火及散熱運轉等系統級測試。江志翔強調，在設計初期導入以危害為基礎的安全工程，可預先辨識物理、熱能、電氣與化學風險，降低後續修改成本並提高長期運轉穩定性。

液冷管路進入AI機櫃後，IT設備與機電設施相互牽動，傳統IT與廠務分工也難以處理高密度機櫃的即時故障。鍵祥資訊工程智能基礎架構事業處副理黃莉雅指出，企業自建地端AI機房，除掌握敏感資料與降低延遲，也須自行承擔供電、冷卻及停機風險。

GB300、NVL72等機櫃集中120至200kW以上的電力與熱量，當AI負載短時間內由10%升至100%，CDU水泵流量、水溫及壓差都須即時調整；冰水系統還要同時支援CDU與採氣冷的交換器、儲存設備。

黃莉雅強調，試運轉驗證須模擬負載變化、水泵故障、通訊中斷及供電異常，確認備援接管及漏液、告警、關閥、斷電等跨系統連動。CDU應保留自主控制能力，BAS與DCIM則整合電力、冷卻及環控資訊。系統還須管控高影響操作權限，並同步各項設備的日誌時間，以便事故後還原事件順序及找出根因。

企業導入AI的重心正由個人問答與內容生成，轉向串接資料、系統及標準作業流程的AI Agent。智慧方案EgentHub營運長陳旻筠建議，可依TURBO法則優先選擇耗時、使用人數多、執行頻率高、適合人機協作且容易拆解的任務，在低風險場景累積效益。

EgentHub已將AI Agent應用於文件問答、圖面辨識、BOM生成、報價比對、出貨挑批及銷售分析；其中採購單與BOM處理原須2至3天，導入OCR與AI比對後可縮短至1小時，並將結果寫入ERP。

陳旻筠表示，企業級AI Agent須結合語言模型、工作流程、知識庫與既有系統。EgentHub採用不綁定單一模型的架構，提供向量檢索、Text-to-SQL及全文查找，並透過MCP串接辦公軟體、ERP與資料庫，再以三層權限、操作稽核及加密機制管理資料。企業還須完成流程梳理、資料清洗、提示設計、驗測與培訓，才能將AI工具轉化為可跨部門複製及持續維護的AI SOP。

AI模型規模與推論量同步增加，資料中心競爭已延伸至供電效率、液冷設計及整機櫃整合。DIGITIMES分析師邱欣蕙提到，NVIDIA機櫃功率預估將由2026年Vera Rubin的200kW，提高至2027年Rubin Ultra的600kW，2028年Feynman架構可能達到1MW，傳統氣冷與低壓供電已難以負荷。

液冷供應鏈因此快速擴張，涵蓋冷板、快接頭、分歧管、CDU、RDU及背門式熱交換器；NVIDIA採取多家供應、模組共規策略，同時維持核心冷板供應商相對精簡。台灣業者憑藉氣冷、機構件及製造能力，正擴大液冷零組件布局，競爭重點也轉向測試環境、量產精度與跨模組整合。

電力方面，1MW機櫃採48V供電時，電流將超過2萬安培；改用800V高壓直流後可降至1,250安培，減少線材、發熱及傳輸損耗。邱欣蕙表示，美系平台與雲端業者正建立液冷及電源生態系，台廠若能整合機櫃、供電、散熱與製造驗證，有機會由零組件供應商提升為系統方案夥伴。