CXL記憶體經濟效益夯 SMART Modular引領AI世代運算效能大躍升
大量人工智慧(AI)應用席捲全球科技浪潮,大幅推升雲端資料中心的資本支出。美國科技巨擘斥資數百億美元建造資料中心的手筆令人咋舌,但與產業界對AI伺服器的投資力道相比,卻呈現出截然不同的步調。業界期望透過務實的方式來提升效能與運算效率,而基於DRAM主記憶體擴充技術的解決方案能有效滿足運算需求,已為業界創造全新可能性。
CXL(Compute Express Link)記憶體互連技術為伺服器提供記憶體資源擴展能力,讓處理器可以改善利用率,降低待機時間,優化運算資源,打造更具競爭力的服務成本結構,也因此逐步受到市場的關注。
CXL技術已經從1.1、2.0升級到3.1的規格,透過「擴展記憶體」,以及「記憶體池(Memory Pooling)」、「分享記憶體(Memory Sharing)」技術,實現了從單機環境擴展DRAM記憶體,進階到仰賴跨伺服器互連的記憶體池,以及多個主機伺服器共享記憶體的訴求。
新世代CXL技術藉由創新的記憶體共享與動態配置技術,幫助服務商突破記憶體效能瓶頸。全球專業記憶體與儲存解決方案的領導廠商SMART Modular Technologies(世邁科技)看準這個重要商機,於2025年2月21日在台北舉辦技術研討會,藉由匯聚生態系夥伴的力量,加速CXL技術在AI/ML及HPC等高階應用的創新進程。
SMART Modular亞太區發展總監洪綱懋的開場致歡迎詞中,除了感謝與會的來賓與生態系統夥伴共襄盛舉之外,他更強調CXL技術瞄準電信業者、AI服務商及企業高效能運算(HPC)等應用,期望與生態系統夥伴及系統整合商攜手合作,為客戶提供效能更卓越的運算解決方案,同時致力於開拓新商機,確保CXL伺服器製造商能獲得實質商業成果,促進市場良性競爭以推出更具成本效益的產品,從而共同擴大CXL技術的市場規模與整體商業價值。
2025年英特爾新登場第六代Xeon處理器 支援CXL 2.0規格
英特爾商用業務總監鄭智成率先介紹英特爾處理器在CXL記憶體支援方面的最新進度。自第四代Xeon處理器起,英特爾便開始導入CXL技術支援,而2025年即將上市的第六代Xeon 6處理器將進一步支援CXL 2.0規格,提供基於PCIe的完整功能,包括CXL DRAM模組熱插拔與記憶體外部共享,並支援Switch互連交換技術,以強化系統互聯機制的完整性。
英特爾長期專注於優化處理器核心(Core)的DRAM資源分配效率,而CXL技術在這個挑戰發揮了關鍵作用。實際測試結果顯示,儘管CXL記憶體存在微小延遲,但其擴充記憶的效能仍可達DIMM主系統記憶體98%左右,從成本效益角度來看,這一表現相當出色。
因此,即使CXL記憶體擴充模組與DIMM記憶體效能存在些許差距,藉著顯著的容量擴充,依然能滿足大多數大記憶體實際應用需求。以ERP大廠SAP的HANA資料分析效能為例,採用CXL記憶體擴充後,企業可顯著降低資料中心的投資成本。
和碩聯合科技迎接CXL技術帶來的AI/ML與HPC應用嶄新商機
和碩聯合科技(以下簡稱 「和碩」)的廖聰魁研發總監接續上台,分享和碩如何積極導入CXL技術並開發創新伺服器解決方案。他提出「CXL為了AI/ML與HPC而生」的理念,指出CXL能有效解決伺服器物理設計的限制。
在DRAM DIMM插槽數量受限的情況下,若只靠增加DRAM主記憶體容量來滿足CPU每核心配置大於8GB記憶體的需求,將導致成本大幅提升而失去市場競爭力,而CXL正好可以提供理想的解決方案。
他更看好CXL 3.1規格帶來的新突破,尤其在企業重視的資料安全方面提供更完整的保護尤其在企業重視的資料安全方面提供更完整的保護與Rack level 擴充性。
此外,CXL在提升記憶體容量與運算效能上有顯著優勢,能滿足伺服器系統Scale up/ Scale Out的擴展需求。透過CXL Switch互連交換器的串接,系統能獲得前所未有的擴張彈性。和碩現場展示了一款搭載4-DIMM CXL記憶體擴充卡的2U伺服器。
廖聰魁特別強調,未來在CXL JBOM技術的加持下,CXL記憶體模組可以做到靈活兼容DDR4與DDR5記憶體,不僅優化了成本結構,重複使用欲汰換的DDR4記憶體; 更可藉由支持DDR5 的CXL JBOM解決方案,有效克服AI/HPC與高階伺服器應用中的記憶體頻寬瓶頸,顯著提升系統效能。
永擎電子瞄準CXL下一階段關鍵效能擴張的應用
永擎電子(ASRock Rack)余鎧帆產品經理介紹與SMART Modular合作開發的CXL記憶體技術機架式伺服器系統,成功實現記憶體共享與動態配置應用。永擎電子提供1U、2U 到4U的全系列產品組合,瞄準企業應用、虛擬化、電子商務及多元超融合基礎架構的工作負載,致力於為企業提供兼顧競爭力與成本效益的最佳產品方案。
隨著CXL 3.1強化資訊安全機制,余鎧帆認為CXL應用將為下一代運算架構帶來關鍵突破,尤其在金融服務商的高頻交易領域、新藥品開發、AI/HPC高速應用、科研分析與海量資料庫等應用,以解決數據在不同記憶體層級間頻繁移動,所造成的系統延遲與效能限制問題。
他特別強調CXL技術在有效卸載知識蒸餾(Key-Value Cache)快取功能方面的優勢,能顯著降低GPU投資成本。透過SMART Modular的4-DIMM或8-DIMM的CXL AIC(Add-In Card)擴充卡,系統容量可以擴充到4TB,不僅為伺服器提供額外記憶體資源,更能在擴充卡上實現本地數據處理,大幅降低CPU與記憶體間的大量數據傳輸,優化整體系統效能。
技鋼科技擁抱CXL技術布局全方位運算解決方案
技鋼科技(Giga Computing)本次以攤位展示形式亮相,展出G494-SB0伺服器,是專為 AI、深度學習及高效能運算設計的高效能 GPU 協同運算伺服器。技嘉伺服器採用CXL記憶體互連共享技術,可實現跨伺服器間的運算資源分享,不僅降低資料傳輸延遲,同時減少機房布建成本及佔用空間;也將跟隨CXL 3.0的發展與應用,規劃更多產品組合,以滿足客戶需求。
技鋼下一階段的規畫將瞄準CXL 3.0規格,優先發展AI應用領域,並規劃更多產品組合,以滿足各種領域的應用需求。
值得一提的是,技鋼科技與陽明交通大學電腦暨儲存系統實驗室(CSS Lab)首度進行專案合作,由陳碩漢教授指導的研究生廖永誠進行實驗研究,嘗試以微軟GPU/CPU Offloading技術去突破GPU效能瓶頸。
在AI運算過程中,大量資料需要進行搬移與預處理,若CXL記憶體能協助優化GPU效能,就能減少GPU的需求。初步的實驗測試結果發現,對比單純使用兩張GPU卡的運算方式,使用一張GPU卡搭配CXL記憶體擴充模組的組合幾乎能達到相同的效能,這個結果無疑能為CXL記憶體擴充前景注入一股強心劑。
智邦科技瞄準Memory Pooling與Sharing應用
智邦科技(Accton)研發部運算中心張勝棟經理談到CXL共享拓譜架構與應用。他以智邦與Liqid合作開發的產品為展示重點,其中Liqid提供的Fabric Manager軟體系統能有效管理GPU、NPU、TPU、FPGA等運算資源的分配。
Accton則整合CXL技術、Ethernet與PCIe Switch交換器,打造出實現運算與儲存資源最佳化分配的完整解決方案。當天Accton於現場展示十片SMART CXL AIC擴充卡,每一片AIC配備1TB記憶體,共計能提供高達10 TB容量的記憶體池(CXL Pooling),可顯著提升系統效能。
此外,Accton還開發1U的TOR(Top-of-Rack)交換器,以及4U Enclosure擴充機架伺服器,可連接外部伺服器擴展系統規模。針對外接線路可能導致的訊號衰減問題,Accton在每個Host端或4U Enclosure端的接點均配置Retimer卡,以確保信號傳輸的完整性與品質。
該專案主要瞄準CDN與大型電信商串流服務解決方案市場,目前正積極進行驗證Memory Pooling與Multi-Host Memory Sharing的驗證測試,預計將於2025年Q3-Q4實現量產。
創義達科技瞄準金融科技與HPC應用場景的創新
H3 Platform創義達科技潘淮陽(Brian Pan)執行長的簡報聚焦於運用軟體系統讓CPU存取CXL分配的記憶體,以解決高階HPC與In Memory Database應用中的記憶體容量瓶頸。他以實例展示了兩台英特爾EMR與GNR伺服器連接共用CXL記憶體池的配置,透過PCIe 5與CXL協定進行動態記憶體分配,能讓四台伺服器的效能獲得顯著提升。
創義達開發的API(H3 Fabric Manager)軟體介面可整合Kubernetes及容器,其主要應用場景涵蓋流體、大氣或洋流等需要處理大量資料運算的HPC應用,以及In Memory Database金融科技應用,並透過CXL技術讓4到8台伺服器可存取這個記憶體池。現場也展示相關伺服器系統,配備高達22個SMART E3.S規格的CXL記憶體模組,展現強大擴展能力。
CXL拓展終端應用的疆界 開啟源源不斷的商機
最後由SMART Modular產品經理黃奕璁壓軸,再次強調CXL記憶體在經濟效益與運算效率方面的核心價值。
在內容傳遞網路(CDN)、數位孿生、人工智慧大語言模型等應用領域,採用擴增記憶體可將大量待處理的資料預載到DRAM與CXL記憶體中,大幅降低SSD存取需求,同時提升GPU與CPU的運算效能,讓企業從有限的GPU與CPU資源中獲取最大化運算效益,從而減少新伺服器的採購數量與成本支出,為客戶創造實質的商業價值與技術優勢。
在記憶體模組產業擁有超過25年以上資歷的SMART Modular產品協理Arthur Sainio於會後接受訪問時表示,「CXL技術正處DIMM模組發展的轉捩點上,面對各種領域的應用需求,會有愈來愈多CXL模組產品應運而生。」為協助台灣生態系統夥伴順利開發CXL伺服器,SMART Modular已在台灣設立快速自動化檢測服務,專門查驗各種伺服器主機板與CXL記憶體的相容性問題,期盼協助廠商快速克服CXL產品開發過程中的技術挑戰,加速台灣CXL生態系統的蓬勃發展,攜手迎接CXL市場起飛的龐大商機。