實踐機房綠色轉型，從容佈建AI算力
- 闞大成／DIGITIMES企劃
-
時至今日，AI算力需求已經正式超越摩爾定律；意謂誰能擁有最強大的算力，誰就越有機會駕馭AI，進而躋身市場新贏家。然而大家皆知，AI伺服器對散熱需求之高、遠遠超乎一般運算；在此情況下，意欲掌握AI所需要的高效穩定運算資源，必須先讓自己的資訊機房克服高熱密度挑戰。
為了協助企業能安然順應AI應用狂潮，DIGITIMES遂將日前舉辦的2024企業機房論壇主題，設定為「資料中心的綠色奇『機』」。期望從資料中心的綠色能源轉型出發，進而針對AI時代的賦能革命、數位韌性、永續發展等關鍵議題進行深入研討。
2024企業機房論壇，在EPI資料中心亞洲區導師／顧問李裕後的演講揭開序幕，而他探討的主軸為TIA-942-C資料中心標準更新。李裕後首先介紹EPI，該公司於1987年在英國成立，使命就是保護客戶利益，至於如何保護？主要仰賴三個部分，包括資料中心的設施認證、資料中心的營運認證，乃至人員訓練與認證。多年來EPI獲得許多獎項，其中包含TIA Gold Leader。
在2024年5月，TIA-942-C新標準正式出爐。他認為有幾個較重要的改變影響，首先是將TIA-942後面幾個附錄（Annexes）從Informative變成Normative層級，真正躍升為稽核標準。像是附錄A，需要和其他工程師協議安排機櫃、空調、消防、照明…等設施在現場的位置。除此以外，包括附錄B、C、D、F等項目同樣需要遵循。
其次擁有重要影響性的部分，在於將Rating Table納為正式標準的一環，共計有4個Rated等級，其中顯著的變革為「Focus on Outcomes」，以往TIA有眾多規範、蘊含不少硬性要求，現在趨向鬆動，以「Outcomes」為依歸，端看你能否達到預期目標，不再硬性指定某種方法，賦予更多彈性。
另針對標準當中的一些用語，寫得更清楚，如Rated-3的「Concurrently Maintainable」，意指在維護設備時，不要干擾IT運作；上一版僅針對空調、電力等設施做規範，現在加上安全性考量。至於Rated-4的「Fault Tolerant」則更加清楚，意指一邊掛掉、另一邊自動起來，不能手動。
總結來說，TIA-942-C將原本一些硬性要求予以鬆綁，以利符合不同地方的條件。此外Micro Edge Data Center算是新增的一環，也讓TEAM（Telecom、Electrical、Architectural、Mechanical）4個範圍允許接受更多的新技術。關於Certification，業主可選擇停留於TIA-942-B，或立即升級到TIA-942-C。
資料中心啟動綠能轉型，逐年減少灰電用量
接著由中華電信高級工程師薛人豪開講，他引述OVUM報告指出，亞洲地區含台灣在內多數企業，偏好進駐網路中立性資料機房，目前中華電信推動的機房亦朝此目標前進。
另中華電信有鑑於香港、新加坡皆因海纜較多之故，得以在亞洲資料中心名列前茅，故近年積極投資海纜。除重視網路資源外，中華電信亦大力擁抱綠能，希望2030年IDC用電100%由再生能源支應、不再摻雜灰電。
為順應政府或企業用戶不同應用需求，中華電信供應多元冷卻方案，除最基本下吹式空調外，也開始提供風牆，將單櫃用電推升到8~20kW；甚至提供水冷背板、直接液冷、沉浸式等方案，支援更高的單櫃用電量。此外中華電信近期與Equinix啟動合作案，若客戶規劃在海外設點，可由中華電信提供一條龍服務，包括提供顧問、協助向當地Equinix下單。
透過3D可視化管理，延長機房設施Uptime
伊頓飛瑞伊頓產品行銷與應用協理江嘉倫表示，資料中心管理者經常面臨諸多挑戰，主要可歸納為7大重點，包括資產管理、容量管理、動力管理、環境監控…等。
因此多數管理者皆期望擁有單一融合平台，一次看到所有狀況。為此伊頓提出Brightlayer Data Center Suite數位整合平台，將其現在與未來所有設備軟體建構於此；且Brightlayer為開放架構，用戶可藉由編程、整合或套用預置模組，甚至隨時調整功能設置，實現各種管理目標。
更重要的，Brightlayer以數位分身（Digital Twin）技術為基底，以合宜的授權成本為前提，協助企業快速製作3D模型、實現數位虛擬機房，達到資料中心最高可視性，以利即時採取控制、追蹤、變更或優化等手段，延長機房設施的Uptime。
90%液冷＋10%氣冷，支持136kW單櫃熱密度
Vertiv Taiwan大客戶業務暨熱管理技術顧問王仁佑指出，Vertiv是一家專為資訊機房提供關鍵基礎設施的全球供應商，End Market部分以資料中心為最大宗。
隨著GenAI Server、HPC需求湧現，造成Hot Chips等重大影響，使目前承載超級運算伺服器的機櫃功率密度達到1.2kW，較過往200~300W大增逾5倍，驅使許多企業思索如何加速建置AI機房，期望選用適當的冷卻系統，實現PUE降低效果。
綜觀電力系統，從低壓配電盤、UPS、資訊機房Busway，直到終端機櫃裡的PDU，Vertiv皆有完整方案。至於Cooling，更是Vertiv最前身Liebert的起家強項，舉凡精密空調箱或液冷世代的CDU都可供應。現已能透過「90%液冷＋10%氣冷」配置模式，支援單櫃熱密度136kW，助客戶從容布局AI運算。
永續長青訂閱模式，避免產生過多電子廢料
Pure Storage技術經理楊建國強調，隨著法規實施，使淨零碳排不只是口號，已形成具體的遵循壓力；另上游業者開始要求下游廠商提供綠電承諾與保障，許多廠商為避免訂單流失，亦需設法提升減碳能力。
肇因於GPU Server啟用，可預見資料中心將成為吃電大怪獸。為解決此難題，Pure Storage做了幾件事情，首先從2012年至今不斷改進產品執行效率和節能管理機制，使每TB耗能大降逾200倍。
其次透過致力打造高密度DFM閃存、強化資料減量能力、營造永續長青的機體設計等3大方向，協助企業實踐節能減碳。譬如Pure Storage提出Evergreen訂閱模式，承諾每3年為客戶更換新控制器，以延長儲存設備使用年限，既減少電子廢料產生，也幫助客戶卸除資料遷移、停機安排等管理重擔。
雲間航行，務須強化跨雲資安管理
Palo Alto Networks雲端資安架構師張仁江指出，現在許多企業有跨雲需求，需要在雲間航行過程採取適當資安策略。
雖說公有雲業者可協助分擔一些風險與責任，但綜觀企業資安拼圖，其實很大一塊落在跨雲管理。以AWS、Azure、GCP、Oracle和Alibaba五大雲而論，彼此細部設定天差地遠；加上CLI、Web Console、IaC不同管理方式，在在徒增跨雲管理的複雜度，也提高跨雲資安管理難度。
所幸Palo Alto的Prisma Cloud，提供完善的跨雲自動化風險檢查與管理機制，內含逾1,500種開箱即用的設定檢查規則、逾75種法規架構及最佳實踐，輔以對自定義政策的高度可視性，足以協助客戶檢查雲端設定、釐清應用程式有無符合最佳安全設定，輕鬆實現良好的跨雲資安管理。
策略化、數位化、脫碳化，實現綠色資料中心
施耐德電機永續發展事業部經理劉彥均表示，其有感於氣候變遷、全球升溫趨勢下，企業亟需落實永續策略，因此提出三步驟方法，以協助資料中心進行永續轉型。
他強調資料中心是數位世界的基石，根據IDC研究報告，資料中心將在往後20年內增加兩倍容量；足見今後資訊機房的能源耗用狀況令人憂心，凸顯永續轉型必要性。
為因應市場壓力與趨勢，施耐德提出三步法，包括策略化、數位化、脫碳化。先依據自身能源耗用情況，設定淨零排放目標，包含繪製永續轉型減碳路徑圖；其次利用數位化方式，針對能源使用實施更精細化與透明化管理；再來導入再生能源，乃至在價值鏈上下游進行減碳，實現永續轉型的最後一哩路。
國網中心擘建超級電腦，支持HPC與AI發展
國家高速網路與計算中心組長王順泰指出，該中心現已擁有大量對外營運的超級電腦主機。2017年建置台灣杉一號，共630台節點、效能為1.7 PFLOPs。2018年建置台灣杉二號，共252台V100 GPU節點、效能為9 PFLOPs。2020年建設台灣杉三號，共900台節點、算力為2.7 PFLOPs。
去年底（2023）國網中心建置台灣杉四號、現更名創進一號，旨在取代今年下線的台灣杉一號；其內含40台Arm節點、552台x86節點，算力為3.5 PFLOPs。此外國網中心今年針對晶創計劃，建置新一代高速運算主機，整個採用GPU架構，以滿足大型生成式語言模型訓練需求，同時提供AI運算共用服務，預計算力可達16 PFLOPs，可望成為台灣最快的高速運算主機。
上述大型主機所在的機房基礎設施，涵蓋極早期偵煙系統，負責偵測主機或纜線因高溫所釋放的粒子氣體，及早通知管理者。機櫃排列分為封閉式冷通道、封閉式熱通道，各有各的好處，端看機房實際狀況來選擇。另外有環控系統，針對機房內溫度、濕度、冷卻、空調、電力等因子進行監控與管理。
而大型主機對電力的要求，與一般設備有4點不同。一是分類，其採取叢集架構，其間每台伺服器的工作不同，須根據功能特性做分群，再依其關鍵性配置不同供電系統。二是持續性，為主機登入、儲存、管理等關鍵節點群接上UPS，避免因斷電而停止服務。三是穩定性，針對電力運轉效率、供電品質及電網可靠度有更高要求。四是平衡，特別注意三相電流平衡，避免造成主機溫度上升、效率下降。
正確啟用GPU與CPU，加速驅動生成式AI發展
AWS SSO Compute Go-To-Market Specialist Miley Shih表示，現在AWS運算服務Instance Type達750種，若以供應商區分，除大家熟知的Intel、AMD和NVIDIA外，另有一項與節能減碳至為相關的CPU，即是AWS自研晶片Graviton。
論及生成式AI，大家都關注GPU，其實如果放大檢視整個生成式AI履歷，從前面的資料收集、資料分析處理，乃至後端完成推論後產生應用程式，可能透過API來Trigger模型，這幾段並不適用GPU平行運算架構，宜以CPU為依歸，否則會有大材小用之感，此即為Graviton派上用場的地方。
Graviton適用的場景甚多，例如在GenAI歷程中執行Hadoop、Spark等大數據分析服務；它相較於x86的優勢在於高性價比，若以執行相同Workload做比較，Graviton比起x86成本便宜20%、效能高出20%、排碳量減少60%。
規劃液冷管線，滿足新一代GPU設備散熱
林口長庚人工智能核心實驗室副主任林器弘，從User角度，分享醫療AI高速運算需求下的電腦機房規劃之道。
他指出隨著生成式AI爆紅，由下而上帶動基礎層、資料層、應用層各項需求同步攀升，也促使林口長庚決定興建新的AI機房。建造機房就像建造房子，務須滿足住戶需求，以往主要滿足CPU需求、或一般Web Service需求，如今AI資料中心以GPU設備為主，與一般需求截然不同；以機櫃功率密度來看，過往CPU機櫃多落在2~18 kW，反觀GPU機櫃可能動輒30、50、100甚至200kW，差異極大。
無論如何，最終需要做出一個能讓AI安穩進駐的機房，舉凡可靠度、技術創新性都值得考慮，像是配電、綠電，乃至水路、空調回收應用，甚或進一步關於資訊安全、實體安全，每個環節皆需審慎評估。
談到林口長庚的人工智能核心實驗室，2015年成立時僅使用約3坪小機房。2018年啟用的二代機房，是與資訊部門合作建構而成，其中配置大量GPU設備。因不敷使用，現已展開三代機房建置規劃，期望具有更好的AI訓練和推論效率，及更安全可靠的參觀動線與作業環境，且可通過Tier 3認證。另預估後續新的GPU設備需要採取液冷方式，故在新機房規劃中特別保留液冷管線，並預估第一期PUE約1.26，第二期可望進步到1.09。
切實做好測試驗收，確保PoE連線品質無虞
翰特科技Fluke網路認證講師蔡少塵，以「連網供電前，智慧機房PoE真的準備好了嗎」為題發表演說。他表示近3~5年PoE呈現爆炸性成長，係因CCTV、WiFi…等應用愈趨普及。回顧PoE從早期IEEE 802.3 af到現今802.3bt Type 4，不論PSE端送電／PD端受電的瓦數都大增，從一開始15W/12W到現在最高90W/71.3W。
此外從前實作PoE時不太注意網路線等級，Cat 5e、Cat 6A都堪用；但目前若想使用POE++，必須使用Cat 6A、且是4對線供電。至於PoE供電類型，建議採用End-Span（末端跨接法）。
PoE供電後往往會遇到挑戰，有的源自實體層纜線問題、或各線對間電阻不平衡…等。欲排除連線品質障礙，需藉助如Fluke提供的有效工具，逐一驗證電纜連通性、電纜連線品質、網路可用度、PoE實際供電狀態。
落實永續設計，避免製造更多電子垃圾
日立儲存（Hitachi Vantara）資深技術經理林祈禎指出，以現今大環境來看，因AI等主流應用飛速發展，導致資料中心所需處理的資料量爆增，連帶使能耗、碳排量持續攀升；且隨著設備效能與功能汰舊換新，也加速產製更多電子垃圾。
影響所及，ESG永續、循環經濟成為當今重大課題。為求身體力行實踐永續目標，日立儲存多年前便自許為氣候變遷創新者，積極參與聯合國氣候變遷大會並做為主要贊助商，更藉由永續設計方法，促進儲存系統延長使用壽命，並以最少元件完成產品升級換代，而非整台報廢。除了運用永續概念來發展每一代產品，日立儲存也致力爭取ESG相關認證，譬如取得ENERGY STAR Data Center Storage v2.0認證，亦透過CFP公正機構驗證其碳足硛揭露報告。
因應AI熱潮，及早關注機房節能永續
台灣建築調適協會理事長王獻堂，闡釋「AI（ESG）爆紅，資訊機房得更節能（永續）」，他強調不論節能或永續，都是企業C-Level關注重點。節能與永續之所以蔚為顯學，首先拜AI發展所賜，其次是配合PUE未來目標，他預估今後水冷、液冷必成主流，如此才能將PUE壓在1.3以下。
他接著說，站在顧問立場，每當遇到機房專案時，會先詢問業主使用需求為何，如需要建置幾櫃、每櫃多少用電量、PUE期望值為何…等。下一步他會綜整這些需求，與國際標準Mapping，而非降格於水電工角色、看到電就插，那會是一場災難，畢竟品質、安全都是不容妥協的要項。若用戶需求不明確、標準定義不清楚，後面規劃設計都會亂了套。
永續浪潮不容迴避，企業必須接受它，設計對應KPI。他認為與環境有關的議題，都適合使用卡路里模型，以利洞察規劃時會在哪裡卡關、最佳實施路徑為何，有了路徑後，再據此訂定里程碑，知道什麼時間該做哪些事情。
欲檢視資料中心是否符合低碳，王獻堂建議可研讀建築研究所公告，釐清機房建築外殼用料所產生的「蘊含碳」，及機房用電所產生「營運碳」。至於如何改善PUE也不難，假設IT用電量為100不變，需設法將空調用電佔比從過去4~5成砍半，其餘損耗部分至少降幾個%，才能將PUE減為1.3；倘若未來AI應用熱潮延燒，動輒可見逾40kW高密度機櫃，冷卻方案選項反而單純，不必再考量Crack或In Row，直接挑選水冷或液冷即可。
