國網助攻創鑫智慧生成式AI硬體在地化 以低功耗推論卡深化台灣自有算力生態

Viper推論卡已被列入國網AI RAP架構中的Tier-3推論加速層。創鑫智慧

生成式AI推升算力需求暴增，從雲端資料中心到企業內部伺服器，如何以更少能耗支撐大型語言模型（LLM）推論，成為硬體研發新戰場。成立於2019年的創鑫智慧，源自清華大學育成中心，以「用最少電力達到最佳效能」為使命，專注於低功耗AI晶片與推論加速卡的設計與整合。

透過與財團法人國家實驗研究院國家高速網路與計算中心（國研院國網中心）TAIWAN AI RAP高效能生成式AI應用開發平台合作，創鑫智慧打造出可支援生成式AI運算的Viper推論卡，為台灣企業開啟「自有硬體算力」的新篇章。

國網平台降低系統整合門檻  加速產品驗證週期

資深協理郭皇志表示在與國網中心合作前，創鑫智慧須自行架設測試伺服器、寄送硬體給客戶進行安裝與測試，不僅成本與軟體整合難度高，流程也十分冗長。自2024年起採用RAP平台雲地協同架構後，創鑫智慧得以直接在國網環境中部署Viper推論卡，讓客戶可於雲端即時試用產品效能，無須自行建置伺服器環境，從以往需兩至三天的送測與安裝，縮短為使用者只需登入平台即可即時體驗。

目前，Viper推論卡已被列入國網AI RAP架構中的Tier-3推論加速層，與NVIDIA、Intel、AMD等國際品牌並列，成為少數可支援大型語言模型推論的台灣自研晶片。透過國網API與雲端運算環境，創鑫智慧可快速與不同軟體開發商協作，將AI轉化為各部門的即戰力。

如協助人資部門建立24小時的人資知識庫，即時查詢教育訓練紀錄、薪資結構與假勤規範；在營運與財會部門則可打造SOP查詢中心，快速調閱採購紀錄、財會條例與倉儲庫存；於研發單位也可建立機密的研發知識庫，安全檢索過往的產品開發文檔與研發紀錄。創鑫智慧與合作夥伴高登智慧共同優化硬體架構，進一步利用多代理的方式提升Viper的價值。

規劃未來，創鑫智慧正著手進行第二代AI推論卡評估並將持續與國網中心合作，在其平台上進行大規模測試與應用部署。郭皇志表示，透過國網中心的開放平台，企業與公部門可在安全可信的環境中快速部署與測試生成式AI應用，促進產業創新與技術落地，展現台灣在地自主發展AI硬體的決心與實力。