DEEPX執行長Lokwon Kim:打造讓每個人都能使用的AI晶片
- 范菩盈/台北
AI在生活中的應用愈來愈廣泛,隨著生成式AI大語言模型的迭代出新,各種創新應用也更加蓬勃多元地在人們生活周遭出現,從各種智慧家電、無人載具、機器人到VR/AR應用等。這些搭載AI處理器的邊緣裝置可以直接就地運算並獲得結果,更加速Edge AI創新應用的推出。然而這些裝置在發展上卻也面臨不少挑戰,包括GPU能耗過大影響續航力,且高昂的成本也使得邊緣AI(Edge AI)產品的普及受到限制。
來自南韓的AI晶片新創公司DEEPX,以其獨特的AI晶片超間隙源技術在2024年1月的2024 CES展拿下3項創新奬:嵌入式技術、機器人、電腦硬體與元件。他們所研發的神經網路處理器(Neural Processing Units, NPU)不僅擁有低能耗以及具備經濟效益等優點,更解決市面上既有NPU精準度不足的問題。這項技術在2024 CES展期間受到許多半導體業者的認可,同時也計畫在2024年底上市推出。
師法Arm 帶領DEEPX成為業界領先的裝置AI晶片公司
「AI時代的主要戰場將轉移到『邊緣』,正如同Arm主導智慧型手機的CPU市場一樣,AI市場將由稱霸邊緣市場的半導體公司來主導,」DEEPX執行長Lokwon Kim說。
Lokwon Kim過去曾是蘋果電腦應用處理器(AP)設計的資深研究員,在Broadcom、Cisco和IBM T.J Watson等知名企業累積豐富的半導體設計經驗後,回到南韓創立DEEPX。他的目標是將DEEPX打造成業界領先的裝置端AI(On-device AI)晶片公司,就像Arm憑藉其低功耗技術革新了CPU市場一樣。
裝置端AI晶片是一個新興領域,它是在行動裝置內直接處理訊息而無需連接到伺服器或雲端。Arm以其高效、低功耗的處理器打破Intel在CPU市場的主導地位,這些處理器在智慧型手機中有極高的市佔,並正逐漸擴展到個人電腦和伺服器領域。Lokwon Kim期望DEEPX在AI半導體產業也能產生類似的影響力。
談到南韓半導體產業,Lokwon Kim指出南韓半導體生態系中尤其在系統半導體方面略有不足之處。台積電創辦人張忠謀在美國半導體大廠德州儀器學成後,回到台灣創立了業界領先的晶圓代工廠,受到張忠謀的啟發,Kim也看見了能滿足南韓市場所欠缺部分的商機。
張忠謀當時預測半導體市場將以需求為導向,因此創立了以晶圓代工製造為主的台積電。同樣地,Kim認為AI半導體市場走向開放,將開創更多創新成長的機會。
不走專用 而是讓每個人都能使用的AI晶片
Kim反對透過策略性投資壟斷AI半導體技術,這些策略性投資通常會導致兼併、收購或形成聯盟,最終使得技術由單一個體所控制。過去在蘋果的經歷促使他去倡導更民主、更可以被存取使用的AI半導體技術,Kim認為AI半導體應該是普遍可用的,而不是僅限於專有使用,他強調技術應該是每個人都能利用的。
為了實現此一願景,Kim在南韓的IC設計公司基地——京畿道的板橋(Pangyo)成立DEEPX。他的目標是創建一家具有獨特價值的AI晶片公司,希望推動創新而非排他性。
DEEPX的定位並不是與全球半導體大廠競爭,而是作為一種互補的力量,透過提供容易被存取使用的先進AI技術,來擴大全球半導體市場版圖。
有別於GPU DEEPX獨特的NPU處理器解決方案
之所以開發AI專用的半導體——NPU,主要是希望突破GPU的限制,過去GPU一直被用於AI運算,但GPU最初是為了處理圖形數據而設計,它擅長同時處理大量數據,因此很適合用於AI學習的任務。然而高能耗和高昂的營運成本是其重大缺點,這讓GPU在邊緣AI的使用上不甚理想,邊緣AI是指直接在控制器、機器人和自駕車等設備上執行AI應用程式。
NPU模仿人腦運作,具有低能耗和降低生產成本的優點。然而,現有的NPU卻有不夠準確以及無法支援最新AI演算法的問題。DEEPX在一片IC設計公司中獨創一格,因為他們透過一個全方位的解決方案來克服AI半導體的核心挑戰。
不同於其他NPU廠商每次僅發表單一晶片,DEEPX了解不同電子設備需要不同等級的半導體運算能力。例如,監視器的AI主要用於分析影像,而機器人的AI涉及更複雜的運算,為了滿足此一需求,DEEPX同時開發了從低階到高階性能的四款晶片:一款可以連接單個電子設備進行AI運算,另一款可以連接三到四個設備進行更廣泛的AI任務。能夠跨設備一體通用是DEEPX在2024 CES展上獲得創新獎的關鍵原因之一。
對高性能、低能耗和低成本的承諾也是DEEPX獲得創新獎的原因。以最新的AI演算法Yolo7來說,它可執行在DEEPX的DX-V1半導體上,這款晶片是透過三星的28奈米製程所生產,然而此一演算法先前並無法相容於其他廠商的NPU。此外,DX-M1晶片的設計面積僅為其他NPU的三分之一,其製造成本也相對降低三分之一。集結低單位成本與高性能的特色在一個低功耗NPU中,DEEPX的產品有望引領AI半導體市場。
NPU可分為用來處理大規模推論的資料中心型NPU,以及在機器人、智慧相機、智慧工廠和消費性電子等設備所使用的邊緣型NPU,而DEEPX同時瞄準這兩種市場。DEEPX的NPU提供高準確性和效率,克服現有NPU的常見缺點。
DEEPX的創新在於創造出既小巧又具有成本效益的NPU,同時在準確性方面可媲美甚至超越GPU。這歸功於DEEPX在兩項核心技術上的創新:IQ8(一種INT8 模型壓縮技術)和Smart Memory Access(最小化D-RAM使用)。透過在硬體和軟體優化方面的獨家進展,DEEPX實現世界最高的功率性能比,在低功耗AI解決方案市場中居於領先。
邁向量產
DEEPX已經透過樣品單元成功展示其原創技術,並且正處於量產晶片的最後階段,計劃於2024年底上市。到了2025年,採用DEEPX晶片的產品廣泛普及,將可望使DEEPX成為裝置端AI晶片市場的技術領先者。
裝置端AI晶片的關鍵在於低功耗以及硬體與軟體的無縫整合。由於AI必須在小型設備上運行,降低功耗至關重要,同時在有限的運算能力內最大化AI性能。
Kim過去在蘋果電腦的經驗,十分強調從一開始就同樣重視硬體和軟體設計。但與蘋果不同的是,蘋果開發自己的裝置和服務,DEEPX則是在產品開發過程中訪談大約700位客戶,了解他們的需求並找到最佳的開發點。這種以客戶為中心的方法對於完善DEEPX的產品來說不可或缺。
目前在這個新興的裝置端AI晶片市場中,有來自以色列和美國的四家公司,包括DEEPX在內,正在爭奪市場的主導地位。隨著裝置端市場開始超越伺服器市場蓬勃發展起來,這場競爭對未來局勢的確立至關重要。
Kim對DEEPX的戰略充滿信心。他指出,儘管一些競爭對手優先考慮快速推出產品上市,DEEPX則首先關注價格和優化。有鑑於AI應用服務的快速發展,Kim認為與其匆忙推出產品,不如與市場趨勢保持一致,並以具有競爭力的成本提供高性能的功能更為重要。
經營理念:重視技術勝過短期結果
DEEPX並不專注為自駕車或智慧型手機製造AI半導體,相反地DEEPX要推動將AI整合至日常生活中。DEEPX的產品設計在將AI導入如監視器和機器人等領域,推動這些應用拋棄過時的演算法,DEEPX的使命是引領AI半導體產業前進。
在DEEPX公司的門口有一張給員工的便條,強調技術價值高於金錢收益。它引用卡爾·薩根的《預約新宇宙:為人類尋找新天地》一書,反映生命應該充滿價值,而不是追逐金錢和權力。便條上的訊息鼓勵70名員工熱愛自己的工作並找到意義,與公司創造有益於社會的技術的精神一致。
未來計畫:全球擴展與創新
具遠見卓識的Kim已經制定未來的戰略計畫:前進全球市場:從2024年下半年開始,DEEPX計劃以其第一代產品(由四款AI晶片組成)積極進入全球市場,這一舉措將開啟「AI無處不在」的時代。
技術創新:DEEPX目標要開發能夠實現功耗低於5W的超大規模AI服務的新技術。這一創新將使先進的AI技術更加普及和實用。
AI領導地位:DEEPX致力於成為全球領先的全方位AI晶片公司。透過專注於功率和成本效益,DEEPX提供核心技術將AI從科學領域轉移到日常應用。
將AI融入日常生活,DEEPX以有意義的方式推進技術。透過重視創新而非利潤,並追求全球領導地位,DEEPX有望在AI的未來中發揮關鍵作用。公司的共享技術和全球擴展的承諾凸顯其致力於使AI為人類所用且造福人類的決心。
加入DEEPX的早期參與客戶計劃(EECP),不要錯過他們設計的創新產品可用於提升您的AI能力。了解現有的100多家全球企業,包括現代起亞汽車機器人實驗室、POSCO DX、Supermicro和戴爾,如何利用他們的硬體和軟體來驅動其下一代AI產品。欲了解更多訊息請關注DEEPX的社交媒體或他們的官方網站。
- NXP攜手系夥伴打造Brighter Together願景 探索與AI共存未來生活商機
- COMPUTEX 2024圓滿落幕 躍升為全球AI科技核心
- 上榜NVIDIA台廠供應鏈 IPC點亮邊緣AI商機
- 台灣科技產業「軟硬兼施」 全球新創不遠千里覓合作
- COMPUTEX 2024星光閃耀
AI PC與伺服器成台積電高性能運算成長動能 - 安提發布基於NVIDIA的次世代邊緣AI系統 引領工業與醫療領域AI應用新篇章
- PowerWalker不斷電系統登陸COMPUTEX高效電力備援助攻企業AI應用
- 生成式AI發展所面臨的倫理挑戰與未來競爭格局
- 先進AI晶片發展趨勢
- 翱翔智慧電梯原地轉型升級 搭載AI成為智能電梯
- 十銓科技創新推出 TEAMGROUP Model T USB 3.2 Gen 1隨身碟
- Avier@Earth與COMPUTEX 2024 展出友善環境及高速充電的解決方案
- MetAI攜手產業夥伴於COMPUTEX展示創新生成式模型技術
- 研華攜手群聯電子 打造更便利的AI模型微調解決方案
- 慧榮科技推出全新SSD單晶片控制器,為下一代 AI 智慧型裝置和遊戲機提供絕佳選擇
- 安提國際於COMPUTEX 2024發表NVIDIA MGX邊緣AI伺服器
- 運算推進時代 GIGABYTE於COMPUTEX趨動科技未來
- DEEPX執行長Lokwon Kim:打造讓每個人都能使用的AI晶片
- 智微科技與開酷科技將於COMPUTEX 2024展示雷達智慧感測解決方案
- BIOSTAR 映泰將於COMPUTEX 2024帶來全新AI運算解決方案
- 勤誠COMPUTEX秀肌肉 重磅展示AI、雲端伺服器機殼新品
- 趨勢科技守護全球AI驅動私有資料中心
- 十銓科技推出三款T-FORCE SIREN CPU 一體式水冷散熱器
- MetAI於COMPUTEX展示四分鐘生成模擬智慧物流中心的突破性技術
- APMIC於2024 COMPUTEX展示最新AI技術 讓每個員工都成為AI專家
- COMPUTEX 2024科技星光雲集 六大產業爭艷
- 聚焦七大電源主軸解決方案 COMPUTEX 2024明緯展現減碳技術能量
- NVIDIA、英特爾、超微、高通AI平台全押 華碩PC、伺服器火力全開
- Nordic Semiconductor加速整合低功耗短、中、長距離無線技術創新
- 科技巨擘築起AI算力高牆 彭双浪:機會在垂直場域數位轉型
- NVIDIA在台千人研發中心座落何處?黃仁勳先問一條件
- 英特爾淡看對手叫陣AI PC Gelsinger:還在找比較基準點
- Arm CEO:2025年將有1,000億台Arm裝置 迎接AI時代來臨
- 生成式AI技術發展與應用趨勢
- 威鋒電子宣布推出 PortSense 以AI人工智慧功能強化USB Hub管理
- 新思科技利用台積電先進製程加速新世代的晶片創新
- 台灣鎧俠於2024台北國際電腦展展示先進儲存技術與生態圈應用
- 驚艷COMPUTEX 鴻翊國際以智慧飯店與零售創新展示AI時代新型態POS
- TSLG耐落扣件防鬆價值解決方案提供者
- Brickcom引領全球無線技術趨勢 InstantFind系統締造物聯網資料傳輸
- 泓格科技引領綠色永續製造,共創美好未來
- 佈局5G、AI、物聯網
廣和通以智能創新力助產業轉型 - Skymizer正式推出ET2矽智財方案 以軟硬體平台方案為LLM打造更多想像
- 宜鼎擴充邊緣AI智慧應用與儲存 揭示Architect Intelligence品牌主張
- 十銓科技以「遊戲進化,AI 革命」主題 強勢登入COMPUTEX 2024
- Bahwan CyberTek 押注台灣科技生態系統
- 智微科技攜手開酷科技 震撼登場COMPUTEX 2024 創新是科技進步的火苗
- 迎廣展現一站式服務價值,AI生態系共創無限可能
- 慧榮科技總經理苟嘉章:AI應用轉變 儲存新技術需求大增
- 安提邊緣AI助力各行各業 COMPUTEX 2024展現全系列產品實力
- 宜鼎將於COMPUTEX展出多款嵌入式相機模組及獨家MIPI over Type-C技術
- DEEPX 即將在COMPUTEX 2024展現頂尖的AI創新
- 2024台北國際電腦展 公信電子聚焦電動車與企業資安解決方案
- 串聯AI 引領未來 COMPUTEX 2024匯聚全球科技力
- COMPUTEX 明緯展示電源實力 助力產業落實減碳願景
- 元信電子COMPUTEX 2024 迎接高容量SSD時代來臨
- InnoVEX 2024 匯聚逾30國新創團隊齊聚 展現創新動能
- 高通擴大PC平台產品線 傳已獲美系大客戶力挺
- 6月台灣很AI!黃仁勳COMPUTEX 2024開講 移師台大體育館受矚目
- 生成式AI硬體大本營 1,500廠商聚集COMPUTEX 2024
- COMPUTEX 2024 Forum從應用布局及硬體創新 深入剖析生成式AI新賽局
- CXL技術發展邁大步 COMPUTEX 2024可望躍升重要議題
- 超微為AI PC劃重點 蘇姿丰中國行說了什麼?
- NVIDIA、鴻海兩大巨頭GTC相見歡 劉揚偉透露6月COMPUTEX有驚喜
- COMPUTEX 2024 全球科技巨擘共同演繹AI與未來科技
- COMPUTEX 2024大秀AI肌肉 匯聚全球1,500家廠商
- NVIDIA、超微、英特爾三巨頭 將首度齊聚COMPUTEX 2024
- 高通執行長Cristiano Amon將於COMPUTEX 2024發表主題演講
- 微軟搭英特爾、高通 AI PC首波主秀在COMPUTEX