Edge AI產業來了嗎?

徐宏民
2025-05-26

相較於目前大語言模型應用絕大部分在雲端伺服器上推論,Edge AI(邊緣AI)強調在裝置上獨立執行AI模型。這種架構差異在於:可大幅降低因網路傳輸造成的延遲,確保即時反應,即使在無網路離線下也能運作;資料不上傳雲端,確保資料私密與安全性。Edge AI有機會滿足許多新應用場域中對低延遲、高私密的關鍵要求。

這半年來,透過技術突破、產業需求,以及發展軌跡,我們看到Edge AI的產業輪廓,正逐漸形成。

模型演算法的高度競爭使得Edge端可用的AI模型愈來愈強大。近年來出現許多參數量在13B~70B級的精簡模型,透過知識蒸餾、量化壓縮、模型剪枝以及多專家混合(MoE)等技術,這些小模型在使用較少參數的同時還能大幅提升性能,縮小與大型模型的差距 。同時也配備了各種終端應用極度關鍵的推理(reasoning)能力,包括控制、決策、因果、規劃等。

SoC與記憶體規格配置同樣是促成Edge AI崛起的要素。

目前主流高階智慧型手機、NB的NPU(AI運算核心)已經接近100 TOPS,足夠讓這些終端模型每秒生成數十個token(語意單元),滿足應用場域(文字、語音對話)的生成品質要求。同時,透過低位元精度(如8或4位元)來表示模型權重,有助於大幅降低總位元數,使現有記憶體配置即可支援終端AI推論,釋放AI從雲端走向終端的巨大潛力。

另一方面,各大廠商也在其晶片產品藍圖中,明確規劃未來的算力提升,進一步強化Edge AI可行性與效能。

在初期應用情境中,智慧型手機成為Edge AI生態重要橋樑。手機不僅是首批受惠於AI能力提升的裝置,更自然作為雲端與各類在地智慧裝置之間的橋梁。透過手機,無線耳機、汽車、AR眼鏡等裝置都能與雲端和手機上的AI模型連動,實現多模態的Edge AI應用。例如,耳機可使用手機(AI模型)即時翻譯語音,車載系統可依靠手機輔助娛樂訊息,眼鏡則利用手機處理視覺、語音任務。智慧手機作為隨身超級終端,串聯各種周邊裝置,

歷史軌跡也告訴我們,當網路封包(packet)的成本逐步下降,通訊功能便普及至各類終端設備。10年後(2017 年),行動產業達到高峰,無論是應用生態系或硬體供應鏈都蓬勃發展。同樣地,隨著token成本不斷下降,AI 能力延伸至新型態終端設備,觸發全新應用場景,也是值得期待。

延伸報導專家講堂:鑑往知來:packet(網際網路)vs. token(大語言模型)

垂直產業中也聽到應用面需求。過去手機SoC供應商的技術團隊,首要工作是優化品牌手機中相機應用的智慧功能,但從2024年開始,優化手機中LLM執行效率,成了品牌客戶的關鍵需求。工業場域中,也對於推理功能加速決策效益,工業機器人的執行效率多所期待。過去幾年,NAS在中小企業中大量採用,年複合成長率超過 15%,顯示這類用戶對資料管理與在地運算的高度需求。如今,這些用戶也期待能在終端設備上,享受到大型語言模型所帶來的自動化與知識管理功能。

近來市場數據也顯示Edge AI正逐漸萌芽。

在最新的季報中,蘋果(Apple)新款M4晶片強調AI效能,推動2025年第1季Mac營收年增15.5%,更值得注意的是,新晶片也在2024下半年吸引新用戶進入蘋果體系。高通(Qualcomm)因手機與車用AI需求激增,手機業務創新高,汽車業務更年增55%,公司也宣稱「Edge AI是未來業務成長主要推力」。NVIDIA的Orin車用AI平台單季營收年增103%,並與聯發科合作布局一系列全新終端SoC。

晶片設計商與設備供應商正從Edge AI中實際獲利。也同時看到OpenAI 以約 65 億美元的全股票交易方式收購了由前蘋果首席設計長 Jony Ive 共同創立的 AI 硬體新創公司 io。這股趨勢Edge AI已從概念走向實質商業成長。

儘管前景看好,Edge AI推廣仍面臨多重挑戰。

首先是應用場域的擴展:用戶需求差異極大,不同行業與裝置對模型大小、功能要求各異,業者須在通用性與客製化間取得平衡,如何取得具泛化能力的精簡模型,解決場域問題,至關重要。

其次是功耗與效能的權衡:終端裝置受限於電池與散熱條件,高複雜推理恐導致過熱與續航縮短,對晶片設計與電源管理設下更高要求。

再者,生態系初期碎片化,硬體架構多、軟體缺乏統一標準,讓開發者必須針對各平台個別調適,增加成本與阻礙創新。這些挑戰若未克服,恐將削弱Edge AI的經濟性與可擴展性。不過,回顧行動產業的發展歷程,也為今日的Edge AI前瞻團隊提供寶貴借鏡。

現任國立台灣大學資訊工程學系教授,曾任富智捷(MobileDrive)技術長暨副總經理,推動ADAS及智慧座艙系統產品進入全球車用市場。紐約哥倫比亞大學電機博士,專精於機器學習、電腦視覺、自駕車、機器人等領域。為訊連科技研發團隊創始成員,慧景科技(thingnario)共同創辦人,NVIDIA AI Lab計畫主持人;曾任IBM華生研究中心客座研究員、美國微軟研究院客座研究員。習慣從學術及產業界的角度檢驗技術發展的機會,擔任多家科技公司AI策略顧問。
智慧應用 影音