Edge AI產業來了嗎？

相較於目前大語言模型應用絕大部分在雲端伺服器上推論，Edge AI（邊緣AI）強調在裝置上獨立執行AI模型。這種架構差異在於：可大幅降低因網路傳輸造成的延遲，確保即時反應，即使在無網路離線下也能運作；資料不上傳雲端，確保資料私密與安全性。Edge AI有機會滿足許多新應用場域中對低延遲、高私密的關鍵要求。

這半年來，透過技術突破、產業需求，以及發展軌跡，我們看到Edge AI的產業輪廓，正逐漸形成。

模型演算法的高度競爭使得Edge端可用的AI模型愈來愈強大。近年來出現許多參數量在13B～70B級的精簡模型，透過知識蒸餾、量化壓縮、模型剪枝以及多專家混合（MoE）等技術，這些小模型在使用較少參數的同時還能大幅提升性能，縮小與大型模型的差距 。同時也配備了各種終端應用極度關鍵的推理（reasoning）能力，包括控制、決策、因果、規劃等。

SoC與記憶體規格配置同樣是促成Edge AI崛起的要素。

目前主流高階智慧型手機、NB的NPU（AI運算核心）已經接近100 TOPS，足夠讓這些終端模型每秒生成數十個token（語意單元），滿足應用場域（文字、語音對話）的生成品質要求。同時，透過低位元精度（如8或4位元）來表示模型權重，有助於大幅降低總位元數，使現有記憶體配置即可支援終端AI推論，釋放AI從雲端走向終端的巨大潛力。

另一方面，各大廠商也在其晶片產品藍圖中，明確規劃未來的算力提升，進一步強化Edge AI可行性與效能。

在初期應用情境中，智慧型手機成為Edge AI生態重要橋樑。手機不僅是首批受惠於AI能力提升的裝置，更自然作為雲端與各類在地智慧裝置之間的橋梁。透過手機，無線耳機、汽車、AR眼鏡等裝置都能與雲端和手機上的AI模型連動，實現多模態的Edge AI應用。例如，耳機可使用手機（AI模型）即時翻譯語音，車載系統可依靠手機輔助娛樂訊息，眼鏡則利用手機處理視覺、語音任務。智慧手機作為隨身超級終端，串聯各種周邊裝置，

歷史軌跡也告訴我們，當網路封包（packet）的成本逐步下降，通訊功能便普及至各類終端設備。10年後（2017 年），行動產業達到高峰，無論是應用生態系或硬體供應鏈都蓬勃發展。同樣地，隨著token成本不斷下降，AI 能力延伸至新型態終端設備，觸發全新應用場景，也是值得期待。

延伸報導專家講堂：鑑往知來：packet（網際網路）vs. token（大語言模型）

垂直產業中也聽到應用面需求。過去手機SoC供應商的技術團隊，首要工作是優化品牌手機中相機應用的智慧功能，但從2024年開始，優化手機中LLM執行效率，成了品牌客戶的關鍵需求。工業場域中，也對於推理功能加速決策效益，工業機器人的執行效率多所期待。過去幾年，NAS在中小企業中大量採用，年複合成長率超過 15%，顯示這類用戶對資料管理與在地運算的高度需求。如今，這些用戶也期待能在終端設備上，享受到大型語言模型所帶來的自動化與知識管理功能。

近來市場數據也顯示Edge AI正逐漸萌芽。

在最新的季報中，蘋果（Apple）新款M4晶片強調AI效能，推動2025年第1季Mac營收年增15.5%，更值得注意的是，新晶片也在2024下半年吸引新用戶進入蘋果體系。高通（Qualcomm）因手機與車用AI需求激增，手機業務創新高，汽車業務更年增55%，公司也宣稱「Edge AI是未來業務成長主要推力」。NVIDIA的Orin車用AI平台單季營收年增103%，並與聯發科合作布局一系列全新終端SoC。

晶片設計商與設備供應商正從Edge AI中實際獲利。也同時看到OpenAI 以約 65 億美元的全股票交易方式收購了由前蘋果首席設計長 Jony Ive 共同創立的 AI 硬體新創公司 io。這股趨勢Edge AI已從概念走向實質商業成長。

儘管前景看好，Edge AI推廣仍面臨多重挑戰。

首先是應用場域的擴展：用戶需求差異極大，不同行業與裝置對模型大小、功能要求各異，業者須在通用性與客製化間取得平衡，如何取得具泛化能力的精簡模型，解決場域問題，至關重要。

其次是功耗與效能的權衡：終端裝置受限於電池與散熱條件，高複雜推理恐導致過熱與續航縮短，對晶片設計與電源管理設下更高要求。

再者，生態系初期碎片化，硬體架構多、軟體缺乏統一標準，讓開發者必須針對各平台個別調適，增加成本與阻礙創新。這些挑戰若未克服，恐將削弱Edge AI的經濟性與可擴展性。不過，回顧行動產業的發展歷程，也為今日的Edge AI前瞻團隊提供寶貴借鏡。