CES 2024展前瞭望：各類AI百花齊放、落地應用關鍵一年

2024年1月4日，CES主辦單位美國消費者科技協會發布名為「What Not to Miss at CES 2024」的新聞稿，揭露CES 2024 四大科技主軸，列名首位的是人工智慧（AI），若檢視2023年年初同一時間的會前新聞稿，所列舉的科技主軸分別是「Automotive and Mobility」、「Digital Health」、「Sustainability」、「Web3 and Metaverse」、「Human Security for All」，AI根本未列入其內。

如此正好反應出由ChatGPT所點燃、突如其來的科技新浪潮，其勢頭是多麼的「兇猛」，該如何看待2024年的AI發展呢？

疊加在過去AI基礎上發展的生成式AI

回頭翻閱我過去的演講簡報檔案，2017年就在談「AI的下一步」，探討從雲端延伸到邊緣的趨勢，這是當時的熱門研討會主題，同樣的議題在2023年又成為顯學，預期也是2024年的發展熱點，這6～7年的時間發生什麼樣的改變？

若就終端裝置來看，在手機領域，高通（Qualcomm）在2015年發表的Snapdragon 820，晶片內部便配置Hexagon 680 DSP，能執行1,024位元的向量運算，可作為AI推論引擎之用；在PC領域，英特爾（Intel）於2017年11月發布的Gemini Lake處理器，搭載第一代GNA（Gaussian & Neural Accelerator），作為語音處理與噪音抑制等背景工作負載的低功耗AI加速器。

就邊緣運算來看，在生成式AI這波熱潮前，包括雲端、伺服器、網通、產業電腦等業者，都已提供邊緣運算解決方案，用以收集與處理應用場域端的數據，尤其這幾年5G的普及與2B通訊服務市場重要性的提升，更推波助瀾邊緣運算的發展。

在演算法與應用方面，傳統的機器學習如迴歸模型或SVM（Support Vector Machine）已普及多年，近10年主要基於卷積神經網路（Convolutional Neural Network；CNN）的特徵萃取／物件辨識技術興起，從人臉辨識、人員管理、瑕疵檢測、醫學影像判讀、到自動駕駛與交通監控等各類應用均已逐步普及。

在AI導入的效益上，根據McKinsey 2022年12月發布的AI Survey報告〈The state of AI in 2022—and a half decade in review〉，在其受訪企業中，導入AI的比重從2017年的20%，提高到2022年的50%；在效益上，2021年調查結果顯示，降低成本最明顯的領域來自供應鏈管理，有52%的受訪企業表示受惠，而促進業績成長的最明顯領域來自行銷／銷售領域及產品／服務開發領域，各有70%的受訪者表示有實質效益。

2024年的AI發展，並非建立全新的基礎建設與生態系，而是在此已具備雲端—邊緣—終端協同發展及各類落地應用的基礎上，再進一步推動以大型語言模型（LLM）為主軸之生成式AI的應用落地。

生成式AI發展新態勢

在AI發展上，有幾個從2023年延續至今方興未艾的趨勢。

從整體生態系來看，LLM軟體與服務堆疊（stack）可分為3層，底層是各大模型及其集散平台（如GitHub與HuggingFace）；其上一層是各類LLM開發工具，如prompt工程與管理工具；最上層是包括文章寫作助理、程式撰寫助理、內容與創意生成、搜尋助理等終端應用程式。

ChatGPT帶動基於LLM之生態系的蓬勃發展，接下來的發展應會類似iOS與Andorid生態系的發展般，Open AI/微軟（Microsoft）與Google會各有其生態系，而現以Meta LLaMA系列為主力的開源社群也會有其生態系，從2023年11月Open AI開發者大會推出GPT Store及客製化GPT「GPTs」，及2023年12月Meta、IBM與英特爾、超微（AMD）及Linux等公司與機構合組開源AI聯盟，已可窺見升溫的生態系競逐態勢。

從模型來看，可見快速走向多元分化的趨勢，這包括針對泛用需求或特定工作任務、針對雲端／邊緣／終端不同場景的模型、或針對不同垂直領域或語系進一步強化等態勢。接下來這些在基礎模型上百花齊放的衍生模型，甚至可能如AppStore般發展出Model Store的商業模式。

例子之一，是基於Meta 開源的LLaMA 2，已衍生出包括中研院、台智雲及多個中國大陸業者與機構進行中文優化的版本。例子二是華為雲2023年7月發布針對產業需求的盤古大模型三代，該系列模型包括「5+N+X」3層架構，最底的L0層包括自然語言、視覺、多模態、預測、科學計算等五個基礎大模型；中間的L1層包括政務、金融、製造、製藥、礦冶、鐵路、氣象等N個產業大模型；最上的L2層則是X個細化場景模型，例如輸送帶異物檢測、颱風路徑預測等。

另一趨勢是生成式AI已逐漸從大語言模型朝向多模態模型發展。過去的多模態大模型作法是以既有的語言模型或是經預訓練可提取語意特徵的圖像模型為基礎，再使用多模態訓練數據增加新的網路層訓練，建立多模態模型。例如GPT-4除文字外，也可接受圖像輸入便是採此作法。

Google在2023年12月所發布的Gemini，則是從一開始便使用多模態數據進行聯合訓練所建立的大模型，可無縫理解與推論各種模態的輸入內容並進行輸出，無論是文字、程式碼、聲音、圖像、或視訊內容。當大模型成為各家網路／雲端巨擘及眾多新創的主要戰場時，可預見接下來會有更多原生多模態模型問世。

科技硬體業最關心的則是模型小型化與AI on Device的趨勢。Meta 於2023年7月公布的LLaMA 2除了70B版本外，也包括已可搭載到終端裝置的13B與7B兩版本。

法國於2023年5月成立的獨角獸新創Mistral AI，在2023年9月發布開源的Mistral 7B，主打僅7.3B的參數模型，宣稱在所有基準測試結果優於Llama 2 13B，而Google的Gemini Nano版本則是先「蒸餾」大模型，然後進行4-bit 量化的微型模型，針對低記憶體容量與高記憶體容量終端裝置，區分為1.8B與3.25B兩個版本，且預告將首先搭載於Google的Pixel 8 Pro手機上。

AI on Device的理想是走向AI Everywhere / AI on Every Device，2024年可說是生成式AI落地到各類終端的首年，全球智慧型手機銷售的高峰在2017年，約達14.2億支，而PC銷售高峰在2011年，約有3.6億台規模。近年除因疫情紅利，在2020～2021年創下高成長銷售佳績外，其餘時間都處於市場成熟幾無成長的狀況，AI PC與AI手機成為寄望所在。

在物聯網裝置上，先前tinyML基金會定義tinyML規格，希望在MCU平台上，使用mW等級以下的超低功耗，在Always-on及電池供電的邊緣裝置執行邊緣運算。如今包括像是智慧音響、汽車智慧座艙，或是各類機器人等，也都因生成式AI帶來功能與應用的提升，有機會進一步刺激市場需求。

既有硬體產品外，也誕生一些基於生成式AI的新興硬體產品，如由美國新創業者Humane所推出的無螢幕穿戴式AI裝置AI Pin、另一家美國新創Rewind AI推出掛脖的Rewind Pendant裝置。在台灣，募資平台上也有Plaud Note智慧錄音卡的項目，運用ChatGPT，將錄音內容轉成逐字稿並整理重點。

總之，2024年將是生成式AI在過去的機器學習／深度學習發展基礎上，進一步加成與匯流的一年，也是各種硬體、軟體與服務大規模教育市場與測試市場水溫的一年，著重在建立早期採用者的族群與市場規模，是生態系演化、業者高速競合，期待、宣揚、亮點與失落交雜的精彩一年！