從「雲」到「端」，混合式AI正在形成

生成式AI必然會從以往高度仰賴資料中心的雲服務，將部分具有隱私性、即時性的訊息留在「端」的設備上處理。因此，搭載CPU+NPU的AI PC與AI手機，被塑造成可執行機敏運算，進行有效推論的終端設備，這也是現階段我們看到終端設備的新商機。

生成式語言模型　走向更快、更小、更準的新世代

一開始生成式語言走的是大語言模型（LLM），2018年啟用的GPT 1創造了風潮之後，整個大語言模型的世界風起雲湧。

之後的BERT、GPT 2、T5、Meena與Megatron、GPT 3等不同世代的更迭，激增的運算參數總量，背後是Open AI與微軟（Microsoft）、Google之間的角力，而這是屬於「雲」層次的大語言模型之爭。

2021年之後，為了解決使用者的疑慮，更多公司推出針對專屬應用的語言模型，誘使更多用戶在分眾領域與終端設備中啟用人工智慧的應用，這是邊緣AI的源頭，未來也還可能往電動車、工控應用推進。正在擴張中的人工智慧大商機，也從最上游的晶圓製造廠，湧進最下游的終端設備、工控業。

從短期商機來看，為解決GPU建構成本與耗能過高的問題，AI PC業者推出內建NPU的CPU平台，這種適合離線運算的大語言模型，總運算參數多數在100億~300億之間，這樣的解決方案目前主要是由微軟的Copolite主導，硬體製造廠、供應商扮演助攻的角色。

在AI手機方面，已經有不少手機內建NPU，LLM的語言模型，參數量在10億~100億之間，目前手機應用處理器（AP）的供應商積極提高運算效能，但也必須克服記憶體頻寬的問題。

面對這個快速成長的商機，微軟Azure平台在2022年的11月推出免費版，讓ChatGPT在兩個月內累積了超過1億的用戶。之後在2023年的2月推出GPT-4 Plus，並以ChatGPT技術導入New Bing、Edge的應用，2023年9月推出M 365 Copolite，也預期新版的Windows會內建Copolite的功能。

至於以AI PC為目標的兩大CPU陣營，以英特爾、AMD主導的X86陣營，以及Arm陣營的高通（Qualcomm）、蘋果（Apple）都在搶先布局，而用戶端的則是惠普（HP）、戴爾（Dell）、宏碁、華碩等各種品牌業者。

x86陣營的英特爾（Intel）使用自家Intel 4製程的Core Ultra處理器，而超微（AMD）則是倚賴台積電4奈米技術的Ryzen 8040，操作系統都是Windows OS。

在Arm陣營方面，高通Snapdragon X Elite平台使用台積電4奈米製程，預計2024年下半推出。而蘋果的M4則使用台積電第二代3奈米製程（N3E），這是蘋果生態圈的專用處理器。

據DIGITIMES估計，全球NB市場規模將從2023年的1.66億台，增加到2024年的1.73億台，其中AI NB的比重將達26%，也就是有4,500萬台的NB裝載新的處理器，並擁有推論的能力。

在手機方面，預期2024年11.66億支的手機市場中，有1.47億支是具有推論功能的AI手機，比重是12.6%。

短短一、兩年之內，具AI功能的終端設備異軍突起，上下游業者都希望分一杯羹，甚至往更遠的電動車、工業應用發展，將成為下一波人工智慧與雲端服務的關鍵進展，而混合型的人工智慧服務也將帶來更多元的面向與商機。