智慧應用 影音
DForum0705
member

從「雲」到「端」,混合式AI正在形成

生成式AI必然會從以往高度仰賴資料中心的雲服務,將部分具有隱私性、即時性的訊息留在「端」的設備上處理。因此,搭載CPU+NPU的AI PC與AI手機,被塑造成可執行機敏運算,進行有效推論的終端設備,這也是現階段我們看到終端設備的新商機。

生成式語言模型 走向更快、更小、更準的新世代

一開始生成式語言走的是大語言模型(LLM),2018年啟用的GPT 1創造了風潮之後,整個大語言模型的世界風起雲湧。

之後的BERT、GPT 2、T5、Meena與Megatron、GPT 3等不同世代的更迭,激增的運算參數總量,背後是Open AI與微軟(Microsoft)、Google之間的角力,而這是屬於「雲」層次的大語言模型之爭。

2021年之後,為了解決使用者的疑慮,更多公司推出針對專屬應用的語言模型,誘使更多用戶在分眾領域與終端設備中啟用人工智慧的應用,這是邊緣AI的源頭,未來也還可能往電動車、工控應用推進。正在擴張中的人工智慧大商機,也從最上游的晶圓製造廠,湧進最下游的終端設備、工控業。

從短期商機來看,為解決GPU建構成本與耗能過高的問題,AI PC業者推出內建NPU的CPU平台,這種適合離線運算的大語言模型,總運算參數多數在100億~300億之間,這樣的解決方案目前主要是由微軟的Copolite主導,硬體製造廠、供應商扮演助攻的角色。

在AI手機方面,已經有不少手機內建NPU,LLM的語言模型,參數量在10億~100億之間,目前手機應用處理器(AP)的供應商積極提高運算效能,但也必須克服記憶體頻寬的問題。

面對這個快速成長的商機,微軟Azure平台在2022年的11月推出免費版,讓ChatGPT在兩個月內累積了超過1億的用戶。之後在2023年的2月推出GPT-4 Plus,並以ChatGPT技術導入New Bing、Edge的應用,2023年9月推出M 365 Copolite,也預期新版的Windows會內建Copolite的功能。

至於以AI PC為目標的兩大CPU陣營,以英特爾、AMD主導的X86陣營,以及Arm陣營的高通(Qualcomm)、蘋果(Apple)都在搶先布局,而用戶端的則是惠普(HP)、戴爾(Dell)、宏碁、華碩等各種品牌業者。

x86陣營的英特爾(Intel)使用自家Intel 4製程的Core Ultra處理器,而超微(AMD)則是倚賴台積電4奈米技術的Ryzen 8040,操作系統都是Windows OS。

在Arm陣營方面,高通Snapdragon X Elite平台使用台積電4奈米製程,預計2024年下半推出。而蘋果的M4則使用台積電第二代3奈米製程(N3E),這是蘋果生態圈的專用處理器。

據DIGITIMES估計,全球NB市場規模將從2023年的1.66億台,增加到2024年的1.73億台,其中AI NB的比重將達26%,也就是有4,500萬台的NB裝載新的處理器,並擁有推論的能力。

在手機方面,預期2024年11.66億支的手機市場中,有1.47億支是具有推論功能的AI手機,比重是12.6%。

短短一、兩年之內,具AI功能的終端設備異軍突起,上下游業者都希望分一杯羹,甚至往更遠的電動車、工業應用發展,將成為下一波人工智慧與雲端服務的關鍵進展,而混合型的人工智慧服務也將帶來更多元的面向與商機。

為擁有近40年資歷的產業分析師,一手創辦科技專業媒體《電子時報》(DIGITIMES),著有《矽島的危與機》、《東方之盾》、《斷鏈之後》、《科技島鏈》、《巧借東風》、《西進與長征》、《出擊》、《電腦王國ROC》、《打造數位台灣》、等多本著作。曾旅居韓國與美國,受邀至多家國際企業總部及大專院校講授產業趨勢,遍訪中國、歐美、亞太主要城市。