從Google搜尋趨勢看三大AI技術浪潮

Google搜尋趨勢（Google Trend）是個好用的工具，有時我會透過搜尋熱度變化情況，觀察某個議題的發展。

這次我鍵入AI技術典範轉移的3個字詞「Expert System」、「Deep Learning」、「Generative AI」，看看會呈現出哪些結果？

若以Google Trend最早能提供查詢資料的時間2004年作為起始時間，「Expert System」的搜尋熱度一路往下，而「Deep Learning」則從2013年起搜尋熱度開始走揚，並於2014年與「Expert System」出現走勢交叉的情況。

Expert System是早期真正商用化的AI技術，屬於規則式學習（rule-based learning）。其組成包括知識庫、推論引擎和用戶介面等3部分，透過大量請教專家，採用if-then-else的結構將專家知識和經驗建成知識庫，推論引擎則根據知識庫中的規則和推論機制來推論和決策，用戶介面則是如同ChatGPT，可用問答方式來獲取專家系統推論的答案。

Expert System熱潮在80年代，因人類諸多內隱知識難以表達與形成規則，及規則式學習建立與維護資料庫的複雜度隨時間持續提高，專業領域專家系統（如醫療、土木等）逐漸式微，而一般企業管理用途的規則系統，逐漸被整合至如甲骨文（Oracle）與SAP等業者的企業應用軟體中。

2012年多倫多大學教授Geoffrey Hinton與其2位博士班學生Alex Krizhevsky、Ilya Sutskever發表〈ImageNet Classification with Deep Convolutional Networks〉此一論文，帶動Deep Learning興起。

機器視覺領域有個2010年由李菲菲發起的奧林匹克級學術競賽（ImageNet Large Scale Visual Recognition Challenge；ILSVRC），前2年優勝團隊都是採用傳統的機器視覺技術，Krizhevsky、Sutskever與Hinton的CNN神經網路模型AlexNet，在2012年競賽「top 5 test error rate」指標中，創下競賽以來的最佳成績15.4%，領先第二名的26.2%近11個百分點，從此Deep Learning躍為機器視覺領域主流。當2015年微軟（Microsoft）的ResNet以錯誤率3.6%勝過人類肉眼的5%錯誤率時，包括智慧交通、人臉辨識、瑕疵檢測等多元市場商機隨之起飛，也反應在從2013年迄今「Deep Learning」搜尋熱度上。

相較於「Deep Learning」為既有資料進行分類與分群等分辨工作（如人臉辨識），「Generative AI」則是學習輸入資料的模式和結構，其後根據訓練數據的分布，生成相似但全新的數據。

2014年的Ian Goodfellow提出的生成式對抗網路（Generative Adversarial Network；GAN），可說是帶動生成式AI發展的里程碑。接下來這幾年搜尋熱度微幅上揚，生成式AI主要是在專業族群中愈來愈受關注，直到2022年11月ChatGPT的橫空出世，引發媒體與社會大眾的關注與使用，搜尋熱度才急遽攀升。

若直接比較ChatGPT與Expert System及Deep Learning，更可看到由於ChatGPT的爆炸性搜尋熱度，相對而言，Expert System及Deep Learning的搜尋熱度已被攤平成貼近水平的直線。

Expert System之父Edward Feigenbaum在2007年接受美國電腦歷史博物館（The Computer History Museum）口述歷史訪談，在被問及「我們如何賦予電腦知識?」時，他回答「我想唯一的方法就是依循人類文明現有的方式。我們藉由文本這個文化結晶來傳遞知識。過去是手稿，接著是印刷文字，現在則是電子文本……我們需要想辦法讓電腦讀化學書來學化學，讀物理書來學物理，或者是生物學等其他學科……我們的人工智慧程式是手工製作並以知識建造的，除非我們有辦法設計出能夠閱讀、理解文本並從中學習的程式，否則我們將永遠無法突破。」（引用自陽明交大《數理人文》期刊第10期，〈人工智慧專家系統之父—專訪涂林獎得主費根堡之生涯回顧〉一文）

Feigenbaum那時並未料到，Google的BERT與Open AI的GPT等近年發展的LLM在訓練文本上的驚人數量級提升。以Open AI來說，從2018年GPT-1的5GB訓練數據量/1.1億個參數，提高到2020年GPT-3的45TB訓練數據量/1,750億個參數。之後Open AI便不再公布訓練資料量，但最新發布的GPT-4估計可能超過1兆個參數。帶來的突破性成果正在為全世界各個領域的人們所嘗試與運用中。

Deep Learning的2位關鍵開創者中，Ilya Sutskever是OpenAI的聯合創辦人及首席科學家，持續推進最前沿AI技術的發展，但近日Geoffrey Hinton卻離開Google，且呼籲人工智慧給人類帶來的威脅可能比氣候變遷更急迫，而曾是Open AI共同創辦者的Elon Musk也大聲疾呼暫停開發和測試比GPT-4更強大的語言模型。

我不禁想問如今已87歲高齡的Feigenbaum，身為自然語言處理AI宗師的您，當強AI時代愈來愈近時，人類該如何踏出下一步呢？