過去一年的AI的進展看是稍緩了下來,彷彿印證了幾年前的讖言:靠計算力及能耗支撐的蠻力運算終究難以為繼。
軟體難行,計算之車兩輪行走的另一隻輪子硬體就自動補上來了。2019 IEDM中39個章節中神經形態晶片居然獨佔了兩個章節—元件和架構。以專用晶片解決軟體在通用晶片上的低效率問題、並試圖向自然演化借智慧,這是此階段AI發展的另闢蹊徑,但是在半導體界卻已蔚為主流。
人工神經網路(ANN;Artificial Neural Network)是已發展近80年的老領域,但是隨著對於腦訊息編碼瞭解的進展近年來又高潮迭起。
第一代的ANN就只包括神經元(neuron)和連結神經元的突觸(synapse),而且神經元在接收的訊號總和超過某一閾值之後發出數位訊號「1」,只是個二進位系統,但單只是這樣簡單的仿生系統已可以執行一些功能。
第二代的ANN則利用連續激發函數(continuous activation function)來決定神經元對輸入訊號的反應,以此類函數來操作的神經元,輸入、輸出都是類比的。值得一提的是它的訊息編碼是頻率編碼(rate coding),它當然是第一代ANN的改良版,但是已經具有突觸可塑性(synaptic plasticity),就是神經元之間突觸的連結強度可以因其經歷的輸入、輸出而改變,這就是學習。
但是腦神經傳遞訊息的方式不只是用頻率編碼,另外還有時間編碼(temporal coding),即訊息以神經脈衝尖峰(spiking)的時空(spatial-temporal)資料來傳遞,這是第三代的ANN:SNN (Spiking Neural Network),而突觸的學習則靠尖峰時間依賴可塑性(STDP;Spike-Time Dependent Plasticity)來達成。
腦中訊息用時間編碼或頻率編碼的問題現在在腦神經科學間尚有爭議,但是半導體工程界迫不及待先用了!Intel去年在DARPA會議上發表的神經形態晶片LOIHI即是以SNN運作的神經形態晶片。IEDM的盛況只是反應更多的努力蜂湧而至,更逼真的仿生晶片這一條路大概還會再走好一陣子。
至於用來仿生的元件—主要是模仿突觸行為—以新興記憶體為主,過去常用的有ReRAM和PCRAM,這次還有憶阻器(memristor),但是現在最熱門的是鐵電材料的元件,包括鐵電穿隧結(FTJ;Ferroelectric Tunnel Junction)以及FeRAM。看來鐵電材料優異的特性已經讓人的注意力從記憶體扇出到其他領域了。
由於人的記憶與思考都在腦細胞中發生,以新興記憶體來學習(包含記體)以及處理人工智慧問題也觸動了另一半導體遠程目標領域—記憶體中計算(CIM;Computing In Memory)。神經形態晶片的研究,與CIM現在也有合流之勢。鐵電材料現在之所以特別受青睞的原因是因為它的所有特性—包括寫入時間、寫入次數、記憶時間、密度等都符合神經形態晶片和CIM的要求。
現在對於神經元、突觸、訊號尖峰的仿真其實只侷限在微觀層面,往宏觀的架構看,還有樹突(dendrite)、軸突(axon)等大小尺度的結構,這些跨尺度結構也許有助於進一步提高神經形態晶片的效率。而且現在對於腦中活動監測解像率已近乎單一細胞,接下來預期有源源不絕的大腦運作知識可以被探索。如果以半導體元件仿生方向是正確的話,這條路正才剛開始!
現為DIGITIMES顧問,1988年獲物理學博士學位,任教於中央大學,後轉往科技產業發展。曾任茂德科技董事及副總、普天茂德科技總經理、康帝科技總經理等職位。曾於 Taiwan Semicon 任諮詢委員,主持黃光論壇。2001~2002 獲選為台灣半導體產業協會監事、監事長。