推進空間感知技術(一)

這陣子關心車輛安全技術以及新能源車產業的朋友，目光焦點都在某輛開啟Autopilot(自動輔助駕駛)在高速公路發生意外的車子。大致狀況是在高速公路光線良好的情形下，前方內車道一輛白色貨櫃車傾覆，其他駕駛人減速繞道而行，而這部在Autopilot模式的車子卻直接駛入貨櫃車廂。大家好奇，這顯而易見的障礙，應該是目前快速發展的深度學習技術或是各種感測元件可以偵測得到，而車子應可以自動繞道或是停止，為什麼失誤？或是從這個意外我們可以學習到什麼？

目前還沒有原廠的說明，許多相關產業的技術人員都在推敲可能的原因。一般「猜測」原因可能出在電腦視覺物件偵測以及感測器融合(sensor fusion)的地方。

智慧車輛的系統架構主要分為3個部分：perception(感測層)、decision(決策層)、control(控制層)。車輛行進當中利用多個感測器偵測現場的狀況(包括位置、前方物件狀態、道路線標、可行進空間等)，接著決定路線、是否得改進目前的行進狀態，最終交付給控制系統驅動車輛。

此事件中的車輛在感測上主要使用三目相機(各個相機的FOV跟偵測距離不同)以及雷達。傾覆的白色貨車，白色巨大箱體橫倒路面，可能無法使用影像物件偵測準確的辨識出為車輛，因為視角所見猜測與訓練資料不同，非傳統路上的車輛。

另一個感測器為(長距離)雷達，是目前車輛感知上時常使用的感測器。雷達訊號過去二十幾年在車輛安全中已被大量使用，相較於於LiDAR，成本較低，還可以偵測物件移動速度，抵抗各種天候(低亮度、下雨、霧等)，剛好彌補相機在可視範圍的缺點。目前大部分的車用雷達技術是使用傳統CFAR(Constant False Alarm Rate)技術將雷達訊號轉換為類似點雲(point cloud)的形式，用來標示可能的物件區域。

但可能源於軟硬體技術的限制，目前市面上常見的雷達系統，在物體高度上解析度都不高。一般只能標定出平面位置，有點類似LiDAR的birds-eye view (鳥瞰圖)，沒有高度資訊。照理講雷達應該可以標示出前方橫倒路面的貨車，我們猜測可能因為(目前)雷達的高度解析度不佳，如果將每個前方的物件都認定為障礙物的話，會產生許多誤判的狀況，比如說高速公路的伸縮縫、ETC感應門架、鐵天橋、道路護欄等，無法使用高度來區分這些靜止物件。所以我們「猜測」，在與相機感知融合(sensor fusion)時，雷達訊號可能忽略靜止的物件，只留意移動的物件。

空間感知技術不只正在顛覆汽車產業：包括ADAS主動安全、L2 輔助駕駛、或是大家期待的L4全自駕。空間感知(特別針對3D立體感測)技術也與AR/VR、醫療、安全、機械製造、機器人(手臂)等息息相關。從這案例中，我們該如何提升軟硬體技術？

在視覺物件偵查上，加強訓練資料的可能視角，是最直覺的嘗試。為了資料收集方便，許多開發使用電腦動畫模擬環境，生成可能的畫面來訓練。但是訓練好的模型在實際場域中會額外延伸出跨領域(cross-domain)的問題，因為模擬以及實際場域的差異，目前已有幾種不一樣的策略來彌補跨領域的差距。

使用點雲(point cloud)來增進3D立體視覺辨識是另一個視覺辨識改進方向。因為點雲含有豐富的空間資訊，而且近年來各種點雲運算架構也逐漸釋放3D點雲的力量。目前學界也發表了幾個可以逼近LiDAR的立體相機演算法，加上與彩色相機、雷達等訊號的各種融合技術、以及利用大量未標註資料進行「自我監督學習」(self-supervised)，3D立體視覺辨識應該還有相當精進的空間。

提升長距離雷達在高度的解析度是另一改進的重點，可以透過設計新的天線擺置，或是直接由雷達偵測原始資料，如四維張量(tensor，包括二維平面、時間、都卜勒等)中，使用深度學習技術做更細微的判斷。雷達軟硬體技術深耕，應可以持續提升空間感測解析度。

跨感測器間的融合(fusion)技術是最值得研究的，因為各種感測器都有其先天優略。不管是在原始訊號上所做的前端融合技術(early fusion)，或是偵查後期的後段融合(late fusion)等，如何在參數龐大的深度學習網路中釋放這些訊號的豐富訊息，值得持續關注。而且邊緣計算平台、感測器必須兼顧性價比，又是更大的挑戰。不過，這些技術挑戰，也正是空間感知技術典範轉移的過程中，最迷人的地方了！我們當然也不缺席這個大好機會。