美國國防部也在用　「可解釋的智慧技術」是什麼？

現今諸多機器學習應用都呈現超越人類的效能，技術的突破在於我們可以訓練具龐大參數的機器學習模型；從傳統僅使用幾十個參數的方法(如SVM)提升到包含數千萬(或數十億)參數的深度學習網路，而且正逐步滲透各領域。

深度學習技術逐漸落地為產品，但在擔綱機器學習重要角色同時，也得面對質疑：這些龐大的演算法是個複雜的「黑盒子」，不曉得何時會成功、失敗，為什麼做這樣的決定？為什麼不是另一個？當我們逐漸仰賴智慧系統時，必須有全然的信賴感。

為提高智慧服務的信賴感，可解釋人工智慧(Explainable AI)或簡稱XAI，在近來成為重點研究。特別是在關鍵性的企業決策如金融、醫學、軍事、災害預防等應用中，除了預估最終結果之外，我們更需要合適的論理來解釋為什麼做出這樣的決定。比如透過MRI斷定具有風險，我們希望智慧系統更進一步解釋原因為何，並將相關影像標示圖說；或是在決定買賣某些股票時，還能將影響決策的原因條列解釋，如同領域專家一樣解釋。 

因其重要性，近來美國國防高等研究計劃署(DARPA)，也將XAI列為接下來科技發展的重點。其實這是相當挑戰的研究工作，因為「可解釋性」與「正確率」到目前為止是互斥的。解釋性高的演算法，像是傳統線型模型、決策樹等，由其中的參數或是決策過程，可以直接解釋出判斷的邏輯，但是整體的正確率卻偏低；相反地，深度學習算法的效能高，解釋性卻低。

目前的推薦系統(如購物、電影、音樂等)，除了算法推薦的品項之外，還加上了解釋；例如之前買了滑雪板，可能也會喜歡某件雪褲；或是看了電影A的朋友也看了電影B。因推薦系統大都使用品項/使用者相似度、或是共同出現的關聯性，較易推導出解釋性。

深度學習的XAI技術還待努力。一般有兩種做法：設計較透明的演算法(Transparent Design)或是外部解釋(Post-hoc Explanation)。前者是將深度學習網路搭配一些具解釋性的演算法，讓決策的過程中呈現不同層次的透明度。後者則是使用額外的演算法來解釋黑盒子是怎麼做決策的，目前還沒看到最佳的做法。

我們觀察，技術關鍵在於需要解釋的對象為何：專業經理人、使用者、還是工程師？呈現的內容深度不同。在目前深度學習技術落地還在摸索的階段，對智慧系統開發人員提供可解釋性，似乎是當下最有價值的，透過XAI我們可以更了解這些含有成千上萬個參數的深度模型是如何運作的。 

過去三年我們協助幾家軟硬體公司開發人臉辨識產品。深度模型設計過程中會遇見人臉辨識結果跟直覺無法吻合的案例，不曉得判斷的依據為何。為解決這樣的問題，我們花了一年多的時間開發了一個可以嵌合在各個人臉辨識模型的模組，發現可以成功解釋為何兩張人臉會辨識為同一人(或另一人)的原因。XAI模組可以加速人臉辨識網路的開發，我們相信類似的概念可以拓展到其他深度學習應用，加速技術落地。 

深度學習技術已逐步進入各種智慧應用。「黑盒子」是目前無法避免的，但絕不是攔阻智慧技術落地的理由。研究人員正利用各種XAI方法逐漸打開黑盒子，接下來進階到關鍵決策的可解釋性，應該是可以期待的。