研揚與達運精密、喬泰科技合作完成生成式AI辨識智慧客服系統

研揚與達運精密、喬泰科技合作完成生成式AI辨識智慧客服系統。研揚科技

專業物聯網及人工智慧邊緣運算平臺研發製造大廠—研揚科技，近日和達運精密工業、喬泰科技合作完成研發製造生成式AI辨識系統。目前已經安裝在捷運、火車站、機場等多個公共場所。這是研揚產品首發應用在生成式AI的解決方案，是研揚AI解決方案的一個重要里程碑。

目前市面上並沒有很多落地生成式AI的產品，尤其是包含語音及影像辨識的生成式AI系統。同時，市面上現有的智慧客服系統，大部分語言的選擇都是手動設定，而後端只是使用呼叫雲端API（例如OpenAI），因此反應時間通常會因網路而延滯為（3秒為業界常態），使用者可以明顯感受到回答的延遲。此外，由於大語言模型生成內容無限制，回覆時間會更長。再者，一般智慧客服系統必須依賴網路的特性也意味網路安全威脅無可避免。對於使用這些系統的企業而言，不僅存在隱私暴露的風險，若網路斷線，系統也會停止運作。

然而，研揚與達運精密工業及喬泰科技合作開發的這款生成式AI辨識系統，改善了上述缺點。不僅能由AI自動辨識語言（包括手語），回覆反應時間也在1秒內，讓使用者可以即時獲得回應，充分展現生成式AI的優勢。同時，這款系統連接的是企業私有雲，資料安全得到了充分保障。再加上「檢索增強生成（Retrieval-Augmented Generation；RAG）」的大語言模型，讓系統反應更快速。此外，全面VPN可以保護隱私，系統也可以離線工作，不需依賴網路。

這次開發所使用的產品是由研揚為達運精密工業完全客製化設計的。這款產品搭載第13代英特爾Core i9處理器，並配備水冷式顯卡和空冷式CPU散熱方案，以確保高效運算處理器的散熱效果。此外，它可配置四個2.5吋HDD槽和兩個超高速乙太網路連接埠，一個USB Type-C和兩個USB 2.0連接埠，更提供七個擴充槽，供未來更多功能的擴充使用。

「市面上一般的智慧客服，擴充性較差，達運智慧客服可以客製化IP角色，在公共場所擺放也會自動打招呼來吸引民眾使用。還可以串聯社群媒體，不僅進行廣告投放，也可以將商家的服務帶走。除此之外，還有趣味畫框，可自拍後下載QR code來儲存檔案。」達運精密工業的資深處長鄒新一表示。「這次的技術採用LLM大型語言模型修正，可依照用戶需求來微調模型；同時，混合使用OpenAI和Seamless M4T等兩種多模態翻譯AI系統，可以即時取得最佳翻譯；除此之外，利用ASR／TTS文字語音轉換系統來編碼及解碼模型。每個模型都是最佳組合!」鄒處長補充說道。

「達運精密之所以會選擇與研揚合作，除了研揚產品穩定可靠外，同時與原先合作的喬泰科技合作密切，可很快滿足客戶需求。此外，產品開發中交期最長的顯卡，研揚準確洞悉市場需求，優先布局，所以才可以讓這款完全客製化產品在4週內開發完成，交付樣品給達運。這比標準需時8週的產品客製化時程，足足快了一倍，也讓這款產品快速上市。」研揚科技業務經理孫月惠說道。