突破界限:Picovoice實現語音AI和LLM與邊緣計算的融合 智慧應用 影音
DTRapp
Event

突破界限:Picovoice實現語音AI和LLM與邊緣計算的融合

  • 台北訊

在雲端AI主導的時代,一股向邊緣計算轉移的潮流正在興起。加拿大邊緣AI新創公司Picovoice提供了完整的語音AI和LLM技術組合,通過在邊緣設備上直接提供雲端級效能,結合高效能、隱私和低延遲,脫穎而出。

Picovoice由Alireza Kenarsari於2018年1月創立,旨在加速AI處理向數據生成地點的轉移,使運算於用戶的指尖完成。

Picovoice CEO暨創辦人Alireza Kenarsari。Picovoice

Picovoice CEO暨創辦人Alireza Kenarsari。Picovoice

Kenarsari觀察到依賴雲端的AI助理的固有特性,質疑將簡單的語音命令發送到遙遠的資料中心進行處理的必要性。「如果你要Alexa關燈,真的需要穿越半個地球,去雲端資料中心再回來嗎?可能不需要,」Kenarsari說。「我預見了這股趨勢,因此致力於加速這一轉變。」他設想了一個AI更能夠在端側運行的未來,模仿人類智慧。這一願景,加上他的創業精神,促使他創立了Picovoice。

Kenarsari的Picovoice創業之路充滿了豐富的經歷。他的職業生涯始於溫哥華的三家新創公司,見證了從收購、IPO到完全失敗的不同結局。隨後,他加入亞馬遜(Amazon),負責基於機器學習的金融詐欺偵測。他在亞馬遜與Alexa部門的紧密合作,讓他獲得了關鍵洞見,進而形塑了他對創業願景的想法。

端到端優化

Picovoice的核心技術以其端到端優化而著稱。公司擁有自建的數據管道、訓練機制和推論引擎,使其能夠微調AI模型以在邊緣設備上實現最佳效能。這一方法使Picovoice能夠匹配雲端API的準確性,同時提供對即時應用至關重要的低延遲和可靠性。

Picovoice的解決方案與其他邊緣計算競爭者有何不同?「許多邊緣部署解決方案使用後訓練優化,即修改預訓練模型(通常是開源的)使其更小、更快。這種方法有侷限性:原始模型不是為邊緣部署設計的,限制了潛在的優化,」Kenarsari解釋道:「此外,依賴於PyTorch和TensorFlow等開源運行時限制了可用的優化技術。」這些限制使得在邊緣設備上實現雲端級準確性變得困難。這就是為什麼Picovoice通過創建自己的數據管道和訓練機制來解決這一問題 。

為了使非開發者能夠設計語音啟用的產品互動流程,Picovoice開發了一個網路平台,簡化了語音命令和喚醒詞的創建和客製化方式。它採用以客戶為中心的方法,根據每個客戶的獨特需求量身定製其商業模式。正如Kenarsari所說,「製造AI PC與打造500萬美元手術機器人的限制截然不同」

其解決方案旨在跨平台兼容,支持從Linux、macOS、Windows、Android、iOS、Chrome、Safari、Edge和Firefox到NPU、GPU、CPU、MPU和MCU的各種操作系統和硬體配置。「這種多功能性對於擁有多樣化產品組合的企業特別有價值,」Kenarsari說。這對於希望在多種設備上提供一致用戶體驗的大型企業尤其必要。

邊緣的價值主張

Picovoice的目標客戶產業包括消費電子、汽車、醫療保健、公共安全和政府科技等極度需要隱私保護、可靠性和即時處理的產業。公司的商業模式以B2B為重點,為大規模應用提供具成本效益的解決方案。其技術被用於各種創新應用,包括基於大語言模型(LLM)的語音助理、代理式AI,甚至NASA的下一代太空服。在公共安全領域,Picovoice的裝置端解決方案確保敏感數據安全。

Picovoice最初透過提供技術領先的解決方案超越競爭對手,獲得了技術買家的信任。隨著公司發展,擴展其產品組合並完善其市場策略,其價值也逐漸受到非技術利害關係人認可。為確保透明度,Picovoice提供對其技術和資源的开放访问。其靈活的訂價模式旨在適應每個客戶的獨特需求和規模 。

展望未來

展望未來,Picovoice的願景是以其 AI 技術驅動 10 億台裝置。它正在積極擴展其團隊並探索戰略收購以進一步擴大其影響力。

公司致力於持續創新,投入大量資金進行研發,以保持在AI革命的領先地位。Picovoice已實現盈利,並與《Fortune》100大企業簽訂了關鍵多年期合約。雖然該公司目前不積極尋求融資,但它對戰略收購持開放態度,以擴展其團隊和能力。