從雲端到邊緣 企業落地生成式AI的可行之路

生成式AI不再是未來願景，透過即時語言理解、影像生成，自主決策與超個人化體驗，生成式AI正在重塑產業面貌。隨著這項技術日趨成熟，產業對架設成本的考量與資訊安全的疑慮，讓生成式AI雖備受期待，卻難以真正落地。鑒於成本與資安挑戰，生成式 AI正朝向雲端轉移到邊緣運算發展。

對於醫療、製造、零售，車用及國防產業而言，這項轉變不僅是技術升級，而是勢在必行的策略抉擇。透過邊緣AI運算， 可實現即時智慧決策、提升資料隱私防護、確保營運韌性，並大幅降低產業成本。

本次專家訪談邀請到凌華科技與群聯電子，深入分析為何邊緣運算是推動生成式AI普及的關鍵因素，並探討企業該如何掌握這個關鍵契機。

生成式AI遷移至邊緣的關鍵契機

即時反應：群聯電子CTO林緯博士表示：「當每毫秒都攸關成敗，雲端的距離就太遠了。」自駕車系統，工廠機器人或醫療設備，無法承受絲毫延遲。將生成式AI推論直接部署於資料生成的邊緣，可實現立即可靠的決策。

從設計改善隱私及資安：凌華科技邊緣運算平台事業處總經理陳少華說明：「公司資料蘊含營運機密、客戶個資、或關鍵研發成果，必須確保其隱私性」。地端部署有助於確保機敏資料（無論是健康照護，金融或公部門相關資料）持續保留在本地裝置或地端中，減少雲端AI的資料外洩風險。

產業知識保存與最佳化：地端生成式AI解決方案部署可充分利用企業內部關鍵知識，最重要的是可與工作流程、技術文件和法規等內容整合。陳少華表示：「透過微調並充分利用既有領域資訊，可彌補模型的理解落差，讓生成式AI更貼近實際應用場景，也提供更精準、專業的應答」。

各種環境下的韌性：依賴雲端架構會形成單點故障風險。林緯博士提到：「尤其在工廠或現場等實際應用場景，未必能維持穩定連線」。地端AI系統即使在離線時也可持續運行，在偏遠，嚴苛或要求高度資安需求的環境中確保持續運作。

邊緣處理的成本效益：在邊緣處理資料可大幅減少頻寬使用，降低雲端儲存成本。林緯博士特別提道：「但成本仍然是一大難題。如果製造一台AI機器人的成本相當於僱用一位員工20年的人力支出，這顯然不可行。」硬體成本，尤其是GPU記憶體，仍是關鍵瓶頸。

瓶頸：GPU記憶體與模型規模

林緯博士說明：「AI模型可根據規模加以分類，」包含：1. 約100億個參數：基本對話互動。2. 約1,000億個參數：推理與推論。3. 約1兆（10,000億）個參數：ChatGPT及DeepSeek等先進模型。

關鍵困難在於：GPU記憶體需求幾乎呈線性成長。陳少華補充：「每10億個模型參數需要約1GB的VRAM，」這使得大型模型在邊緣裝置上運行的成本居高不下。然而，凌華科技與群聯電子的攜手合作，突破了這項技術的瓶頸。

aiDAPTIV+突破GPU記憶體限制

陳少華表示：「當我們親眼看到群聯aiDAPTIV+實際運作時，就知道這項技術會帶來極大突破，」凌華科技此技術整合至最新DLAP邊緣AI平台，該平台搭載NVIDIA Jetson Orin NX及Jetson Orin Nano。成果是：DLAP Supreme使原本僅支援80億參數的硬體平台，拓展為可支援800–900億參數的AI模型。

如何實現？林緯博士指出：「我們將SSD內的部分AI模型從GPU移至NAND快閃記憶體。」這表示不需要90GB的VRAM便可運行一個900億個參數的模型，大概只需要10–20GB，可大幅降低硬體成本。這讓先進生成式AI不再遙不可及，不僅效能強大，也終於實現經濟實惠的邊緣運算。

可負擔的邊緣生成式AI = 普及化關鍵

當大型生成式模型部署至邊緣，不僅大幅降低導入門檻，也推動中小企業突破。在醫療產業，攜帶式邊緣裝置可運行視覺及語言模型，進行診斷、分診，甚至是心理健康監測，且無需將機敏資料上傳至雲端。偏鄉診所也能離線、低成本使用AI醫療工具。

在零售產業，智能鏡面裝置與自助服務機可即時提供個人化建議，生成動態視覺內容，或答覆客戶詢問，
所有資料處理皆當場完成，不上雲。

在物流及製造產業，邊緣AI可即時分析感測器資料與影片，偵測安全風險、優化工作流程，或預測性維護，且資料存放於地端，無需傳送至雲端，有效保障資料安全。

在運輸及公部門產業，交通工具與無人機上的內嵌式 AI可實現即時決策，語言翻譯和導航，一切都在本地處理完成，確保速度及資安。

邊緣智慧  隨需啟用

邊緣生成式AI不再遙不可及——其兼具可部署與低成本等特點。透過群聯電子與凌華科技的合作，將aiDAPTIV+整合至DLAP Supreme平台，打造創新解決方案，過去專屬於超大規模業者的技術，現在已可嘉惠各種規模的企業。

透過將智慧運算部署在資料生成源頭，產業領導者可加速發展、保護隱私、降低成本、完全釋放邊緣AI的潛力。