「AWS Hero Song」助MediCAM用AI解醫病問題 智慧應用 影音
長庚大學
DForum0626

「AWS Hero Song」助MediCAM用AI解醫病問題

  • 鄭宇渟台北

「AWS Hero Song」團隊結合邊緣運算與生成式AI,打造醫病溝通系統MediCAM,獲研華科技邊雲智控組優勝。DIGITIMES攝
「AWS Hero Song」團隊結合邊緣運算與生成式AI,打造醫病溝通系統MediCAM,獲研華科技邊雲智控組優勝。DIGITIMES攝

近年醫療糾紛時有所聞,根據台灣病人安全資訊網統計,將近1/3的醫療事件源自於醫療人員團隊與病患、家屬溝通不良,當病床前的醫生與焦急等候的家屬之間存在巨大的資訊鴻溝時,誤解與不信任便隨之產生。

在第二屆「雲湧智生:臺灣生成式AI應用黑客松」中,「AWS Hero Song」團隊提出了結合邊緣運算與AI技術的創新解方,為醫病溝通開闢新的可能性,獲得研華科技邊雲智控組優勝。

「AWS Hero Song」團隊(又稱「黑肉鬆」團隊)成員來自清華大學資訊工程系,他們深入分析後發現,醫療現場面臨兩大關鍵痛點,首先是醫生與家屬之間存在嚴重的資訊落差,家屬無法掌握完整的診斷與治療說明,導致醫療安全風險上升;其次是由於無法即時了解病情與醫囑,家屬常感焦慮不安,醫病關係因而緊繃。

針對上述痛點,團隊開發出「MediCAM」,這套系統運用研華科技的工業AI攝影機(ICAM)與Amazon Web Services(AWS)雲端服務,結合生成式AI技術的創新醫療溝通系統。

MediCAM擁有四大核心功能:一是「即時影像串流」,讓家屬能夠遠端即時觀看病患現況;二是「自動總結醫囑」,系統會錄音醫生的說明,轉成文字並自動摘要成易懂的內容;三是「病況即問即答」,家屬可直接透過自然語言向系統詢問病患情況,獲得基於實際醫囑資料的專業回覆;四是「AI病況日報」,每天自動生成病患情況簡報,協助家屬清晰追蹤復原進度。這套系統不僅能消弭資訊不對等的鴻溝,更能建立醫病雙方的互信基礎,大幅降低溝通不良導致的醫療風險。

MediCAM的技術架構完整,涵蓋了邊緣運算與雲端AI的結合。在病床旁,團隊部署了Advantech ICAM AI攝影機邊緣裝置,負責收集現場影像與語音資料。系統運用機器學習服務Amazon SageMaker搭配 Whisper模型進行語音辨識(Voice to Text),將醫生說明轉為文字。

同時透過Yolo+FaceNet技術進行人臉辨識與醫師身份確認,確保資訊來源的權威性。在文本處理方面,團隊使用生成式AI基礎模型託管服務 Amazon Bedrock的Amazon Nova Pro負責醫囑摘要與智能問答功能,並建置 RAG(檢索增強生成)架構,確保回答的精準度與可靠性。

所有數據皆進行加密與安全傳輸,保障病患隱私。AWS 雲端服務則提供了串流、存取與安全管理的可靠後盾,使得系統能夠穩定處理大量影像、音訊與文字資料。

「AWS Hero Song」團隊憑藉兼具創意與實用性的MediCAM,在研華科技命題組別中脫穎而出。評審表示,此系統具備多項優勢:高度即時性讓家屬可第一時間掌握病患情況;資訊透明且客觀,醫囑自動轉錄與摘要避免資訊遺漏或曲解;自然互動體驗使用者僅需以日常語言提問即可獲得回答,大幅降低理解門檻。

此外,系統以AWS雲端服務為基礎,能快速擴展至多院區部署。此系統不僅能有效降低醫病溝通不良的機率,更為台灣醫療體系導入AI應用開創了新的可能。