聚上雲攜手Cloudera著眼金融業混合雲資料治理 應對數據整合和AI挑戰
- 張丹鳳／台北
-
Epic Cloud聚上雲指出，「資料上雲」、「資安聯防」、「數據共享」，無非是2024年金融業的三組燙金關鍵字。2024年，金融業預計都將圍繞這三組IT項目展開積極作為。持續精耕企業數據治理和整合應用的Epic Cloud聚上雲，偕同在數據整合領域具有全球領導地位的Cloudera，為金融產業傳授雲地數據整合之道，助力金融業自信應對極具挑戰的數據和AI課題。
回望2023年，為促進普惠、創新、韌性與永續等目標，金管會已發佈「金融科技發展路徑圖」，帶動金融科技數據迅速增長，並解開金融業上雲限制，使混合雲數據治理成為金融產業的重要課題。然而，金融業在面對混合雲數據治理乃至AI應用的同時，無可避免遇到諸多挑戰。
著眼於此，Google Cloud最高等級合作夥伴Epic Cloud聚上雲，攜手知名軟體服務商Cloudera，策劃「金融產業混合資料治理與數據AI平台應用」精彩講堂，亦同步邀請兩位Cloudera加值服務堅實夥伴炬識科技和愛創大數據，一同發表經驗談，四強聯手，協助金融業者更有效率地採集、儲存、處理、分析和可視化數據，同時確保數據安全性、可靠性與實用性。
關於Cloudera：全球Top 500金融機構採用的技術平台
熟悉Hadoop的人，肯定對Cloudera並不陌生。「Cloudera深信數據可以使今日不可能之事，成為明日之可能。Cloudera向世界展示了數據的價值，並創造了由開源社群之力不斷推動創新的產業和生態系。」由Cloudera的簡介即可略窺Cloudera的使命與特性。
Cloudera台灣業務總監蘇懋欣指出，Cloudera成立於2008年，由來自Google、Yahoo、Oracle、Facebook的菁英共同創立。2011年時，Yahoo的Hadoop團隊脫離出來創立Hortonworks，此後，公司在2019年併入Cloudera。截至目前，Cloudera在全球擁有逾3千名員工、逾2千家客戶，其中包含許多全球Top 500金融機構。Cloudera更是美國政府指定的合作夥伴，從國防單位、情報單位、聯邦到地方政府，皆為Cloudera的現有客戶。
運用Cloudera CDP平台，高效管理與運用數據資產
綜觀來看，Cloudera現今最熱門產品即是CDP（Cloudera Data Platform），CDP是由Cloudera與Hortonworks合併後的優勢互補效應所淬鍊成。隨著過往大眾熟悉的CDH、HDP陸續在2021~2022年停止支援，CDP（Cloudera Data Platform）就成為當前市場上的主力版本。目前，雖然仍有不少人把Cloudera與「免費的開源軟體」劃上等號，不過，其實從2021年1月31日起，Cloudera所採取的訂閱制服務，使客戶得以在訂閱期間取得漏洞補丁、版本升級、開Case等關鍵服務，獲得更有保障的服務與更佳的使用體驗。
聚上雲是Cloudera台灣獨家代理夥伴
聚上雲副總經理朱驛清則表示，「資料清洗」、「數據平台」、「商業模式再造」是當前不分產業的企業，主要面對的三大議題。尤其，數據管理平台（Data Management Platform）更是企業在數位轉型中，承先啟後的重要工具。鑑於此，聚上雲持續戮力開拓可滿足企業上在AI與數據整合方面的解決方案，並正式於2023年取得Cloudera台灣獨家代理夥伴資格。藉由Cloudera雲地整合數據平台Cloudera Data Platform（CDP）的推廣，已助力不少金融機構善用此一平台，為企業AI／ML應用打下穩固的數據根基，以期有效強化雲地數據治理、AI應用，甚至防制金融詐欺。
Cloudera湖倉一體，透過SDX共享資料，加速實現雲地整合
Cloudera解決方案架構師謝宗佑開門見山談及「數據地基」的重要性。倘若一開始數據地基沒扎穩，卻又在上面疊床架屋，可想而知，一連串的「技術債」恐引發後續的連環災難。為幫助金融機構趨吉避凶，謝宗佑提出幾個重要概念，其一便是Open Data Lakehouse，意即整合資料湖與資料倉儲，形成「湖倉一體」，進而能夠上雲，甚至做到混合多雲。
現今許多金融機構皆有複雜的資料環境，且至少有一座地端系統，如Oracle DB或Hadoop等等，因此在地端肯定有大量行內的交易數據；而在國內外的分支方面，也許有一些Customer Data選擇放在公有雲中；行銷部門則可能選用Google GA，並將相關數據放在Google Cloud Storage（GCS）中。以上無非意謂著，若企業想推動數據應用，則勢必先整合地端、Google Cloud、AWS、Azure等多重的數據源。
此時，Cloudera便派上用場了。企業如何利用Cloudera架構來解決上述難題？Cloudera基於SDX（Shared Data Experience），使客戶能透過單一介面查看雲地所有資料表Table、各自的Schema，以利企業用戶判斷如何設定資源（可能來自HDFS、Hive、HBase⋯等資源），以及，這些Table會經由哪些條件被哪些人存取，而這些人存取時也都會留下日誌軌跡。
若再繼續深入來看，因為三大公雲皆可Enable Cloudera的服務，在地端能支援Kubernetes環境，也能支Cloudera的Embedded Container Service (ECS) 系統，因此，客戶可借助SDX全面實現雲地Infra的安全設定、監控和權限控管。
Cloudera 4種令人趨之若鶩的獨門優勢
更重要的是，Cloudera擁抱開源，參與多達40多個開源專案，內部擁有上百個Apache Committer和PMC，因此，會持續整合適合元件到Cloudera Data Platform中，如Iceberg即是一例。簡言之，Cloudera致力讓客戶在執行應用或數據的遷移時，盡可能不需要重寫程式、安全規則或Pipeline。換句話說，一旦啟用Cloudera 架構，無論您是金融機構或其他產業，均可輕易做到下列四件事：
（1.）遷移應用程式時無需重寫
（2.）建一次應用程式即可執行於任何環境
（3.）順利實現 Dynamic Motion
（4.）營造前所未有的數據敏捷性
穩固的資料治理根基，決勝AI商業應用
作為Cloudera加值服務夥伴之一的炬識科技執行長顏良修則分享道，炬識科技成立於2015年，以資料湖（Data Lake）為主軸，協助諸多金融機構、政府部門或大型企業執行相關專案。談及以往炬識科技主要耕耘「資料湖」，不過近年則將重心轉向資料治理。顏良修說，資料湖屬於資料工程，較接近資料科學和前端的應用系統開發或微服務，不過，無論是資料工程還是資料科學，都完全無法脫離資料治理。炬識科技因頻繁遇到客戶要求做資料品質保證，因此開始著力於資料治理，協助客戶確保資料的可靠度與安全性。
如何避開那些資料治理常見的地雷區？
顏良修強調，其實過去早有不少大企業啟動資料治理專案，然而，當時未明確區分資料架構與資料品質管理，以致衍生許多複雜難解的問題，使多數專案走向失敗。因此，她建議先建立資料目錄，做好詮釋資料管理，再強化資料品質，然後持續根據規範，形成企業應遵守的流程，最終執行主資料的管理。為此，炬識科技推出了資料品質成熟度模型，旨在協助企業循序推進兩階段工作，先打好資料架構與品質保證的基底，才能確保上層數據應用的有效性，並藉由資料來解讀商業問題。
藉由CML服務，打造跨越雲地、產地直送的AI應用
同樣作為Cloudera加值服務夥伴之一的愛創大數據（AInnovate），則由共同創辦人林宗甫分享道，愛創大數據作為Cloudera的夥伴，其主攻AI/ML、大數據處理、數據中台、上雲遷移等領域。基於來自多數金融客戶的應用需求，林宗甫闡釋了兩種應用情境，一是如何從PDF財報擷取結構化文本；另一則是如何透過 LLM 打造能回答企業內部營運問題的Chatbot。
以PDF財報擷取結構化文本為例，該文本由幾項元件組成，包括目錄／頁號偵測、段落偵測暨文本擷取，以及將前述兩個模型與程式邏輯包裝為CML Endpoint（CDP Machine Learning Endpoint），意即透過CML Endpoint將訓練好的模型直接以Dock Image形式加以部署，即可迅速展開執行。
立即免費體驗湖倉一體，讓Data跨越雲地藩籬
舉凡資料治理、ML應用，不論藉由On-premise或公有雲上的Cloudera Data Platform（CDP）叢集皆可輕易實現，且雲地應用體驗完全一致。聚上雲攜手Cloudera，提供5天Trial授權方案，申請者不僅可透過公有雲試用CDP，還可參考Cloudera提供的相關文件，免費試用湖倉一體、GenAI、和ML等服務。歡迎聯繫Cloudera獨家代理夥伴Epic Cloud聚上雲，將有專人立即接洽。
Google Cloud搭配Cloudera CDP的首選夥伴 − 聚上雲
Epic Cloud聚上雲是國內唯一兼備企業核心應用實戰經驗的Google Cloud菁英級夥伴，可憑藉Google Cloud在地機房、100％採用綠電的雙重優勢，充分滿足金融機構期盼資料上雲但不離境、借力使力實踐ESG目標的雙重需求。作為Google Cloud結合Cloudera CDP應用的業界第一把交椅，Epic Cloud聚上雲是金融上雲和企業數據整合的首選夥伴。透過Google Cloud結合Cloudera CDP，讓數據治理有如神助，加速建立最佳化的AI/ML應用基礎架構了。
