駕馭大數據 驅動企業創新致勝能量 智慧應用 影音
Microchip
member

駕馭大數據 驅動企業創新致勝能量

  • DIGITIMES企劃

Uber運用大數據分析,每日即時更新熱點地圖,藉此協助車主減少空載時間,順勢幫助乘客降低等候時間。Uber
Uber運用大數據分析,每日即時更新熱點地圖,藉此協助車主減少空載時間,順勢幫助乘客降低等候時間。Uber

事實上,企業藉助資訊科技力量執行商業決策,並非此刻才發生,過往已為人熟知的商業智慧(BI)、資料採礦(Data Mining),然而如今在市場掀起陣陣波瀾的大數據(或稱巨量資料),卻與往昔的分析技術有所不同,宜以不同的思維看待大數據應用價值。

早在2011年,知名的管理諮詢機構麥肯錫(McKinsey),即已透過「大數據:創新、競爭和生產力的下一個領域」報告,清楚昭告世人,大數據(Big Data)將成為宰制競爭力高下的關鍵性基礎,並躍居下一波賴以提振生產力、推動創新、創造顧客價值的支柱。

緊接著,在2012年於瑞士舉行的世界經濟論壇中,也揭櫫一份名為「大數據、大影響」的報告,強調過去資料被視為不甚有用的積累,但如今已成為一種全新的經濟資產型態,亦是今後極其重要的生產要素,所以現在即是大數據時代的開端;而且更重要的,論及過往的實體生產要素,不管是廠房或機械設備,都會伴隨使用次數的增加而折舊,然而大數據恰好相反,其價值反倒會隨著重複利用而增長,幫助使用者掌握更多的線索、商機或趨勢。

也許有人對於大數據時代的來臨感到不解,多年以來,不少企業已經陸續佈建了資料倉儲、資料超市、線上分析處理(OLAP)、資料採礦、報表系統、儀表板、戰情室系統...等廣義的BI工具,也就是早就藉由IT來輔助決策制定,為何如今又迸出大數據這個新辭彙?它與過去的BI有何不同?事實上,前後真的大不相同。

舊方法難以處理的資料  即可稱之大數據

姑且先撇開大數據的3V(Volume、Variety、Velocity)特性不談,所謂大數據,蘊含了多種資料型態,包括交易記錄(Transactions)、互動資料(Interactions)與觀察資料(Observations);其中人們較熟知的部份是交易記錄,通常意指由ERP、CRM或SCM所產生的高度結構化資料,例如ERP裡頭的採購明細、採購記錄或付款記錄,乃至於CRM裡頭的交易明細、客戶接觸記錄、維護合約等等,並儲存於關聯式資料庫系統,綜觀過去的各類型BI技術,分析的元素多落在這些範疇。

至於互動資料,則譬如是使用者點擊流量、Web日誌、社交互動與反饋...等等,意指人與物之間彼此的互動,抑或業務交流;有關觀察資料,係由時下最夯的物聯網所產生,不論是溫度、濕度、壓力、動作、RFID感測,甚至是手機當中的GPS晶片,都可繁衍出大量的觀察資料。持平而論,環顧以往的BI分析,涉及互動資料與觀察資料的機率極為有限,甚至可謂趨近於零,此乃由於,這些數據幾乎都屬於非結構化或半結構化性質,單憑這點,即能充分凸顯BI與大數據分析之差異。

換言之,舉凡人們接收訊息、點擊滑鼠、瀏覽網頁、線上購物...等各式各樣的行為,都足以產生並累積龐大數據,因此不管在於數量、格式乃至傳輸速度,皆與傳統BI所面對的結構化交易型數據大不相同。

然而若欲區隔BI與大數據,其實還有更加簡單明確的指標。一是從技術觀點來看,只要是傳統的方式無法處理的資料量,都可視之為大數據,簡單來說,企業的分析人員將所欲分析的資料匯入伺服器的主記憶體,如果因數量過大而擺不進去,就可把它當做大數據,接著尋求有別以往的新工具來予以處理。

企業欲將IT進化為DT  需仰賴資料科學家

另外,BI與大數據兩種分析技術的出發點,其實也截然不同。有關BI,主要是用以處理已知的問題,也就是憑藉過往營運軌跡記錄理出脈絡,呈現於視覺化報表,藉以幫助高階主管制定下一步的商業決策,但綜觀整個決策過程,分析之結果,乃是居於輔助地位,賴以判斷決策走向的關鍵因子,是來自於經營者的腦袋;然而大數據則是用於處理沒經過事前定義的未知問題,其關鍵答案,埋藏在一堆看似無用的數據裡頭,並非任何人的腦袋。

比方說,企業經營者依據其經驗與智慧的累積,不假思索即預知產品品質的好壞,與公司營業額的消長,呈現正向關係,因而要求同仁運用BI工具,藉由過往數據描繪趨勢圖,從中深入探索可能影響產品品質的因子,接著研擬改善精進的方案;如今同樣維持「如何促進公司營業額增長」問題不變,轉而採用大數據分析方法找答案,則無需預先界定問題(例如先做好產品品質攸關業績好壞的假設),由相關同仁從偌大數據洪流理出頭緒,接著發揮創意巧思,設計出最有機會一擊中的、提振業績的好方案,而最終方案可能依舊圍繞於產品品質,但也可能攸關銷售人力配置、行銷計畫、庫存管理..等等許許多多的可能性。

所以過去即曾有專家建議,企業實施大數據分析的理想做法,應是領域專家負責發問、或是提出大方向,至於定義問題、尋找答案等重責大任,則落在資料團隊身上。但不可否認,欲提出正確且關鍵的問題,已然具備不低難度,後續再談到如何界定問題範圍,並嘗試將無限的想像空間,收斂為有限空間,再從這個有限空間搜索答案,也同樣具備相當難度;這些能量的養成過程,肯定比如何部署Hadoop分散式運算架構、如何寫好MapReduce程式,還來得更為艱辛,同時也具有更大價值與意義。

大陸阿里巴巴集團董事長馬雲曾經說道,我們正在從一個以控制為起點的IT時代,邁向一個以激活生產為目標的DT(Data Technology)時代,這個移動的過程,絕非僅僅仗恃技術的升級,更重要的,乃是思想意識的重大變革。也就是說,將Hadoop、MapReduce甚或Data Mining等技藝練就得爐火純青,充其量都只是培養IT方面的高手,頂多是孕育傑出的資料工程師,仍非對於公司深具價值的DT戰將、或是資料科學家。

哈佛商業評論曾將資料科學家喻為「21世紀最性感的工作」,此話絕非無的放矢,因為展望未來,多數企業都需要這般人才,資料科學家愈齊備,就愈能協助企業將垃圾轉化為黃金,進而挹注源源不斷的創新轉型能量,以致能夠在虛實世界界線愈趨模糊之際,確使企業能穩定地朝向致勝的目標前進。

Uber及Airbnb  皆靠大數據打造創新利基

放眼全球,幾乎所有引領風騷的成功企業,都離不開大數據,背後皆有一群人,有能力將大量資料轉變為富含價值的金礦,無論是Google的搜尋結果、定向廣告,Amazon的精準商品推薦,或是Facebook列出可能認識的好友,皆是拜大數據分析所賜。

除此之外,近年來「共享經濟」概念響徹雲霄,兩家最常被引為相關經典案例的新創企業「Uber」與「Airbnb」,個個都深具大數據分析能量。以Uber而論,旗下車主與顧客的共同期望,便是縮短時間,車主想儘可能縮短空車時間,乘客則希望將等待時間降至最低,著眼於此,Uber的資料科學家悉心建構Location-based需求模型,將運算結果即時更新於熱點地圖(Heatmaps),幫助車主減少空載時間,也一併協助顧客降低等候時間,甚至未來還將進一步指引車主,可以提前到哪些熱點進行等待,便能夠載運到更多乘客。

至於Airbnb,不僅擁有旅遊地、用戶評論、社群資訊、房源描述等等巨量資料,甚至還配置專責團隊,負責彙集某些地點的人文、宗教或歷史資料,再加上內部Discovery Team擅長使用自然語言處理與機器學習,得以深入洞察客戶鍵入的搜索關鍵字,據此產生推薦結果;因此當顧客搜尋住宿地方之時,Airbnb的Location Relevance Model總是能精準提示最契合客戶需求的住宿地點,可說是純熟運用大數據的典型個案。