巨量資料即將進入應用實作層面 智慧應用 影音
MongoDB
ST Microsite

巨量資料即將進入應用實作層面

  • DIGITIMES企劃

回顧過去的兩年,「巨量資料(Big Data)」可謂IT業界最炙手可熱的話題之一,熱門指數堪與雲端運算、行動化等量齊觀;然以往眾人初次碰觸此議題,難免會把焦點置於資訊處理層次,展望後續,即將進入知識應用的務實層面。

從2012年開始,Big Data聲勢躍起,成為各大報導、專題、評論、研討會、論壇、研究報告爭相簇擁的熱門題材,伴隨此一洗禮,多數企業對它的認知,也從原本的一知半解,變成如今的興致勃勃,體認到這確實是一門煉金術,有助於企業挖掘出先前隱含在各個角落、卻從未善加利用的大量資訊,從其中淬煉出知識與智慧,致令企業茅塞頓開,獲取賴以創新致勝的關能量。

由此觀之,巨量資料分析應用,實為一帖幫助企業蛻變的靈丹妙藥,也觸動了一股足以扭轉市場優勝劣敗的活水,也就是說,愈能從巨量資料裡頭看出端倪,並具體落實在商業決策的企業,即使原本只是屈居中後段班的公司,也能無懼於列強環伺而殺出重圍,一躍成為市場領導者;因此,巨量資料的爆紅,絕非人為刻意炒作,背後真的有諸多硬道理。

但話說回來,仔細咀嚼巨量資料分析技術的內涵,某種程度上,與過往廣獲企業採用的線上分析處理(OLAP)、資料探勘(Data Mining)等商業智慧(BI)技術,頗有神似之處,既然已有BI,又何以需要再多出巨量資料這一門功課?事實上,若以巨量資料3V特性當中的「多樣性(Variety)」作為基準,再套用大家都常聽聞的80/20法則,便可窺見其間差異。

環繞於企業營運環境的所有資料洪流中,以往為IT人所擅長處理的,充其量僅止於約莫20%佔比的結構化資料,而過去的BI分析範圍,都落在這個區間,另外80%更為大量的數據,則散落在文字、郵件、網頁、聲音、圖片、影像、日誌檔(Log)…等包羅萬象且散居四處的非結構化資料,這些素材,以往並無法有效加以分析處理,因此形同「垃圾」般遭致淹沒,殊不知有許多攸關企業營運績效浮沈的線索,都深埋在這些非結構化資料之中,只顧及20%結構化資料,反而流於冰山一角,看不出玄機;因此巨量資料技術的現身,便足以幫助企業明察秋毫,讓過去一些單憑BI無力挖掘的失落寶藏,得以重見天日。

製造或醫療業CIO 可望因巨量資料得利
此一趨勢的成形,對於企業CIO無疑是一大契機。主因在於,針對服務於諸如製造業、醫療業等行業領域的CIO,由於企業營運績效的好壞,主要取決於製程、研發、醫術、醫療儀器等關鍵,IT部門雖說與這些核心命脈不無關聯,但充其量僅位居後援角色,其在服務機構的影響力,並不如金融、電信等領域的CIO來得顯著,影響所及,CIO很難躋身決策核心,也無法對企業挹注更大貢獻,然而有了巨量資料分析這道利器,CIO即可化被動為主動,憑藉創新領導者的角色定位,引領商業創新、產品開發、生產製造、市場行銷、客戶服務等…各項商務運作之革新進化,從而促使IT團隊的地位與影響力大躍進。

面對難能可貴的契機,許多IT主管不免怦然心動,亟欲儘速在企業內部推動巨量資料應用;但IT人終究是IT人,總習慣Bottom-up角度來解讀新的技術與應用,於是乎,只見CIO要求旗下子弟兵,開始鑽研過往不甚熟悉的Hadoop、MapReduce、NoSQL…等技術項目,也開始評估進大量平行處理(MPP)系統、In-Memory資料庫,心想一旦搭建起巨量資料分析平台,有了武器後,於內部探索現存的Big Data究竟有哪些,接著再思考這些Data該怎麼運用,殊不知這般進取模式,恐陷入莫大迷思,最終極可能一事無成,徒然增添一些大而無用的IT配備,惹來投資報酬率的非議。

如此一來,IT團隊仍無法對於企業做出更大貢獻,導致仍然屈居救火隊角色,其地位及影響力並未提升,而企業亦與巨量資料趨勢潮流漸行漸遠,無力獲取創新致勝的養分。

從制高點找應用題材 避免淪於技術本位
那麼應該如何是好?首先應當從Top-down角度來看待巨量資料應用,一方面CIO不妨試圖站在企業經營的制高點,認真檢視企業一路走來的過程中,有哪些事情,是一直想做、卻始終做不好,甚至是做不到,即可將之視為阻礙企業持續成長的最大路障,亟需加以清除,接著便將這些事項列為推動巨量資料應用的優先題目,有了題目後,再來思考應當彙集哪些資料、執行哪些分析,最終才進入技術與系統的評估階段,如此才不致陷入本末倒置的失焦窘境。

其次,IT團隊亦需認真研讀各項巨量資料應用案例,從中汲取前人的智慧結晶,將之轉化為有助於增強企業營運動能的靈感,再透過腦力激盪產生不同題目。與此同時,IT與業務部門的互動合作模式,也有亟待檢討與轉變的必要性,只因過去長期以來,特別是製造業或醫療業,IT部門都是被動接收業務部門傳遞而來的需求,根據這些需求著手部署所需IT資源,並產製相對應的應用程式,等到做出初步成果後,再由原本提案的業務部門驗收成果,檢視是否合乎預期,但業務單位並非技術本位,很難在一開始把需求說清楚,導致雙方出現認知落差,因此IT部門所提供的成果未若預期,只能勉強接受,長此以往,企業本該建立的競爭力,就這麼遭到蹉跎、延宕,因此進入巨量資料時代,IT人員應自許成為商業顧問,必須預先掌握商業脈動、探測風向球,主動幫助業務部門設計適當的Use Case,而非被動接收指令。

在此前提下,某種程度,IT團隊就像是企業內部的創業者,不斷發想適合的發展題目,致力創造幾個Pilot run,先做出一些成功案例,等到展現成績後,不論業務主管、營運長、總經理、董事長甚至整個董事會,才會認同巨量資料確實有其價值,後續才能大刀闊斧地邁開步伐。

但不可諱言,從題目發想一直到概念驗證(PoC),不是一群人閉門討論、少盤推演,就能獲得結論,仍必須依附在適當的技術平台,進行必要的實作,才足見真章,其間難免又牽扯到雞生蛋、蛋生雞的問題,假使企業先投資引進了平台,最終又證實概念並不可行,而任憑公司上上下下絞盡腦汁,又想出不更好的題目,仍可能導致相關投資效益趨於低落。

值此時刻,CIO不妨善用外部廠商的力量,利用廠商提供的資源來推動PoC,如此便可在做出重大採購決策之前,預先判斷此一投資的必要性與合理性。但不可否認,放眼現今市場,與巨量資料分析相關的解決方案,多侷限於少數大廠,不僅選項有限,且個個要價不菲,就連通路夥伴本身都未必有能力部署相關產品,連帶導致企業借測的難度不低,所幸已有若干業者意識到這個問題,開始著手投資成立巨量資料體驗中心,並預先針對不同產業需求,設計不同的模擬測試情境,幫助企業進入Big Data初體驗,諸如此類的資源,頗值得善加運用。

當然,由於巨量資料議題火紅,廠商也開始推出愈來愈多富含實用性的工具,IT人員亦應時時留意相關訊息。舉例來說,有些廠商提供一種精通數十種語言的探針,以利用戶推動社交媒體的輿論及情感分析,也獲得若干從事代工業務的製造業者採用,當任何新品推出市面,便隨時觀測消費者對此產品的好惡走向,萬一察覺消費者已然醞釀埋怨情緒,便能搶先在客戶有所動作(例如要求更換製程或零件)之前,儘速展開因應對策,以避免後續的訂單流失。