Etu Blog-藍衣人的視界

掌握大數據趨勢,解析消費者意圖

 

從 Data Warehouse Offload、Data Lake 到 Data Management Platform

 

Hadoop 十歲了,這十年中,Hadoop ecosystem 逐漸成長茁壯,有了非常不一樣的面貌,市場也從 Early Adopter 逐步地往 Early Majority 位移。而 Etu,從成立到現在也將邁入第五個年頭,回首過往,Etu 輔導...

企業客戶所落實的 Big Data/Hadoop 應用,隨著不同的時間點,也有了不同的風貌。

 

Hadoop 被設計出來的原因,有很大一部分就是為了彌補 RDB 的不足。這也反映到一開始 Etu 都在協助客戶運用 Hadoop 來處理 RDB 遇到的瓶頸,這其中又以 DW Offload 最為典型,而代表的產業就是電信業,這也是 Etu 最早服務的企業客戶。

 

電信業天生需要處理大量的資料,最為常知的就是所謂的 CDR (call detail record) 暨後來延伸的 xDR。電信客戶在運用這些資料時,常常需要做很多的 data aggregation,無論是做 join、filter 或 sorting,這些運算用 RDB 來做都非常耗費運算資源,所以你會看到電信業都會花一大筆錢來建構 Data Warehouse (DW),以應付這些龐大的資料運算。然而隨著 3G 網路的資料增長速度驚人,DW 的擴充變成了不可承受之痛,也因此開始想要運用 Hadoop 來 offload DW 的工作,讓運算與處理速度可以加快,且不用持續花大錢擴充 DW。DW Offload 的應用,不外乎就是利用 Hadoop 可橫向擴充的特性,建構較大的資料運算叢級,然後把原本放在 DW 做的 data aggregation 拿來 Hadoop 上做,所以我們在從事類似的 POC 時,最常與客戶的對話都類似是「Eric,我現在這些資料要跑 10 個小時,你能不能幫我減少到 1 小時甚至更短的時間?」,也就是特別著重在處理時間與效能,至於資料的型態還是原本的半結構化、甚至結構化資料,並沒有多型態資料的需求。

 

在台灣,製造業與銀行業是繼電信業之後,接續導入 Hadoop 平台應用的產業。我們從輔導這兩個產業的客戶當中,也開始面對資料繁雜的問題,開始需要協助客戶處理各式不同資料型態、頻率如何導入 Hadoop。在這個過程中,我們也充分感受到企業客戶的焦慮,什麼樣的資料要適合用什麼樣的方式整合進 Hadoop,應該用什麼樣的架構設計較好,如何與現有的資料分析工具整合.....等這些資料繁雜所帶來問題,是需要有一個方式來做比較好的梳理。也因此,整合過去我們輔導客戶的經驗,Etu 開始提出所謂的 Etu Data Lake 這樣的一個解決方案與方法論,協助客戶從下述幾個模組來導入

  1. 資料盤點 : 評估商業需求、盤點資料、分析不同資料的格式與規範
  2. 資料儲存 : 針對不同資料規劃合適的檔案系統架構
  3. 資料處理 : ETL 整合與流程自動化
  4. 資料入庫 : 規劃合適的資料模型、易被查詢與分析

透過 Etu Data Lake 的導入,客戶就比較能按部就班的掌握建構 Big Data 平台與應用的節奏,整合個別的資料孤島 (data silo),同時進行問題的先其資料蒐集,以利後續的探勘,也就是 Schema-on-read 的概念。

 

另外,在我們協助電信、製造與銀行業建構大數據平台與應用的同時,Web 線上客戶點擊行為 (click-stream) 的採集與分析,一直是電商、數位內容所關注的應用,這其實也是當初 Hadoop 被設計出來的原生應用需求。Etu 在成立的第一個下半年,就發表了基於 Hadoop 的個人化推薦系統— Etu Recommender,協助電商與數位媒體做到一對一的商品與內容推薦,提高網路客戶的黏著度與轉化率。

 

隨著 O2O 的盛行,全通路 (Omni-Channel) 的概念被零售業高度關注,360 度的客戶行為圖譜變成是面向消費者市場的企業一個必要的課題,零售、電商百貨、數位內容、零售金融都在這個範疇裡面,Etu Insight 消費者行為洞察平台在2015年初的推出,正好因應了此趨勢,協助企業對消費者採集全通路 (線上 Web/Apps、線下) 的行為,打上標籤並做出更細緻精準的客戶分群,奠定個人化行銷體驗的基礎。Etu Insight 的推出,也在台灣企業私有 DMP (Data Management Platform) 的解決方案市場,立下了一個重要的里程碑。

 

 

DMP

 

DMP 其實是發起於數位廣告,原生的命題是要解決精準廣告投放的問題,因為 RTB (Real-Time Bidding) 廣告模式的興起,如何把廣告更有效率的投放給合適的 TA,變得不再是僅止於想像,而是可以達得到的。這裡面 DMP 就扮演非常重要的角色。DMP 是無縫整合跨不同接觸點的消費者數據的技術,以幫助企業對何時及如何同每個用戶互動做出更好的決策,所以 DMP 內的每個數據是以消費者為中心,紀錄每一個消費者透過每一個通路在每一個時間點的互動行為訊息。換個方式說,DMP 要能夠整合、並清洗從各個通路來源所收集到的數據,然後關聯到每一個消費者身上;同時,DMP 要能以標籤的形式來管理,企業要能很容易的透過資料模型、演算法等,來為每一個消費者打上不同的標籤。精準廣告投放,就是要透過不同的標籤所篩選出的消費者群組,來完成高效率的投放。

 

不同於數位廣告商所闡述的 DMP,企業私有 DMP 已經從早期廣告服務平台逐步演變成為企業客戶行銷的核心引擎。企業私有 DMP 的重點在收攏屬於企業自身的第一方數據,也就是行銷界常說的「1st Party Data is the King」,這裡面就包含了企業官網、 行動 App、EDM、CRM、POS 等線上線下等數據。

 

之後,藉由第一方數據來完成客戶分析、鎖定核心 TA、進行 TA 分類,進而串接 EDM、推薦、廣告投放等行銷工具,提供消費者個人化的行銷體驗才得以有完成的可能。 Etu Insight 正是以企業私有 DMP 為考量的完整解決方案,藉由 Etu Insight,Etu 正式揭開 MarTech (Marketing Technology) 新的一頁。

 

瞭解「消費者洞察平台」:https://www.etusolution.com/index.php/tw/products/etu-insight

 

本文作者為 Etu COO 陳育杰(Eric Chen)