藍衣人的視界(月刊)

 

2016 年 03 月 — Etu 生日快樂!立足 Big Data,放眼 Marketing Technology

為行銷服務,本來就是 Big Data 的先鋒大用,MarTech (Marketing Technology) 生態系統雖然多樣,但卻很直接,樣樣多是行銷人員能夠懂得、用得。面對資料驅動的 MarTech....
藍衣人的視界 03 月號 — Etu 生日快樂!立足 Big Data,放眼 Marketing Technology

 

Etu 知意圖
2016.03 Issue 48 Etu www.etusolution.com


流轉智慧


Talk 流轉達人的話
TECH  
Insight  
Etu 生日快樂 ── 讓我們結成資料黨
為行銷服務,本來就是 Big Data 的先鋒大用,MarTech......
 
大數據的行銷應用,建構企業私有 DMP
2016 年 的 1 月 28日 ,Apache Hadoop 的 10 歲生日,回顧過去的......
 
從 Data Warehouse Offload、Data Lake 到 Data Management Platform
Hadoop 十歲了,這十年中,Hadoop ecosystem 逐漸成長茁壯......

Talk
流轉達人的話

 

Dog Phone

Etu 生日快樂 ── 讓我們結成資料黨

 

為行銷服務,本來就是 Big Data 的先鋒大用,MarTech (Marketing Technology) 生態系統雖然多樣,但卻很直接,樣樣多是行銷人員能夠懂得、用得。面對資料驅動的 MarTech,「莫止於行銷作業的執行,而是要去發展新的行銷系統。」(Patrick Spenner, CEB) 可說是資料經濟時代,對企業 CMO、行銷主管最中肯的建議。

 

匯聚多方資料

 

如筆者上一篇《MarTech、Marketing Software、與 Marketing Technology 生態系統》文章所提的,行銷科技有六大類軟體或服務,以「Marketing Operations」來說,其中包含網站/App 流量分析、消費者洞察 (會員行為分析)、多通路分析等,關鍵字是「分析」;以「Marketing Experiences」來說,主要是透過各種行銷通路,來傳遞設計過的訊息或活動,吸引受眾的注意、觸發行動,如各種廣告投放 (Banner、關鍵字、影音、社群)、電子郵件行銷、內容行銷、SEO、事件行銷等,關鍵字是「行動」。

 

圖 1. 多方資料,集結成黨
(出處:蔣居裕)

 

為了要得到高轉化率的行動結果,事前的分析必須精準到位;而分析要能夠精準,使用來自多方的資料,是其中的關鍵要素。多方的資料,以 Data User (通常即是要執行分析或行動的企業) 的視角來看 Data Owner,包含:

  1. First Party Data (第一方資料)

    即企業本身擁有的資料,包含:

    1. CRM 資料:如客戶基本身分資料、交易資料。此亦被歸類為線下資料 (Offline Data)。
    2. Web/App 資料:客戶在企業官網、App 上留下的行為資料、交易資料、位置資料、設備資料。

    由於第一方資料是企業自行從消費者與其互動所蒐集而來,屬於企業私有,具有極高的價值,通常針對既有客戶的種種屬性來做客群分析,是各種精準行銷行動所不可或缺的資料來源。

  2. Second Party Data (第二方資料)

    企業透過線上廣告投放所獲取的資料,通常包含廣告點擊者的行為資料、位置資料、設備資料等。

     

    通常媒體端的廣告需求平台業者 (Demand-side Platform, DSP),也會提供企業主對廣告投放對象的篩選服務,此服務一般即由稱為 DMP (Data Management Platform) 的機制來完成。通常第二方 DMP 上的資料,是集合所有企業廣告投放的受眾行為而來,所以具有較大的廣度。

  3. Third Party Data (第三方資料)

    企業透過擷取,交換、或購買而來的資料,具備最大的廣度,包含:

    1. 社群網路資料:如來自社群媒體 (Facebook、PTT)、新聞網站、網路論壇、或部落格的內容,通常是以寫爬蟲程式取得,然後進行語意、口碑、或輿情分析等應用。
    2. 第三方資料:由特定機構所蒐集或加值產生的資料,如來自獨立的 DMP 業者、市調商情機構、政府或非營利組織的 Open Data等。企業可能是以購買、交換、或是無償方式取得。

 

結黨成行銷系統

 

First Party、Second Party、Third Party,資料範圍是越來越廣,拿來做個人化行銷、分眾行銷、社群媒體行銷,各有擅場。但重點是企業必須盡可能建立一個自動化行銷系統 ── 匯聚資料,可分析、能行動。

 

Etu,MarTech 價值的實踐者

 

Etu 四歲了,在 Big Data 平台層,我們致力於提供企業一個完善的 Data Lake,讓多方資料可以匯聚成湖,成為資料分析與探索的良善基礎。在 Big Data 應用層,我們持續努力,實踐 MarTech 的價值,除了既有的消費者洞察 (Etu Insight) 與精準推薦 (Etu Recommender),也正在加緊整合第二方與第三方資料、完成行銷閉環。

 

點上蠟燭,許下心願:希望使用 Etu MarTech 軟體或雲服務的企業行銷人員,都能工作得輕鬆與幸福。

 

吹熄蠟燭,藍衣人繼續幹活。

 

 

本文作者為 Etu CEO 蔣居裕(Fred Chiang)

TECH

大數據的行銷應用,建構企業私有 DMP

 

2016 年的 1 月 28 日,Apache Hadoop 的 10 歲生日,回顧過去的 10 年,Hadoop 由一個最初起源於 Nutch 的一個小 project,發展成為今日龐大的生態體系,恐怕是 Doug Cutting 當初完全無法想像的,Cloudera 因此為 Hadoop 準備了一頁簡史,有興趣的讀者,可以參考 http://www.cloudera.com/promos/hadoop10.html

 

從 Hadoop 生態系統最近幾年的發展,不難看出整個生態系統邁向更多元的分析應用,Impala 的功能日益完善,Spark 的加入,更是如虎添翼。過去,我們談了比較多大數據在電信業,電子商務方面的應用,其實,在數位行銷應用上,也能夠利用 Hadoop 本身天生具有的異質結構儲存及分析能力,來分析洞察人群,做出更細緻的分群,制定更精準的行銷策略。

 

數據管理平台 DMP (Data Management Platform) 是數位廣告系統中,一個以累積受眾數據,分析目標人群,提供廣告策略優化的一個支援性的系統,在RTB的領域中,DMP 的角色更為重要,必須提供給 DSP 目標受眾觸及率的預估、預算、點擊率等,以做為競價策略的參考。

 

從技術特性上來看,DMP 必須同時處理結構化及非結構化數據,而且必須具有足夠的彈性及擴充性,以應付未來多變的行銷需求,所以很多國內外的廣告商,多選用 Hadoop 來建置 DMP 系統。完整的 DMP 收集及儲存來自第一方(廣告主/企業/媒體) 的資料及第二方 (廣告商或廣告代理自行收集的資料),或是第三方資料,以往大部份的 DMP 都是依附 DSP 建置在廣告商的系統中,比較少有第一方的資料擁有者自行建立私有的 DMP 平台。不過,隨著企業對於數據分析的重視,越來越多的企業開始規劃企業私有的 DMP 平台,主要有幾項優勢:

  1. 第一方數據的含金量最高,因為這是直接受眾的行為,所有 Performance Based 的廣告優化策略都需要取第一方數據。
  2. 跨屏,O2O,線上/線下資料整合,在私有DMP容易達成。
  3. 第一方數據如官網、App、歷史訂單、搜尋關鍵字、eDM 記錄、CRM 記錄等,對於核心受眾的描繪具有很高的價值,這些資訊是不太可能交由第二方廣告平台去操作的。

 

圖 2. Etu Insight-第一方/第二方數據整合
(出處:陳昭宇)

 

第一方 DMP 和第二方 DMP 如何整合?雖然都是 DMP,但企業私有 DMP 和廣告的第二方 DMP 功能完全不同,重點也不一樣,第一方的私有 DMP,負責收集訪客對第一方的直接行為,同時負責提供介面匯入線下資料、CRM、歷史資料等,統一整理在一個數據平台上,提供工具來做目標人群的挖掘分析,人群的管理及組合,藉由各種不同角度分析,最後選定要進行行銷動作(如投放廣告)的核心人群。而第二方 DMP 的重點,則會在第一方/第二方的 ID 映射,基於第一方核心人群,找出其相對於第二方的人群樣貌,再進行相似人群擴大,作於投放的目標受眾,交由 DSP 平台進行競價投放。在上圖的閉環操作下,最後導回到廣告主的,會是基於第一方核心人群的相似人群流量,而且這些新的流量數據和行為,仍然會持續累積在第一方的 DMP 中,作為日後不斷分析優化的基礎。

 

以上的應用,以數位廣告的流程來說明,但事實上,企業私有 DMP 的行銷應用,不限於數位廣告,如 eDM、簡訊等能接觸到目標受眾的工具,都可以因為私有 DMP 的建立,而達到更好的效果。關鍵在於,收集對整理含金量最高的第一方數據,持續挖掘及擴大核心人群。

 

 

本文作者為 Etu CTO 陳昭宇(James Chen)
Top
sq

Insight

從 Data Warehouse Offload、Data Lake 到 Data Management Platform

 

Hadoop 十歲了,這十年中,Hadoop ecosystem 逐漸成長茁壯,有了非常不一樣的面貌,市場也從 Early Adopter 逐步地往 Early Majority 位移。而 Etu,從成立到現在也將邁入第五個年頭,回首過往,Etu 輔導企業客戶所落實的 Big Data/Hadoop 應用,隨著不同的時間點,也有了不同的風貌。

 

Hadoop 被設計出來的原因,有很大一部分就是為了彌補 RDB 的不足。這也反映到一開始 Etu 都在協助客戶運用 Hadoop 來處理 RDB 遇到的瓶頸,這其中又以 DW Offload 最為典型,而代表的產業就是電信業,這也是 Etu 最早服務的企業客戶。

 

電信業天生需要處理大量的資料,最為常知的就是所謂的 CDR (call detail record) 暨後來延伸的 xDR。電信客戶在運用這些資料時,常常需要做很多的 data aggregation,無論是做 join、filter 或 sorting,這些運算用 RDB 來做都非常耗費運算資源,所以你會看到電信業都會花一大筆錢來建構 Data Warehouse (DW),以應付這些龐大的資料運算。然而隨著 3G 網路的資料增長速度驚人,DW 的擴充變成了不可承受之痛,也因此開始想要運用 Hadoop 來 offload DW 的工作,讓運算與處理速度可以加快,且不用持續花大錢擴充 DW。DW Offload 的應用,不外乎就是利用 Hadoop 可橫向擴充的特性,建構較大的資料運算叢級,然後把原本放在 DW 做的 data aggregation 拿來 Hadoop 上做,所以我們在從事類似的 POC 時,最常與客戶的對話都類似是「Eric,我現在這些資料要跑 10 個小時,你能不能幫我減少到 1 小時甚至更短的時間?」,也就是特別著重在處理時間與效能,至於資料的型態還是原本的半結構化、甚至結構化資料,並沒有多型態資料的需求。

 

在台灣,製造業與銀行業是繼電信業之後,接續導入 Hadoop 平台應用的產業。我們從輔導這兩個產業的客戶當中,也開始面對資料繁雜的問題,開始需要協助客戶處理各式不同資料型態、頻率如何導入 Hadoop。在這個過程中,我們也充分感受到企業客戶的焦慮,什麼樣的資料要適合用什麼樣的方式整合進 Hadoop,應該用什麼樣的架構設計較好,如何與現有的資料分析工具整合.....等這些資料繁雜所帶來問題,是需要有一個方式來做比較好的梳理。也因此,整合過去我們輔導客戶的經驗,Etu 開始提出所謂的 Etu Data Lake 這樣的一個解決方案與方法論,協助客戶從下述幾個模組來導入

  1. 資料盤點 : 評估商業需求、盤點資料、分析不同資料的格式與規範
  2. 資料儲存 : 針對不同資料規劃合適的檔案系統架構
  3. 資料處理 : ETL 整合與流程自動化
  4. 資料入庫 : 規劃合適的資料模型、易被查詢與分析

透過 Etu Data Lake 的導入,客戶就比較能按部就班的掌握建構 Big Data 平台與應用的節奏,整合個別的資料孤島 (data silo),同時進行問題的先其資料蒐集,以利後續的探勘,也就是 Schema-on-read 的概念。

 

另外,在我們協助電信、製造與銀行業建構大數據平台與應用的同時,Web 線上客戶點擊行為 (click-stream) 的採集與分析,一直是電商、數位內容所關注的應用,這其實也是當初 Hadoop 被設計出來的原生應用需求。Etu 在成立的第一個下半年,就發表了基於 Hadoop 的個人化推薦系統— Etu Recommender,協助電商與數位媒體做到一對一的商品與內容推薦,提高網路客戶的黏著度與轉化率。

 

隨著 O2O 的盛行,全通路 (Omni-Channel) 的概念被零售業高度關注,360 度的客戶行為圖譜變成是面向消費者市場的企業一個必要的課題,零售、電商百貨、數位內容、零售金融都在這個範疇裡面,Etu Insight 消費者行為洞察平台在2015年初的推出,正好因應了此趨勢,協助企業對消費者採集全通路 (線上 Web/Apps、線下) 的行為,打上標籤並做出更細緻精準的客戶分群,奠定個人化行銷體驗的基礎。Etu Insight 的推出,也在台灣企業私有 DMP (Data Management Platform) 的解決方案市場,立下了一個重要的里程碑。

 

DMP 其實是發起於數位廣告,原生的命題是要解決精準廣告投放的問題,因為 RTB (Real-Time Bidding) 廣告模式的興起,如何把廣告更有效率的投放給合適的 TA,變得不再是僅止於想像,而是可以達得到的。這裡面 DMP 就扮演非常重要的角色。DMP 是無縫整合跨不同接觸點的消費者數據的技術,以幫助企業對何時及如何同每個用戶互動做出更好的決策,所以 DMP 內的每個數據是以消費者為中心,紀錄每一個消費者透過每一個通路在每一個時間點的互動行為訊息。換個方式說,DMP 要能夠整合、並清洗從各個通路來源所收集到的數據,然後關聯到每一個消費者身上;同時,DMP 要能以標籤的形式來管理,企業要能很容易的透過資料模型、演算法等,來為每一個消費者打上不同的標籤。精準廣告投放,就是要透過不同的標籤所篩選出的消費者群組,來完成高效率的投放。

 

不同於數位廣告商所闡述的 DMP,企業私有 DMP 已經從早期廣告服務平台逐步演變成為企業客戶行銷的核心引擎。企業私有 DMP 的重點在收攏屬於企業自身的第一方數據,也就是行銷界常說的「1st Party Data is the King」,這裡面就包含了企業官網、 行動 App、EDM、CRM、POS 等線上線下等數據。

 

之後,藉由第一方數據來完成客戶分析、鎖定核心 TA、進行 TA 分類,進而串接 EDM、推薦、廣告投放等行銷工具,提供消費者個人化的行銷體驗才得以有完成的可能。 Etu Insight 正是以企業私有 DMP 為考量的完整解決方案,藉由 Etu Insight,Etu 正式揭開 MarTech (Marketing Technology) 新的一頁。

 

 

本文作者為 Etu COO 陳育杰(Eric Chen)

 

Learn

 

 

   Etu Hadoop Competition 2016 開始報名!




Learn
比分析比創意,總獎項超過三十萬元,一人即可成隊,歡迎高手來挑戰。

 

Learn

 

 

   Follow us on instagram @Etusolution




Learn

 

洽詢專線:0800 200 018

如欲瞭解更詳盡資料,
歡迎與服務窗口聯繫:
Etu 事業發展處
李大明 解決方案顧問協理
02-8798-6088 分機 1223
dmlee@etusolution.com