本文根據神策數據治理研發負責人王灼洲、神策 SDG 負責人徐緩題為《ID-Mapping 用戶打通那些事兒》的演講整理,主要內容如下:
什么是 ID-Mapping
全域用戶打通面臨的挑戰
ID-Mapping 方案演進
關于 ID-Mapping 的認知迭代
近些年,神策數據一直在幫助客戶落地數據驅動,在此過程中,ID-Mapping 一直是一個非常關鍵的問題,包括廣告行業的 ID 標準化,金融行業的反欺詐風控及個人信息安全、隱私保護、合規等。
今天主要圍繞全域用戶經營,從數據采集和數據治理兩方面,以及我們遇到的挑戰出發,以點帶面講一講我們在 ID-Mapping 上取得的一些進展。
關注神策數據公眾號,回復“2021演講PPT”即可免費下載完整版演講 PPT。
一、什么是 ID-Mapping
在深入講解 ID-Mapping 之前,我們先講一下什么是用戶 ID。用戶 ID 是描述真實世界中用戶的數字化標識。在特定的上下文和生命周期中,這些標識通常具有唯一性。
ID-Mapping 要做的就是將同一個用戶在各個不同渠道、生態及業務系統中的身份標識串聯起來,生成一個統一的用戶標識。
如果你覺得這個描述過于抽象,那么我們以神策 2021 數據驅動大會為例。為了呈現一場精彩、圓滿的大會,市場部同學在全域、全渠道、全鏈路都做了全方位的努力。某電商企業產品經理小徐,通過媒體渠道的文章了解到神策 2021 數據驅動大會,他對大會非常感興趣并主動搜索神策數據的宣傳稿件,然后進入神策的官網了解大會詳情。此時,我們在小徐知情同意的情況下,可以獲取到小徐的 Cookie ID、Android ID、IDFA 以及 IDFV 等一些設備 ID。當小徐報名大會時,需要提交姓名、手機號碼、郵箱以及公司的相關信息等。報名結束后,小徐希望在會前對神策的產品做進一步了解,所以,他會主動瀏覽神策數據官網的幫助文檔、關注神策學堂服務號等。通過關注神策學堂服務號這一動作,我們又可以獲取到小徐的 Union ID、Open ID 等。
神策 2021 數據驅動大會的宣傳渠道覆蓋官網、微信、小程序、企業微信等,像小徐一樣報名本次大會的用戶有近萬人,用戶旅程是千差萬別的,他們在各個觸點上的行為也是大不相同的。對于神策數據市場部的同學來說,面臨的問題包括:如何判斷這些用戶中哪些是神策的客戶?有多少能夠通過此次大會轉變成神策的客戶?各個宣傳環節的轉化率如何?聯動城市的宣傳方面能夠做什么樣的優化等等。
關注神策數據公眾號,回復“2021演講PPT”即可免費下載完整版演講 PPT。
要想解決這些問題,需要借助 ID-Mapping 的能力。
ID-Mapping 能夠通過對各個渠道、生態、業務系統中用戶 ID 的關聯,將其識別成統一的用戶。也就是說,ID-Mapping 要做的工作是通過統一的實體去識別和連接,打破數據孤島,最終實現數據融通。在《全域用戶經營與營銷閉環產品體系構建》中,我們已經了解到,全域用戶經營是指通過打通線上線下全渠道、全觸點、全鏈路的多主體用戶數據,從洞察、拉新、轉化和留存等多個層面幫助企業精準觸達和營銷,以此促進企業與用戶的深度溝通,深入進行用戶行為分析和業務經營的全過程。ID-Mapping 作為全域用戶經營過程中的關鍵一環,是打通全域用戶數據精準觸達和實現公域私域聯動運營的基礎。
二、全域用戶打通面臨的挑戰
ID-Mapping 在獨立應用到跨業務系統、單一場景到全域打通過程中,面臨挑戰不斷。
舉個例子,在某服裝品牌的用戶旅程中,用戶從社交媒體、電商平臺等渠道了解該品牌,產生興趣之后通過電商平臺完成第一次購買,當使用產品過程中感知到產品的價值后,用戶會主動完成分享裂變等動作,以及持續復購。
該用戶旅程涉及數十個渠道,品牌與用戶的觸點有成百上千個,會產生各種各樣的用戶行為和用戶標識,而打通這些數據刻畫完整的用戶旅程并非易事。
同樣,我們以用戶小徐為例。小徐在電商平臺購買了某品牌的子品牌 C 的產品;掃描線下門店的海報二維碼,添加了子品牌 A 的企業微信;通過朋友分享的小程序,小徐下單了子品牌 B 的產品;同時,小徐通過同事的朋友圈關注了品牌的微信公眾號。通過以上場景,我們可以看到該品牌擁有多個子品牌,每個子品牌有自己不同的營銷渠道,覆蓋線上線下、公域私域等。
但因為構建渠道的時間不同,各個子品牌的用戶 ID 是否打通也并不一致,甚至有可能子品牌 A 和子品牌 B 的會員系統是完全獨立的。
總結來說,全域用戶打通面臨的挑戰有兩點:
1、全域數據多雜亂。企業數據大多來源于多個業務線,包括自有系統、集團 ERP、CRM 以及第三方電商平臺、線下會員體系等。
2、方案復雜難維護。主要表現在:各業務線業務邏輯盤點、跨業務線方案協同、線上線下/公域私域打通、復雜繁瑣的 ETL 處理等。
關注神策數據公眾號,回復“2021演講PPT”即可免費下載完整版演講 PPT。
三、ID-Mapping 方案演進
神策數據的初代 ID-Mapping 主要解決的是用戶匿名行為和登錄以后行為數據前后打通的事情,也就是在 SDK 埋點數據上報以后,通過數據預處理的方式,把用戶的設備 ID 和登錄后的業務 ID 進行關聯,生成一個映射 ID 作為統一標識,來打通用戶在登錄前后的行為數據。
詳細來講,用戶在登錄之前會有一個匿名 ID,也可以叫做設備 ID,所有的用戶行為都可以通過設備 ID 來進行標識。當用戶完成注冊并登錄后,會遵照《隱私政策》及《用戶使用協議的約定》為其分配統一的用戶 ID,即登錄 ID,此時便可以將設備 ID 與登錄 ID 同時上報,在數據處理管線中,負責 ID-Mapping 的模塊會依照規則來更新關聯關系,獲取或者生成映射 ID,通過此 ID 洞察用戶在 App 中的所有行為。
針對現階段的兩個問題,我們有兩個解決方案:一是全端覆蓋的開源 SDK,二是簡單直接的關聯接口。目前,神策數據已開源的 SDK 覆蓋前后端、小程序、游戲、第三方框架等 50+ SDK。
但是,初代 ID-Mapping 解決的是單域內登錄前后的行為數據打通,對跨域、多系統場景無能為力。
回到剛才的服裝品牌案例中,多個系統有多個業務 ID、多個登錄 ID,如果想要打通多個業務系統的數據,是很難僅依靠匿名 ID 和登錄 ID 的打通來實現的。對于服裝品牌來說,大部分的應用和系統可能都是外包建立的,并且根據不同子品牌的業務訴求分時間建立,因此很難在一開始便完成從上到下的統一 ID 規劃;同時,對于微信、支付寶中的用戶數據也沒有被很好的采集治理;各應用、渠道分別由不同的部門運營,看數的計算口徑不統一,對 ID 的定義千差萬別,因此亟需一個新的方案來做數據打通。
比如,在微信小程序中,我們可以通過合規途徑獲取到它的 Open ID 和 Union ID,當用戶完成授權后,會被自動分配一個登錄 ID 或業務 ID,如果用戶同意的話,用戶的手機號碼也會一并上傳給小程序。當用戶進入 App 時,通過多端 ID 自動識別匹配,企業可以有效地將小程序和 App 兩個場景中的用戶 ID 進行關聯。
對于第三方電商平臺來說,他們通常會通過公用的 ERP 電商系統,對用戶做精準 ID 識別,然后通過用戶的手機號將多場景中的 ID 進行關聯打通。
所以,多域系統打通的本質就是通過各種用戶標識,尋找到能夠公用的關聯 ID,然后提供一個統一 ID 來完成用戶行為數據的關聯與打通。
進一步詳細來講,用戶匿名訪問期間,一般使用 Union ID 來記錄用戶行為,此時還可以獲取到對應 Open ID,需要在外部的關系庫中,記錄 Open ID 和 Union ID 的對應關系;當用戶授權手機號后,可以獲取/生成該用戶的 User ID,先正常關聯 User ID 和 Union ID,然后使用 User ID 來記錄用戶行為。同時,外部邏輯需要根據之前記錄的 Open ID 和 Union ID 的對應關系,額外觸發 User ID 和 Open ID 的關聯,以及 User ID 和手機號的關聯,最終保證該用戶的所有 ID 都與對應的 User ID 進行關聯。
上述邏輯看起來不復雜,但是需要在所有的端都做一遍,在公眾號、自建應用中,整體的實施成本非常高,需要維護復雜的 ETL 程序,來進行 ID 之間的關聯邏輯處理,代碼里大量邏輯判斷,成百上千的 if/else、并集差集對比等。
在我們過往服務客戶的過程中,遇到過極其復雜的 ID 關聯邏輯,這對我們是巨大的挑戰,單純通過簡單的 SDK 已經無法滿足客戶的需求,使用定制化的 ETL 手工程序來做 ID-Mapping 的擴展性和維護性較差,導致打通成本高、交付周期長,后續的交付與迭代也難以開展。
因此,新一代的 ID-Mapping 圍繞全域數據接入能力和自動化的關聯識別,為解決以上問題而生。
關注神策數據公眾號,回復“2021演講PPT”即可免費下載完整版演講 PPT。
基于平臺化的數據接入框架,神策數據提供多種預置數據源的接入,包括文件、數據庫等。同時,企業也可以在平臺上自定義開發插件,將其部署到生態平臺完成接入。
對于新一代的 ID-Mapping 來說,能力本質依舊是有一個或多個共同 ID 能夠將多個體系關聯起來。這里需要額外關注四個要點:
第一,梳理各系統的用戶 ID。比如在微信小程序里,通常是通過 Union ID 來做整體的數據關聯,不同的商城里有不同的 Open ID,在不同系統里可以拿到用戶授權使用的用戶 ID,包括你的自建應用生成的用戶 ID 或者手機號等,都可以通過自定義作為 ID-Mapping 的 ID。
第二,微信公眾號默認適配,無需額外做數據處理。像 Open ID、Union ID 之間的父子關系等關聯關系我們已經做好了,企業只需要拿到授權接入數據即可。
第三,微信小程序、自建應用調用 Bind 接口上報需要關聯的 ID。
第四,第三方平臺、客戶內部系統的數據表可通過統一數據接入平臺進行接入,在界面上進行 ID 映射的配置。
在該過程中,神策數據能夠幫助企業統一地定義和規范 ID。
關于數據上報,我們以 MySQL 舉例,企業可以通過 MySQL 的界面化配置連接數據庫,完成同步后通過關聯關系的映射,自動化完成用戶關聯。
綜合來說,神策數據的 ID-Mapping 流程首先是一個域關聯的流程,包括對 ID 的基本格式檢查,ID 跟 ID 之間有無定義沖突等,在真正進行用戶關聯時,會通過圖計算的方式幫助企業完成用戶關聯。
用戶關聯之后,不同渠道用戶屬性的合并也是不容忽視的環節。比如,對于一個保險系統來說,用戶在 App 端和微信公眾號均會進行個人信息的提交,對于年齡這一屬性來說,應該以哪個場景上報的數據為準呢?當前我們默認提供了基于 ID 優先級和上報時間的合并策略,未來我們會提供更豐富的策略以及可配置的能力,比如企業可以自定義某個渠道的數據源為唯一信任的源,只有該渠道上報的值在合并時會被采用。
關注神策數據公眾號,回復“2021演講PPT”即可免費下載完整版演講 PPT。
四、關于 ID-Mapping 的認知迭代
在神策數據 ID-Mapping 方案的迭代過程中,伴隨著我們的認知變化,從單一場景到全域經營,數據源在變多,ID 體系在變復雜,因此需要復雜的解決方案。但越是復雜,落地方案越要簡單且可持續迭代。
整體來說,神策數據關于 ID-Mapping 的認知與方案的演進歷程如下:
1、多端打通,貫穿前后。基于全端 SDK 和一行關聯,減少自研 SDK 的成本,并增強用戶關聯體驗。
2、全域用戶打通。通過全域數據采集,預置數據源的接入,幫助企業節省開發導入工具的成本,進而實現自動化關聯。
3、全場景智能化。結合神策數據目前的平臺化戰略,未來我們將繼續向下沉淀核心功能,向上豐富場景庫,滿足不同行業、不同運營場景中的 ID-Mapping 需求,幫助企業實現自動化、智能化。
神策數據自成立以來,持續通過技術 + 服務為客戶帶來價值。在 ID-Mapping 用戶打通方面,我們提供全域數據接入平臺幫助客戶降本增效,借助智能管理引擎幫助客戶擺脫維護復雜 ID 關系的困境,始終堅持為客戶提供卓越的產品體驗;同時通過基于平臺插件的定制化服務和行業化的場景庫,為客戶提供完善的服務支持,進而幫助客戶打破數據孤島,實現數據融通,實現真正意義上的數字化經營。
關注神策數據公眾號,回復“2021演講PPT”即可免費下載完整版演講 PPT。
(新聞稿 2022-02-08)