一、數(shù)據(jù)過程

數(shù)據(jù)生產(chǎn)-數(shù)據(jù)采集-數(shù)據(jù)處理-數(shù)據(jù)分析和挖掘-數(shù)據(jù)驅(qū)動/反饋

eg.用戶操作app時產(chǎn)生行為數(shù)據(jù)，通過數(shù)據(jù)采集系統(tǒng)采集，對采集的數(shù)據(jù)進(jìn)行處理（實時數(shù)據(jù)處理+離線數(shù)據(jù)處理）得到統(tǒng)計數(shù)據(jù)進(jìn)行數(shù)據(jù)分析 并將結(jié)果呈現(xiàn)出來以復(fù)盤總結(jié)當(dāng)前版本并驅(qū)動下一個產(chǎn)品迭代，或者 清洗后的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，實時反饋給用戶（如推薦）。

數(shù)據(jù)采集，顧名思義采集相應(yīng)的數(shù)據(jù)，是整個數(shù)據(jù)流的起點，采集的全不全、對不對，直接決定數(shù)據(jù)廣度和質(zhì)量，影響后續(xù)所有的環(huán)節(jié)。在數(shù)據(jù)采集失效性、完整性不好的公司，經(jīng)常會有業(yè)務(wù)方發(fā)現(xiàn)數(shù)據(jù)發(fā)生的大幅度變化，追其所以時發(fā)現(xiàn)是數(shù)據(jù)采集的問題（見附注）。而另一方面，采集什么數(shù)據(jù)才能有效的得到數(shù)據(jù)分析結(jié)論，才能有效的進(jìn)行推薦，就需要提前規(guī)劃【埋點】。

當(dāng)前數(shù)據(jù)采集普遍遇到的幾個問題：

1.實時性，對于工具性產(chǎn)品在無網(wǎng)條件下的數(shù)據(jù)，無法實時上報；

2.完整性，由于用戶隱私協(xié)議&歐盟通用數(shù)據(jù)保護(hù)條例的，部分?jǐn)?shù)據(jù)無法采集；

3.異常，android_id、idfa、idfv 隨版本升級變化 或 無法獲取。

二、數(shù)據(jù)埋點

接下來用5w2h的思路來看埋點

1.埋點是什么？

所謂“埋點”，是數(shù)據(jù)采集領(lǐng)域（尤其是用戶行為數(shù)據(jù)采集領(lǐng)域）的術(shù)語，指的是針對特定用戶行為或事件進(jìn)行捕獲、處理和發(fā)送的相關(guān)技術(shù)及其實施過程。

埋點的技術(shù)實質(zhì)，是先監(jiān)聽軟件應(yīng)用運行過程中的事件，當(dāng)需要關(guān)注的事件發(fā)生時進(jìn)行判斷和捕獲，然后獲取必要的上下文信息，最后將信息整理后發(fā)送至服務(wù)器端。所監(jiān)聽的事件，通常由操作系統(tǒng)、瀏覽器、APP框架等平臺提供，也可以在基礎(chǔ)事件之上進(jìn)行觸發(fā)條件的自定義（如點擊某一個特定按鈕）。

2.埋點是誰的工作

現(xiàn)在公司通常都會有數(shù)據(jù)產(chǎn)品經(jīng)理 或 業(yè)務(wù)線數(shù)據(jù)分析師 結(jié)合版本迭代過程進(jìn)行埋點。

3.when&where

埋點是目的導(dǎo)向。

在產(chǎn)品規(guī)劃時就要思考數(shù)據(jù)埋點問題，如果在產(chǎn)品外發(fā)后再考慮怎么埋點，就會導(dǎo)致前期版本用戶的數(shù)據(jù)無法收集，想要看某個數(shù)據(jù)時就無可奈何，只有等到新版本完善來彌補。

思考要埋哪些點、埋點的形式，需要緊密結(jié)合產(chǎn)品迭代的方向、運營需求，并和數(shù)據(jù)開發(fā)等進(jìn)行充分溝通 以確認(rèn) 1.埋點能夠得到想要的數(shù)據(jù)解決/支持；2.能夠得到當(dāng)前版本的復(fù)盤情況；3.后續(xù)版本的數(shù)據(jù)支撐.

通常的溝通過程以 埋點文檔為載體；數(shù)據(jù)埋點評審 為終結(jié)。

當(dāng)前版本的復(fù)盤情況

(1).新版本功能使用情況，是否符合預(yù)期；

(2).新功能上線后對其他功能點的影響？是否為整體均有積極作用；

(3).版本運營活動目標(biāo)群體的特征獲取;

(4).新增商業(yè)化目標(biāo)的監(jiān)測...

后續(xù)版本的數(shù)據(jù)支撐

(1).規(guī)劃方向的用戶行為分析

(2).畫像特征分析

5.為什么埋點

上述第一節(jié)已經(jīng)講過，不再復(fù)述。

6.怎么埋點呢？

?????1).埋點技術(shù)

????監(jiān)測代碼、SDK和埋點

接著【埋點是什么？】來看下埋點技術(shù)層面的區(qū)分：代碼埋點、可視化埋點和無埋點

????代碼埋點

能夠監(jiān)測網(wǎng)站上用戶的行為，或者app上用戶的行為，是需要在網(wǎng)站的每一頁或者app中加上一些程序代碼的（這里就不考慮日志分析這種方法了），也就是**代碼埋點**。這樣的程序代碼，在網(wǎng)站上叫**監(jiān)測代碼**，在app中叫**SDK（Software Development Kit）**。無論你是要監(jiān)測網(wǎng)站，還是要監(jiān)測app，你都必須加上這類代碼，不加代碼就收集不到數(shù)據(jù)。

優(yōu)點：控制發(fā)送數(shù)據(jù)時間，事件自定義屬性詳細(xì)記錄；

缺點：時間、人力成本大，數(shù)據(jù)傳輸?shù)臅r效性。

????可視化埋點

利用可視化交互手段，通過可視化界面配置控件操作與事件操作發(fā)生關(guān)系，通過后臺截屏的方式采集數(shù)據(jù)。

優(yōu)點：成本低，速度快；

缺點：行為記錄信息少，支持的分析方式少。

????無埋點

用戶展現(xiàn)界面元素時，通過控件綁定觸發(fā)事件，事件被觸發(fā)的時候系統(tǒng)會有相應(yīng)的接口讓開發(fā)者處理這些行為?，F(xiàn)在市面上主流無埋點做法有兩種，一種是預(yù)先跟蹤所有的渲染信息，一種是滯后跟蹤的渲染信息。

優(yōu)點：無需埋點，方便快捷；

缺點：行為記錄信息少，傳輸壓力大。

Question：無埋點是真的不用埋點么？

無埋點是指開發(fā)人員集成采集 SDK 后，SDK 便直接開始捕捉和監(jiān)測用戶在應(yīng)用里的所有行為，并全部發(fā)送到分析平臺，不需要開發(fā)人員添加額外代碼。在分析時，業(yè)務(wù)人員通過分析平臺的圈選功能來選出自己關(guān)注的用戶行為，并給出事件命名。之后便可以對特定用戶行為（事件）進(jìn)行多維分析了。無埋點和可視化埋點是比較像，都不需要開發(fā)人員手工加代碼，也都需要業(yè)務(wù)人員進(jìn)行所關(guān)注的用戶行為的圈選。**兩者最大的不同是在用戶終端的表現(xiàn)上，可視化埋點只采集業(yè)務(wù)人員關(guān)注的用戶行為數(shù)據(jù)，而無埋點是會采集所有用戶的行為數(shù)據(jù)，通常情況下數(shù)據(jù)量后者比前者大很多。**

客戶端埋點 & 服務(wù)端埋點

客戶端埋點的優(yōu)缺點

好處

（1）能夠搜集頁面展示、點擊行為；

（2）可以收集不需要請求服務(wù)器的數(shù)據(jù)，如音樂的本地播放、頁面停留時長等。

缺點

（1）由于數(shù)據(jù)上報需要網(wǎng)絡(luò)，當(dāng)用戶產(chǎn)生行為而沒有網(wǎng)絡(luò)時，則會延遲上報數(shù)據(jù)，影響數(shù)據(jù)的實時性。這點在工具型產(chǎn)品上表現(xiàn)尤其強烈。

（2）如果用戶刪除自己的APP操作記錄，或者無網(wǎng)連接時數(shù)據(jù)存儲達(dá)到上限，則會造成數(shù)據(jù)丟失，影響數(shù)據(jù)的完整性。

（3） 當(dāng)需要改變埋點時，需要更新版本才行，但是會存在有些用戶不更新版本情況，影響數(shù)據(jù)質(zhì)量。

服務(wù)端埋點

**優(yōu)點**

（1）實時性好：實時收集，數(shù)據(jù)很準(zhǔn)確，不存在延時上報；

（2）變更成本小：當(dāng)要改變埋點時，只要改變，上報數(shù)據(jù)就會改變；

（3）能夠收集不在APP內(nèi)發(fā)生的行為，只要請求服務(wù)器就行，而客戶端只能收集在客戶端中的操作行為，如統(tǒng)計從其他APP引流的安裝量。

缺點

（1）不能收集不需要請求服務(wù)器的數(shù)據(jù)；

（2）用戶沒聯(lián)網(wǎng)的時候不能夠采集數(shù)據(jù)。

當(dāng)前大多數(shù)產(chǎn)品&公司都是客戶端、服務(wù)端相結(jié)合。

各種埋點場景&埋點建議

客戶端數(shù)據(jù)：頁面點擊數(shù)據(jù)，eg.tab欄的點擊，某個icon的點擊（各入口點擊對比使用情況，統(tǒng)計頁面點擊行為的轉(zhuǎn)化漏斗）

服務(wù)端數(shù)據(jù)：安裝數(shù)據(jù)，下載后安裝情況；內(nèi)容數(shù)據(jù)，eg.某個視頻內(nèi)容 曝光/展示/播放數(shù)據(jù)；搜索內(nèi)容

以視頻產(chǎn)品為例的一次埋點過程

1. 明確產(chǎn)品動態(tài)，梳理數(shù)據(jù)需求；

eg.當(dāng)前為一個視頻社區(qū)軟件，增加了**舞蹈跟拍**功能，用戶可以根據(jù)不用的舞蹈來進(jìn)行拍攝(運營同學(xué)對舞蹈進(jìn)行了分類，主打幾個舞蹈)，目的是為了給用戶提供低成本創(chuàng)造視頻內(nèi)容的方式。

基于上述的產(chǎn)品目的，期望能了解 a.該功能的使用情況（uv，pv，使用過程漏斗）; b.生產(chǎn)的視頻情況（視頻數(shù),視頻的互動情況），是否能實現(xiàn)促進(jìn)內(nèi)容生產(chǎn)帶動社區(qū)氛圍的目標(biāo);

2. 數(shù)據(jù)需求轉(zhuǎn)化為指標(biāo)&埋點，并與數(shù)據(jù)開發(fā)進(jìn)行討論；

????a.功能使用uv、pv，

????b.對其他拍攝功能的影響；

????a，b：可以服務(wù)端打點，也可以客戶端打點，但因為視頻社區(qū)的基于內(nèi)容的互動行為基本都在服務(wù)端，所以建議服務(wù)端打點。

????c.拍攝流程的轉(zhuǎn)化漏斗；

? ??拍攝流程主要是頁面的點擊過程，故使用客戶端埋點，并記錄uv，pv。

????d.跟拍視頻的播放、點贊、評論、分享、關(guān)注、二次被跟拍的情況；

????f.跟拍舞蹈的類型，明確用戶是否偏向于某個類型的舞蹈跟拍；

????d，f服務(wù)端，基于內(nèi)容的互動行為基本都在服務(wù)端。

3. 版本上線

4. 按照預(yù)期進(jìn)行數(shù)據(jù)分析，產(chǎn)品迭代復(fù)盤。數(shù)據(jù)分析過程，注意查看是否與預(yù)期相符，是否有優(yōu)化點。

參考：

https://blog.csdn.net/heatdeath/article/details/72817838

http://www.chinawebanalytics.cn/auto-event-tracking-good-bad-ugly/

https://blog.csdn.net/wangyiyungw/article/details/80179730

https://www.cnblogs.com/111testing/p/7672833.html

https://blog.csdn.net/wangyiyungw/article/details/80179730

https://www.zhihu.com/question/36411025/answer/144973846