產(chǎn)品經(jīng)理如何有效避開(kāi)數(shù)據(jù)分析常見(jiàn)的坑?
對(duì)產(chǎn)品經(jīng)理來(lái)說(shuō),以各項(xiàng)指標(biāo)為對(duì)象展開(kāi)數(shù)據(jù)分析,并做出對(duì)應(yīng)應(yīng)對(duì)策略是家常便飯的一件事。不過(guò),在數(shù)據(jù)分析的時(shí)候,我們總會(huì)遇到數(shù)據(jù)異常或者數(shù)據(jù)對(duì)不上的問(wèn)題,而本文就分享了如何從源頭規(guī)避這些坑的方法。
做數(shù)據(jù)統(tǒng)計(jì)和分析,是一項(xiàng)嚴(yán)密和邏輯性很強(qiáng)的工作。如果平時(shí)不多加注意,就會(huì)出現(xiàn)一些不好解釋的問(wèn)題。
比如發(fā)現(xiàn)報(bào)表數(shù)據(jù)對(duì)不上或者有些數(shù)據(jù)漲跌的原因無(wú)從解釋,這時(shí)不僅需要耗費(fèi)很多精力去排查,還有可能會(huì)誤導(dǎo)我們后續(xù)的迭代,作出一些不正確的決策。
下面我就重點(diǎn)講講,怎么從源頭來(lái)有效規(guī)避這些坑。
01?數(shù)據(jù)埋點(diǎn)的坑:埋點(diǎn)不全面和上報(bào)邏輯不一致
1. 數(shù)據(jù)埋點(diǎn)不全面、范圍錯(cuò)誤或上報(bào)邏輯不準(zhǔn)確
(1)數(shù)據(jù)埋點(diǎn)不全面
就是有遺漏的埋點(diǎn),這個(gè)可能直接導(dǎo)致重要的數(shù)據(jù)沒(méi)有辦法采集,是需要盡快排查并完成補(bǔ)救的,否則會(huì)對(duì)數(shù)據(jù)分析影響較大。
埋點(diǎn)不全通常包括兩方面:
1)點(diǎn)位缺失
比如某個(gè)頁(yè)面、某個(gè)按鈕的點(diǎn)擊位沒(méi)有加等,這個(gè)會(huì)造成數(shù)據(jù)缺失,必須重新打點(diǎn)才能補(bǔ)救;
2)參數(shù)遺漏
比如少加一個(gè)渠道的參數(shù),這個(gè)只是對(duì)數(shù)據(jù)的對(duì)維度分析有影響;
(2)取數(shù)據(jù)范圍錯(cuò)誤
比如統(tǒng)計(jì)活動(dòng)頁(yè)面的發(fā)帖,如果無(wú)法區(qū)分內(nèi)容是來(lái)自活動(dòng)頁(yè)面那就沒(méi)法做后續(xù)的分析。
(3)上報(bào)邏輯不準(zhǔn)確或不一致
比如發(fā)布按鈕是點(diǎn)擊就上報(bào),還是發(fā)布成功時(shí)再計(jì)數(shù)?點(diǎn)贊是生效才計(jì)算,還是只要點(diǎn)擊都算?這些上報(bào)邏輯的確定對(duì)后續(xù)的數(shù)據(jù)分析有很大影響,一旦不一致就會(huì)出現(xiàn)數(shù)據(jù)對(duì)不上的問(wèn)題。
2. 如何規(guī)避埋點(diǎn)問(wèn)題,確保打點(diǎn)完整和上報(bào)統(tǒng)一
這塊需要建立完整的埋點(diǎn)實(shí)施流程和打點(diǎn)模版。
(1)確立埋點(diǎn)實(shí)施的流程和規(guī)范化操作
在產(chǎn)品需求方案完成后必須開(kāi)始設(shè)計(jì)埋點(diǎn)方案,而不能拖到開(kāi)發(fā)階段,具體流程和事項(xiàng)包括:
- 明確當(dāng)前版本的核心數(shù)據(jù)指標(biāo),做好指標(biāo)定義,并梳理對(duì)應(yīng)的核心頁(yè)面和功能點(diǎn);
- 埋點(diǎn)事件設(shè)計(jì),明確事件類型(訪問(wèn)、曝光、點(diǎn)擊),事件點(diǎn)位以及細(xì)分維度(來(lái)源、用戶設(shè)備)等;
- 前端或服務(wù)端打點(diǎn)拉通和實(shí)施,確定相應(yīng)規(guī)范;
- 測(cè)試排查機(jī)制和上線驗(yàn)證;
數(shù)據(jù)埋點(diǎn)流程
(2)建立打點(diǎn)模板,做好聚類、參數(shù)命名和規(guī)則定義等
進(jìn)行具體的埋點(diǎn)設(shè)計(jì),需要建立項(xiàng)目匹配的埋點(diǎn)模板,做好規(guī)范化管理。
數(shù)據(jù)埋點(diǎn)模板
02?建報(bào)表的坑:數(shù)據(jù)統(tǒng)計(jì)口徑錯(cuò)誤或者不一致
1. 數(shù)據(jù)統(tǒng)計(jì)口徑不一致通常表現(xiàn)為:數(shù)據(jù)來(lái)源不一致、數(shù)據(jù)指標(biāo)定義和公式拆解不準(zhǔn)確
1)首先,口徑不一致最普遍的坑,就是取數(shù)據(jù)的來(lái)源不一致
這點(diǎn)很好理解,通常我們建報(bào)表都要和BI同學(xué)溝通數(shù)據(jù)是從哪里取,是從前端的打點(diǎn)取還是服務(wù)端的表里取。如果前期沒(méi)有明確出來(lái),后面很可能造成數(shù)據(jù)上來(lái)源不一致的問(wèn)題。
比如社區(qū)的發(fā)帖數(shù)據(jù),發(fā)帖UV和發(fā)帖率,如果取前端數(shù)據(jù)可能會(huì)不準(zhǔn)確,而服務(wù)端更精準(zhǔn)一些。
如果現(xiàn)有報(bào)表存在不一致,需要立即修改。
2)其次,是數(shù)據(jù)指標(biāo)定義不對(duì)
比如內(nèi)容社區(qū),拿對(duì)內(nèi)容生產(chǎn)這個(gè)指標(biāo)的定義來(lái)說(shuō),是否應(yīng)該包含評(píng)論內(nèi)容必須明確好。不能說(shuō)內(nèi)容生產(chǎn)包含評(píng)論,互動(dòng)指標(biāo)里也有評(píng)論,那就有點(diǎn)自欺欺人了。
比如對(duì)業(yè)務(wù)新用戶的定義,很多非app的業(yè)務(wù)很難以注冊(cè)和激活app來(lái)定義新用戶的,這個(gè)時(shí)候就需要明確的定義,是從來(lái)沒(méi)有使用過(guò),還是某個(gè)時(shí)期內(nèi),如一年內(nèi)新訪問(wèn)業(yè)務(wù)的用戶;
再比如流失用戶,我們通常定義可能是1個(gè)月甚至更短時(shí)間沒(méi)有啟動(dòng)app就算了,但是對(duì)于低頻的應(yīng)用,或者像教育類app存在寒暑假,你很難這么去定義;
3)還有可能,是數(shù)據(jù)指標(biāo)公式拆解不對(duì)
比如人均發(fā)帖究竟應(yīng)該是發(fā)帖量比上整體的UV還是應(yīng)該比上發(fā)帖UV?如果你比上前者你就發(fā)現(xiàn)人均發(fā)帖量很小,你就會(huì)很困惑,困惑就是因?yàn)槲覀兊墓藉e(cuò)了。我們其實(shí)要的是發(fā)帖這些人,平均會(huì)發(fā)多少條。
通常我們的數(shù)據(jù)指標(biāo)公式,比如:
- 訪問(wèn)滲透率=當(dāng)前頁(yè)面的訪問(wèn)UV/上一頁(yè)面的訪問(wèn)UV;
- 點(diǎn)擊滲透率=當(dāng)前位置的點(diǎn)擊UV/當(dāng)前頁(yè)面的訪問(wèn)UV;
- 參與率=活動(dòng)參與的UV/當(dāng)前頁(yè)面的訪問(wèn)UV;
- 人均訪問(wèn)=訪問(wèn)PV/訪問(wèn)UV
- 人均發(fā)布=發(fā)布PV/發(fā)布UV
2. 如何規(guī)避?確定數(shù)據(jù)來(lái)源,明確數(shù)據(jù)指標(biāo)的定義以及換算公式
針對(duì)數(shù)據(jù)統(tǒng)計(jì)口徑容易出現(xiàn)的問(wèn)題,我的解法是:
1)在前期建報(bào)表需求的時(shí)候,一定要梳理好指標(biāo)項(xiàng),并對(duì)指標(biāo)做好明確的定義,明確數(shù)據(jù)來(lái)源,和對(duì)應(yīng)的換算公式。
2)建數(shù)據(jù)報(bào)表前期一定做好統(tǒng)計(jì)口徑的溝通,明確哪一部分的數(shù)據(jù)從哪里?。渴侨∏岸说拇螯c(diǎn)還是取服務(wù)端的數(shù)據(jù);
通常的原則是:頁(yè)面展現(xiàn)、點(diǎn)擊、本地播放或者停留時(shí)長(zhǎng)等數(shù)據(jù)可以取前端數(shù)據(jù),數(shù)據(jù)上報(bào)依賴網(wǎng)絡(luò),且用戶刪除自己操作記錄時(shí)也會(huì)有數(shù)據(jù)丟失的情況,所以前端打點(diǎn)存在延遲和不準(zhǔn)確、不完整的缺點(diǎn);
而安裝數(shù)據(jù)、內(nèi)容生產(chǎn)、互動(dòng)數(shù)據(jù)可以使用服務(wù)端數(shù)據(jù),更為精準(zhǔn);實(shí)時(shí)性好,不存在延時(shí)上報(bào)。
3)做好公示拆解和定義。如果公式錯(cuò)誤,在數(shù)據(jù)分析時(shí)就會(huì)出現(xiàn)歸因錯(cuò)誤,所以一定要在前期規(guī)避。
這里我提供一份建表的需求模板,通常這樣完整提供給BI最保險(xiǎn)。
數(shù)據(jù)報(bào)表需求模板
03 數(shù)據(jù)分析的坑:數(shù)據(jù)指標(biāo)看絕對(duì)值,忽略鏈路和技術(shù)因素
坑1:數(shù)據(jù)指標(biāo)看絕對(duì)值,對(duì)比也看絕對(duì)差值
看絕對(duì)值的坑主要表現(xiàn)為:指標(biāo)觀察看絕對(duì)值和數(shù)據(jù)間對(duì)比看絕對(duì)差值。這塊應(yīng)該改為指標(biāo)優(yōu)先側(cè)重比率指標(biāo)。另外,做數(shù)據(jù)對(duì)比,一方面要使用比率指標(biāo)來(lái)看產(chǎn)品的效果。
比如內(nèi)容社區(qū)的發(fā)帖數(shù),如果要看這個(gè)指標(biāo)的情況,不論是前后數(shù)據(jù)對(duì)比還是設(shè)立分桶做同步對(duì)比,因?yàn)槁┒返纳弦粚樱ㄔL問(wèn)UV)肯定存在不一致的情況,所以此時(shí)使用發(fā)帖率來(lái)評(píng)估效果才是更準(zhǔn)確的。
并且,看發(fā)帖率的漲跌對(duì)比,也要看相對(duì)比值,而不是看絕對(duì)差值。
比如之前的發(fā)帖率2.4%,現(xiàn)在的發(fā)帖率是1.2%,從絕對(duì)值來(lái)看不多啊,才降了1.2個(gè)百分點(diǎn),但是實(shí)際降了100%;
坑2:只針對(duì)單一指標(biāo)進(jìn)行分析
這里的坑是將指標(biāo)分開(kāi)單一看,忽略多環(huán)節(jié)或者鏈路指標(biāo)的分析,這時(shí)候其實(shí)根本不明白數(shù)據(jù)是因?yàn)槟睦锊虐l(fā)生了變化。
還是以內(nèi)容社區(qū)產(chǎn)品為例,比如我們要看回復(fù)框的發(fā)帖成功率,你會(huì)發(fā)現(xiàn)在評(píng)論詳情頁(yè)的回復(fù)框的發(fā)布成功率比帖子詳情頁(yè)回復(fù)框的發(fā)布成功率要高。
但其實(shí)這并不能證明后面的回復(fù)框就好,其實(shí)回復(fù)框樣式通常是一樣的,只是因?yàn)檫M(jìn)入評(píng)論詳情頁(yè)且要評(píng)論的用戶忠誠(chéng)度更高,且真有評(píng)論的需求。
并且有時(shí)所說(shuō)總指標(biāo)看是漲的,但漏斗某一指標(biāo)卻跌了,所以數(shù)據(jù)分析時(shí)整體鏈路上的指標(biāo)都是需要我們關(guān)注的。
可以說(shuō)只通過(guò)對(duì)單一數(shù)據(jù)指標(biāo)的對(duì)比,通常是無(wú)效的。我們需要兼顧多種因素以及評(píng)估整個(gè)功能鏈路或者漏斗模型的數(shù)據(jù)指標(biāo)情況。
坑3:沒(méi)有考慮技術(shù)因素帶來(lái)的波動(dòng)等
有些數(shù)據(jù)波動(dòng)可能是由于網(wǎng)絡(luò)或數(shù)據(jù)接口等技術(shù)原因,對(duì)打點(diǎn)造成的影響,這塊需要考慮并作出優(yōu)化實(shí)驗(yàn);
比如我之前做ab實(shí)驗(yàn)時(shí),發(fā)現(xiàn)新版的留存就是比舊版要低,但是低的幅度很小,都是在1%以內(nèi)。
按理說(shuō)新版的體驗(yàn)比舊版要好很多,從用戶定性反饋和訪問(wèn)、生產(chǎn)、消費(fèi)等定量數(shù)據(jù)指標(biāo)都能看出來(lái)。但唯獨(dú)留存略低,經(jīng)過(guò)排查發(fā)現(xiàn),新版的首頁(yè)的接口數(shù)量增加了,請(qǐng)求時(shí)長(zhǎng)變長(zhǎng),頁(yè)面打開(kāi)成功率降低,造成新版留存略低。
所以整體上,對(duì)于微小的波動(dòng)如果確實(shí)找不到原因可以忽略,但是對(duì)于大的波動(dòng)一定要考慮技術(shù)等因素。
04 小結(jié)
數(shù)據(jù)統(tǒng)計(jì)和分析的避坑卡片
總之,在數(shù)據(jù)統(tǒng)計(jì)和分析時(shí),我們只有有效避開(kāi)這些常見(jiàn)的坑,才能更好得出我們想要的分析結(jié)果,指導(dǎo)我們的后續(xù)迭代。
#專欄作家#
阿外,微信公眾號(hào):波悟館,人人都是產(chǎn)品經(jīng)理專欄作家。10年互聯(lián)網(wǎng)產(chǎn)品經(jīng)歷,關(guān)注社交/教育和新消費(fèi)領(lǐng)域,聚焦行業(yè)分析和產(chǎn)品力建設(shè)。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議
- 目前還沒(méi)評(píng)論,等你發(fā)揮!