數(shù)據(jù)分析:詳解2種常見(jiàn)的分析方法

3 評(píng)論 20632 瀏覽 62 收藏 11 分鐘

無(wú)論是產(chǎn)品功能還是運(yùn)營(yíng)策略,都需要通過(guò)數(shù)據(jù)來(lái)提供參考與指導(dǎo)。本文通過(guò)業(yè)務(wù)場(chǎng)景和案例呈現(xiàn),詳細(xì)拆解2種最常見(jiàn)的數(shù)據(jù)分析方法——對(duì)比分析法和控制變量分析法,讓我們的數(shù)據(jù)分析少走彎路。

第一種:對(duì)比分析法

“無(wú)對(duì)比,不分析”,對(duì)比分析法也叫對(duì)比法,是數(shù)據(jù)分析中最常見(jiàn)也是最基礎(chǔ)的分析方法,

如果我們對(duì)數(shù)據(jù)的評(píng)估和匯報(bào)缺少了對(duì)比,就無(wú)法說(shuō)明效果是好還是壞。

1. 絕對(duì)數(shù)對(duì)比 與 相對(duì)數(shù)對(duì)比

首先我們需要了解絕對(duì)數(shù)對(duì)比和相對(duì)數(shù)對(duì)比:

  • 在數(shù)據(jù)分析中,絕對(duì)數(shù)對(duì)比一般是指正數(shù)之間的對(duì)比,如支付人數(shù)、DAU、GMV等;
  • 而相對(duì)數(shù)對(duì)比一般是相對(duì)數(shù)之間的對(duì)比,如轉(zhuǎn)化率、增長(zhǎng)率、完成率等。

如下圖登錄用戶(hù)量的對(duì)比就屬于絕對(duì)數(shù)對(duì)比,用戶(hù)留存率的對(duì)比則屬于相對(duì)數(shù)對(duì)比。

2. 環(huán)比分析

環(huán)比,表示連續(xù)2個(gè)統(tǒng)計(jì)周期內(nèi)的量級(jí)變化比,例如連續(xù)兩日、兩周、兩月的量級(jí)變化比,都可以稱(chēng)為環(huán)比。環(huán)比分析一般體現(xiàn)該時(shí)間段對(duì)比上個(gè)連續(xù)時(shí)間段的數(shù)據(jù)變化情況。

計(jì)算公式:環(huán)比增長(zhǎng)率=(本期數(shù)-上期數(shù))/上期數(shù) × 100%

舉個(gè)環(huán)比分析簡(jiǎn)單例子:我們?cè)?月第三周針對(duì)50%的隨機(jī)用戶(hù)A群進(jìn)行了活動(dòng)營(yíng)銷(xiāo)激勵(lì),整體GMV環(huán)比第二周上升50%。

這里就是將第二周看做基準(zhǔn),默認(rèn)第三周自然GMV為100萬(wàn)。通過(guò)活動(dòng)營(yíng)銷(xiāo)激勵(lì)后,第三周實(shí)際GMV為150萬(wàn),對(duì)比第二周增長(zhǎng)了50萬(wàn),環(huán)比增長(zhǎng)率為50%。

這個(gè)例子來(lái)說(shuō),如果在正常情況下,環(huán)比分析給出的50%增長(zhǎng),可以證明活動(dòng)帶來(lái)了明顯的GMV增長(zhǎng),效果好像不錯(cuò),但是環(huán)比分析結(jié)果也會(huì)存在騙人的時(shí)候,我們繼續(xù)往下看下面的例子:

看到活動(dòng)效果良好,我們?cè)?月第四周又取了剩下的隨機(jī)用戶(hù)群B進(jìn)行了活動(dòng)營(yíng)銷(xiāo)激勵(lì),GMV環(huán)比第三周反而下降了7%。同樣的激勵(lì)策略,不僅沒(méi)有得到環(huán)比提升50%的數(shù)據(jù)效果重現(xiàn),反而下降了7%。

在這里就體現(xiàn)出了一個(gè)環(huán)比分析法的弊端無(wú)法消除周期波動(dòng)變化的影響。

原因是我們的產(chǎn)品在節(jié)假日前期數(shù)據(jù)波動(dòng)特別大,僅通過(guò)該環(huán)比數(shù)據(jù)沒(méi)有辦法客觀(guān)的進(jìn)行運(yùn)營(yíng)效果評(píng)估。如9月第四周是國(guó)慶前的最后一周,用戶(hù)的交易數(shù)據(jù)會(huì)有明顯的下降,營(yíng)銷(xiāo)動(dòng)作是很難提升GMV超過(guò)上周(上期)的量級(jí)水平,如果通過(guò)僅僅通過(guò)環(huán)比給出的數(shù)據(jù)結(jié)果,一定是本期對(duì)比上期環(huán)比下降x%。

遇到這種周期波動(dòng)特別大的分析場(chǎng)景,則需要加入同比分析法,與環(huán)比分析法共同進(jìn)行分析。

3. 同比分析法

同比,表示本期與上年同期的量級(jí)變化比,例如本日、本周、本月內(nèi)的量級(jí)變化對(duì)比去年同日、同周、同月的量級(jí)變比。

計(jì)算公式與環(huán)比增長(zhǎng)率相同:

同比增長(zhǎng)率=(本期數(shù)-上期數(shù))/上期數(shù) × 100%

同樣國(guó)慶前做活動(dòng)的例子,通過(guò)環(huán)比分析,因?yàn)楣?jié)假日因素波動(dòng),沒(méi)有辦法得到真實(shí)的營(yíng)銷(xiāo)增長(zhǎng)情況,那么通過(guò)環(huán)比+同比分析,就可以對(duì)比出9月第四周對(duì)比上年同期的增長(zhǎng)情況:

  • 18年環(huán)比:18年9月第四周 環(huán)比 第三周,GMV下降20%;
  • 19年環(huán)比:而19年9月第四周 環(huán)比 第三周,GMV僅下降7%,下降幅度小于去年下降水平;
  • 19年同比:且19年9月第四周 同比 18年9月第四周,GMV上漲75%,而第三周的同比上漲僅為50%;

綜上的環(huán)比與同比分析,我們可以對(duì)19年9月第四周的運(yùn)營(yíng)策略做出真實(shí)評(píng)估:有效的帶來(lái)GMV增長(zhǎng)。

此外,我們還可以根據(jù)18年9月第四周的環(huán)比降幅,預(yù)估19年9月第四周的自然GMV,從而評(píng)估19年9月第四周的GMV增長(zhǎng)量為20萬(wàn):

  • 19年9月第四周GMV增長(zhǎng)=實(shí)際GMV-自然GMV
  • 19年9月第四周GMV增長(zhǎng)=實(shí)際GMV-19年第三周GMV*(1+19年9月第三周同比增長(zhǎng)率)
  • 19年9月第四周GMV增長(zhǎng)=140萬(wàn)-150萬(wàn)*(1-20%)= 20萬(wàn)

同比主要是為了消除可能存在的周期變動(dòng)的影響,當(dāng)連續(xù)兩個(gè)周期波動(dòng)特別大的時(shí)候,就不能只用環(huán)比去進(jìn)行效果評(píng)估了,則需要將同比與環(huán)比放在一起進(jìn)行分析。

那么同比和環(huán)比都用上了,就能保證數(shù)據(jù)結(jié)果的正確性嗎?

不一定,接著上面的活動(dòng)來(lái)說(shuō),我們預(yù)估2019年9月第四周的自然GMV,是默認(rèn)2018年9月第四周是沒(méi)有進(jìn)行任何對(duì)GMV產(chǎn)生波動(dòng)動(dòng)作的自然環(huán)比下降,但如果2018年9月第四周有進(jìn)行用戶(hù)激勵(lì)的運(yùn)營(yíng)動(dòng)作,那真實(shí)的環(huán)比降幅可能就不止20%,甚至更高。

考慮到這種未知的干擾情況,影響我們對(duì)數(shù)據(jù)結(jié)果的評(píng)估與分析,我們就需要換一種能夠減少未知干擾的分析方法——控制變量分析法。

第二種:控制變量分析法

1. 什么是控制變量法

控制變量法是在蒙特卡洛方法中用于減少方差的一種技術(shù)方法。該方法通過(guò)對(duì)已知量的了解來(lái)減少對(duì)未知量估計(jì)的誤差。

控制變量法簡(jiǎn)單來(lái)講,就是我們工作中最常見(jiàn)的A/B test。制定兩種方案,將用戶(hù)隨機(jī)分成實(shí)驗(yàn)組與對(duì)照組,實(shí)驗(yàn)組用戶(hù)進(jìn)行產(chǎn)品功能或營(yíng)銷(xiāo)激勵(lì)的單一變量干預(yù),對(duì)照組不進(jìn)行任何干預(yù)自然運(yùn)行,一段時(shí)間后分別統(tǒng)計(jì)兩組用戶(hù)的數(shù)據(jù)表現(xiàn),評(píng)估功能或激勵(lì)效果。

A/B test 的優(yōu)化內(nèi)容主要有6個(gè)方向,可以根據(jù)不同的內(nèi)容設(shè)計(jì)不同的優(yōu)化方案,進(jìn)行效果測(cè)試;

2. 控制變量法分析過(guò)程

我們以發(fā)放6元無(wú)門(mén)檻紅包激勵(lì)用戶(hù)下單為例,看下A/B test在營(yíng)銷(xiāo)中分析過(guò)程;

  1. 將目標(biāo)用戶(hù)群隨機(jī)劃分為實(shí)驗(yàn)組和對(duì)照組,每組各10萬(wàn)人,保證兩組用戶(hù)隨機(jī)分布;
  2. 將實(shí)驗(yàn)組進(jìn)行單一變量營(yíng)銷(xiāo),如發(fā)放6元無(wú)門(mén)檻紅包,對(duì)照組不進(jìn)行營(yíng)銷(xiāo),用于觀(guān)測(cè)自然轉(zhuǎn)化情況;
  3. 觀(guān)察一段時(shí)間內(nèi)的轉(zhuǎn)化率及客單價(jià)數(shù)據(jù),評(píng)估支付人數(shù)提升與GMV提升效果;

提升支付人數(shù):對(duì)實(shí)驗(yàn)組進(jìn)行干預(yù)后提升了轉(zhuǎn)化率,實(shí)際提升支付人數(shù)2000人。

GMV提升:將提升的支付人數(shù)結(jié)合客單價(jià)進(jìn)行計(jì)算,統(tǒng)計(jì)最終的GMV提升40萬(wàn)。

3. 特別注意兩點(diǎn)

通過(guò)ABtest只能減少未知情況帶來(lái)的干擾,無(wú)法做到完全排除未知情況帶來(lái)的干擾,所以在落地的過(guò)程中,仍有兩點(diǎn)需要特別注意,不要被數(shù)據(jù)欺騙:

(1)實(shí)驗(yàn)組與對(duì)照組的用戶(hù)群樣本量太少

實(shí)驗(yàn)組和對(duì)照組的樣本量不需要完全一致,但至少需要保障一定的量級(jí),如果樣本量級(jí)太小,很容易受到個(gè)體的影響,導(dǎo)致結(jié)果異常。

若想降低個(gè)體影響可以參考以下兩種方案:

  • 擴(kuò)大試驗(yàn)樣本:提高實(shí)驗(yàn)組或?qū)φ战M的用戶(hù)群,降低個(gè)體影響;
  • 延長(zhǎng)試驗(yàn)時(shí)間:將數(shù)據(jù)監(jiān)控的時(shí)間延長(zhǎng),讓數(shù)據(jù)結(jié)果盡可能的收斂;

(2)實(shí)驗(yàn)組和對(duì)照組的用戶(hù)群沒(méi)有做到絕對(duì)的隨機(jī)

例如,產(chǎn)品或技術(shù)同學(xué)通過(guò)尾號(hào)單雙來(lái)進(jìn)行實(shí)驗(yàn)組和對(duì)照組的劃分,進(jìn)行產(chǎn)品新功能的實(shí)驗(yàn)。此時(shí)運(yùn)營(yíng)同學(xué)又針對(duì)尾號(hào)0和1的用戶(hù)進(jìn)行營(yíng)銷(xiāo)測(cè)試,最后肯定會(huì)導(dǎo)致雙方的實(shí)驗(yàn)結(jié)果異常,得出錯(cuò)誤的結(jié)論。

參考方法:不要通過(guò)簡(jiǎn)單規(guī)則分組,盡量通過(guò)隨機(jī)數(shù)或者隨機(jī)序列進(jìn)行隨機(jī)分組。

總結(jié)

通過(guò)對(duì)比分析法對(duì)數(shù)據(jù)進(jìn)行環(huán)比、同比等多維度的評(píng)估,通過(guò)控制變量分析法減少未知干擾的誤差,做到數(shù)據(jù)分析的相對(duì)科學(xué),才能為業(yè)務(wù)提供正確的數(shù)據(jù)指導(dǎo)。

以上是最近學(xué)習(xí)工作中的一些案例和心得分享,希望能給你帶來(lái)一些思路!

相關(guān)閱讀

數(shù)據(jù)分析:三步搭建基礎(chǔ)分析框架

 

本文由 @許金坤 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 請(qǐng)問(wèn)實(shí)驗(yàn)組營(yíng)銷(xiāo)客單價(jià)還是250嗎還是要小于對(duì)照組才對(duì)?謝謝

    來(lái)自美國(guó) 回復(fù)
  2. 言簡(jiǎn)意賅,總結(jié)到位

    來(lái)自北京 回復(fù)
  3. 受教了!

    來(lái)自廣東 回復(fù)