知乎Live整理稿:通過數(shù)據(jù)分析驅(qū)動用戶增長

0 評論 26999 瀏覽 54 收藏 16 分鐘

本文是作者撰寫的知乎Live整理稿,主要和大家分享一下如何通過數(shù)據(jù)分析驅(qū)動用戶增長。

根據(jù)經(jīng)驗以如下幾個問題展開:

  • 互聯(lián)網(wǎng)用戶增長特點
  • 數(shù)據(jù)分析在其中的作用
  • 實驗對產(chǎn)品開發(fā)的作用
  • A/B 測試的作用和難點
  • 數(shù)據(jù)驅(qū)動用戶增長的局限性
  • 彩蛋:以知乎為例,一些數(shù)據(jù)分析的機會

下面就是全文字分享:

行業(yè)特點

說到互聯(lián)網(wǎng)產(chǎn)品的用戶增長,可能大家都有所耳聞。與傳統(tǒng)行業(yè)相比,互聯(lián)網(wǎng)相關的產(chǎn)品有幾個不一樣的特點。

一是由于網(wǎng)絡效應,由于互聯(lián)網(wǎng)相關產(chǎn)品更容易擴展,更有可能出現(xiàn)爆炸性增長的局面。

二是互聯(lián)網(wǎng)行業(yè)更容易出現(xiàn)贏者通吃的局面,比如優(yōu)酷和土豆的合并,攜程和去哪的合并,立馬形成行業(yè)壟斷。

三是在行業(yè)發(fā)展前期一旦有一個好的產(chǎn)品領先,后來者就很難翻盤了,所以互聯(lián)網(wǎng)行業(yè)會出現(xiàn)前期大量燒錢搶占市場和用戶的局面,比如 Uber 是一個特別典型的例子。

Retention / 用戶留存

對用戶增長來說,什么是最重要的呢?有人說是用戶最重要,有人說是 Acquisition 也就是新用戶獲取最重要。在 Facebook 內(nèi)部來說,以及很多熱門 Startup 來說,最重要的是 retention,也就是用戶留存。這也是為什么十幾年前,F(xiàn)acebook 剛創(chuàng)立的時候,大家通常用的指標都是注冊用戶。Mark Zuckerberg 從一開始就很明確,注冊用戶并不是最重要的,最重要的應該是活躍用戶。

用戶留存曲線

好的產(chǎn)品和不好的產(chǎn)品用戶留存是什么樣子的呢?有這里就需要提到一個概念 J 曲線。

如下圖所示,橫軸是從注冊開始到現(xiàn)在的天數(shù),縱軸是活躍用戶的比例。這里用的例子是月活用戶,也就是說如果過去一個月之內(nèi)你用過這個產(chǎn)品,那么你就算是一個 active user。很顯然,注冊開始第一天,大家都是月活,第二天第三天直到30天都是如此,從第31天開始,有一部分人不是月活了,因為他們只在第一天用了,之后就再也沒用過,以此類推第32天33天等等。

一個好的產(chǎn)品,應該是像黑色曲線這樣,隨著時間的推移會有下降,但是到一定程度之后會趨于跟 x 軸平行。如果你看到一條紅線這樣的用戶留存曲線,那就你就需要好好研究一下你的產(chǎn)品了,因為這意味著隨著時間的推移,所有注冊用戶都會放棄你的產(chǎn)品。那么即使你把全世界的人都抓來注冊了,終究月活用戶數(shù)也會變成0。
產(chǎn)品

用戶留存 vs. 新產(chǎn)品

推出新產(chǎn)品的時候,用戶留存曲線是非常重要的,以確保有一個足夠好的產(chǎn)品,接下來才是把這個產(chǎn)品推向更多用戶的時候。其它互聯(lián)網(wǎng)公司比如 Airbnb 也有類似的策略。當然不同的產(chǎn)品,關注的指標很有可能是不一樣的。比如說微信,假如你看月活的話,那可能意義就不是很大了。一個月用一次微信的用戶,說有不了什么問題,更應該關注的可能是日活,或者發(fā)了多少條信息這種。那么對于 Airbnb 來說,月活則是一個比較適用的指標,其它比如每個月有多少房間預訂之類,也是應該關注的指標。

神奇時刻 — magic moment / Ahhhaa moment

假設現(xiàn)在你有一個很好的產(chǎn)品,用戶注冊之后過一了段時間也還是有很多人留下來繼續(xù)使用。那么接下來怎么做用戶增長?

很多社交網(wǎng)絡產(chǎn)品都提到一個概念叫 magic moment,直譯過來的話就是神奇時刻。什么算 magic moment 呢?比如對于 Facebook 來說,你注冊之后,在上面看到你現(xiàn)實生活中認識的好友,看到他們的照片,狀態(tài)等等。這個時候?qū)π掠脩魜碚f,心里想的是啊!原來 Facebook 是干這個用的。比如對于知乎來說,可能是在答了一個題之后,看到小紅點顯示有人點贊,或者是感謝,或者是關注等等。同樣,對于LinkedIn,Twitter,微信,微博也是類似,新用戶或者是找到他們想要聯(lián)系的好友,或者是找到他們想要粉的人,這一時刻讓用戶有繼續(xù)使用下去的動力。

好友

例子 — 用戶留存率 vs. 好友數(shù)

對于很多社交網(wǎng)絡產(chǎn)品 比如說 LinkedIn 來說,一個很簡單便是很有效的分析方法,就是看用戶留存率跟好友數(shù)的關系。當你的好友數(shù)低于某一個值的時候,用戶留存率會非常的低。當好友數(shù)量達到一定數(shù)量的時候,再增加好友數(shù)對留存率的影響就很小了。那么確定下來這個值之后,工程師們要做的就是以這個為目標進行各種產(chǎn)品改進、優(yōu)化、新產(chǎn)品開發(fā)等等。

有人可能會問了,這里面有個很顯然的問題,就是你只能說明這是相關性,而不是因果性。但是最終解決辦法其實很簡單,不管 Facebook 也好,微信也好,如果你沒有好友的話,肯定是沒有人會繼續(xù)用的。所以這里面肯定有因果性在里面。同時肯定也有相關性,很大程度上二者肯定是相互影響的,通常來說好友越多,更有使用產(chǎn)品的動力。產(chǎn)品使用的更好,好友也更多。

A/B 測試

上面一段提到在設定某一個目標之后,工程師們接下來就要通過各種產(chǎn)品改進、優(yōu)化、新產(chǎn)品開發(fā)等,互聯(lián)網(wǎng)公司基本上都是通過 A/B 測試來確定是否發(fā)布產(chǎn)品,是公司產(chǎn)品開發(fā)非常重要的一環(huán)。在灣區(qū)這邊有一個 meetup 小組就是專門講 A/B 測試的,像 Uber, LinkedIn, Netflix 等等都在這個小組介紹過各個公司是怎么做 A/B 測試的。

接下來就以 Airbnb 為例子來說明 A/B 測試為什么重要,如何做 A/B 測試,以及中間可能遇到的問題。

例子來源:http://nerds.airbnb.com/experiments-at-airbnb/

為什么要做實驗

實驗是最有效的證明因果關系而非相關性的工具。以 NBA 為例,數(shù)據(jù)顯示,當科比出手10-19次時,湖人的勝率是71.5%;當科比出手20-29次時,湖人的勝率驟降到60.8%;而當科比出手30次或者更多時,湖人的勝率只有41.7%。

根據(jù)這組數(shù)據(jù),為了贏球,科比應該少出手?并不一定如此。有可能科比出手少的時候是因為隊友狀態(tài)好,并不需要他出手太多。也有可能是因為球隊早早領先,垃圾時間太多。而出手太多的比賽是因為比賽艱難或者隊友狀態(tài)不好,需要他挺身而出。當然,以上也只是可能之一,具體是什么情況光靠這組數(shù)據(jù)并不能得出任何結論。

A/B 測試的用處

對 Airbnb 來說,很多時候一個新產(chǎn)品的發(fā)布,是很難說明結果到底是新產(chǎn)品的呢,還是別的因素。

如下圖所示,紅色部分是新產(chǎn)品發(fā)布和撤回的時間段,這期間的變化到底是因為產(chǎn)品呢,還是別的因素?有可能用戶受到時間的影響,比如周中和周末的區(qū)別,是否假期,天氣等等。對于 Airbnb 這種旅行相關的公司來說,這些外在影響尤其大。通過實驗則可以把產(chǎn)品的影響跟別的外在因素的影響區(qū)分開,產(chǎn)品做一個小的改變,跟對照組進行對比,這就是 A/B 測試。

試驗

實驗需要跑多久?

A/B 測試的老大難問題:實驗跑多久最合適?結束太早可能產(chǎn)品的真正效果還沒有足夠時間體現(xiàn)出來,實驗拖太長會影響產(chǎn)品迭代改進的效率,這對諸如 Airbnb 這樣的初創(chuàng)公司還是 Facebook 這樣講究 move fast 的公司來說,都是很麻煩的事情。

例子 — 搜索價格范圍

Airbnb 曾經(jīng)測試過把價格選擇范圍從最高的$300改成$1000。一周之后,根據(jù)下圖的紅線顯示,實驗效果顯著 (p<0.05),也就是說改成$1000之后預訂會增加。但是事實上實驗繼續(xù)進行下去的話,你就發(fā)現(xiàn)這個改變其實是沒有效果的,最終也沒有統(tǒng)計顯著 (p>0.05)。

搜索

不過雖然這個測試的結果是中性的,考慮到有一部分用戶的確需有查找高端房源的需要,Airbnb 還是決定把最高搜索價格從$300改成了$1000。那么到底實驗應該進行多久呢?通過各種復雜的統(tǒng)計分析,Airbnb 總結出了一套動態(tài)決定邊界(Dynamic decision boundary),綜合考慮p值和實驗進行的天數(shù)。

全面理解實驗結果

通常來說,選定一個或幾個指標(metrics)來分析實驗結果,以免主觀挑選實驗結果(cherry picking)。但是僅僅看一個指標也是不行的,很容易就錯過全局,一葉瞕目。比如 Airbnb 做過一個非常大的改動,在用戶搜索的結果顯示里,更加強調(diào)房源的照片和在地圖上顯示的地點。項目非常大,大家都認為結果會很好,用戶調(diào)研顯示也是如此。

實驗結果

盡管如此,Airbnb 還是決定如常做一下 A/B 測試,然后發(fā)現(xiàn)了問題:結果基本是中性的。幸好 Airbnb 的數(shù)據(jù)科學家們并沒有就此結束,相反,他們看了看不同的方面,包括在不同瀏覽器的效果,發(fā)現(xiàn) IE 是最大問題所在。很快進一步發(fā)現(xiàn),新產(chǎn)品在某些老版本的 IE 上會有 bug,以至于預訂率了超過3%。修復了在 IE 上的 bug之后,立馬預訂率就變成提高超過2%,與其它瀏覽器上效果類似了。這是一個非常典型的例子。很多時候看到中性的實驗效果,不妨根據(jù)不同的維度進行細分,比如瀏覽器、同家、用戶類型等等。

增加

問題: Twitter 2015 年用戶增長為 11%,這是否存在增長的危機?為什么?

分析情況

結果 too good to be true

不管是自己打造的 A/B 測試系統(tǒng),還是使用第三方的系統(tǒng),都是有可能出問題的。

如果默認系統(tǒng)都是有效的話,有時候麻煩就來了。有時候可能是使用過程中出了問題,有時候可能是系統(tǒng)本身的問題。最簡單的辦法是跑個 A/A 測試,也就是實驗組和對照組都是一樣的產(chǎn)品,然后看系統(tǒng)結果怎么說。

Airbnb 做過一系列 A/A 測試,發(fā)現(xiàn)在實驗組和對照組的用戶數(shù)量基本一致的時候,系統(tǒng)是正常工作的,顯示中性的結果。但是當對照組的用戶遠超實驗組(75% vs. 25%)的時候,結果顯示高達-15%的偏差。最后發(fā)現(xiàn)原因在于對用戶的追蹤問題,很大一部分用戶沒有正常的記錄到實驗組里去。未必每一個公司都會碰到完全一樣的問題,不過適當?shù)倪M行 A/A 測試,確保系統(tǒng)正常工作是非常重要的。

用戶增長

據(jù)驅(qū)動用戶增長的前提

首先需要有一個好的產(chǎn)品。其次在創(chuàng)業(yè)初期,所有人都需要有這個概念。最后需要要 infrastructure 的支持,諸如 logging,dashboard,A/B 測試系統(tǒng)等的建立。例如:Uber 的 A/B 測試系統(tǒng)

驅(qū)動用戶
作者:鄒昕,07 年從清華生物系本科畢業(yè),之后又學了五年生物,之后轉(zhuǎn)行念了數(shù)據(jù)分析專業(yè)的碩士,畢業(yè)之后在 Discover 做信用卡風險控制,包括模型和數(shù)據(jù)分析方面的工作,今年年初跳槽到 Facebook 做數(shù)據(jù)分析。

來源:http://www.36dsj.com/archives/55758

本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@36大數(shù)據(jù),作者@鄒昕

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!