數(shù)據(jù)產(chǎn)品經(jīng)理的入門手冊(cè):如何評(píng)估數(shù)據(jù)產(chǎn)品的上線效果?
一個(gè)好的產(chǎn)品通過(guò)產(chǎn)品評(píng)估才能衡量其產(chǎn)品效果及業(yè)務(wù)價(jià)值,那么對(duì)于數(shù)據(jù)產(chǎn)品來(lái)說(shuō),我們?cè)趺磳?duì)齊評(píng)估呢?本文作者同大家分享一套適用于數(shù)據(jù)產(chǎn)品的評(píng)估體系,解答如何評(píng)估數(shù)據(jù)餐品的產(chǎn)品效果。
對(duì)于數(shù)據(jù)產(chǎn)品經(jīng)理來(lái)說(shuō),最頭疼的問(wèn)題就是:當(dāng)我的產(chǎn)品上線之后,我該如何評(píng)估我的產(chǎn)品效果?
對(duì)于策略產(chǎn)品來(lái)說(shuō),我可以很輕松的基于實(shí)驗(yàn)組或者對(duì)照組,來(lái)獲取策略的上線效果。
對(duì)于C端&B端產(chǎn)品來(lái)說(shuō),我可以通過(guò)用戶(或商戶)的規(guī)模、增長(zhǎng)、活躍、留存等方面來(lái)衡量產(chǎn)品對(duì)業(yè)務(wù)的價(jià)值。
BUT,如果你做的是數(shù)據(jù)產(chǎn)品,或者從更大的范圍來(lái)看,從事面向內(nèi)部用戶的后臺(tái)產(chǎn)品,你該怎么來(lái)衡量產(chǎn)品的價(jià)值呢?
這個(gè)問(wèn)題曾經(jīng)困惑了我很久,在這些年的過(guò)程中,逐步摸索出一套適用于數(shù)據(jù)產(chǎn)品的評(píng)估體系,歡迎大家一起來(lái)討論。
一、評(píng)估上線效果的重要性
上線效果重不重要?這是一個(gè)毋庸置疑的問(wèn)題。
對(duì)于一個(gè)團(tuán)隊(duì)來(lái)說(shuō),上線效果評(píng)估是檢驗(yàn)產(chǎn)品價(jià)值的重要方法。而這個(gè)問(wèn)題,卻是數(shù)據(jù)產(chǎn)品們經(jīng)常逃避,或者說(shuō)不愿意面對(duì)的問(wèn)題。
我分析主要的原因是:評(píng)估不清楚。
我上線了一款實(shí)時(shí)監(jiān)控產(chǎn)品,不是我不想評(píng)估,而是我評(píng)估不清楚,這里的“清楚”,一方面是指我無(wú)法用合理的量化的指標(biāo)來(lái)衡量產(chǎn)品的效果,另一方面是指即使我評(píng)估了,我也找不到我這款產(chǎn)品與業(yè)務(wù)價(jià)值的關(guān)聯(lián)。
在評(píng)估不清楚的大背景下,我們可以看到一個(gè)有趣的現(xiàn)象:
一般數(shù)據(jù)產(chǎn)品的產(chǎn)品文檔或者上線效果評(píng)估中,經(jīng)常會(huì)用如下句式來(lái)評(píng)估產(chǎn)品:
- 賦能…(上線后數(shù)據(jù)賦能某某業(yè)務(wù))
- 助力…(上線后助力精準(zhǔn)化運(yùn)營(yíng)的展開(kāi))
- 提升…(大幅提升分析效率)
你看,是不是非常熟悉類似這樣的句式?
如果我用上面類似的句式,這種宏觀的車轱轆話來(lái)評(píng)估數(shù)據(jù)產(chǎn)品的上線效果,會(huì)有什么樣的影響呢?
經(jīng)過(guò)這些年的風(fēng)吹雨打,我理解會(huì)有如下兩個(gè)影響:
1.上線即結(jié)束
你的產(chǎn)品上線即為結(jié)束,你會(huì)立刻投入下個(gè)產(chǎn)品的進(jìn)程之中,產(chǎn)品很難有一個(gè)系統(tǒng)化的迭代節(jié)奏,因?yàn)槟銢](méi)有清楚的可評(píng)估的迭代價(jià)值。
2.答辯很吃虧
是的,產(chǎn)品經(jīng)理,無(wú)論公司大小,都會(huì)面臨成長(zhǎng)晉升的問(wèn)題。
而對(duì)于一個(gè)數(shù)據(jù)產(chǎn)品,如果你在產(chǎn)品線晉升,面對(duì)策略產(chǎn)品各種亮眼的數(shù)據(jù)效果,面對(duì)C&B端產(chǎn)品各種的業(yè)務(wù)價(jià)值貢獻(xiàn),你會(huì)舉步維艱;
如果你在BI線晉升,面對(duì)一個(gè)個(gè)幫助業(yè)務(wù)決策的分析實(shí)例,你毫無(wú)勝算。
所以說(shuō),數(shù)據(jù)產(chǎn)品的上線效果評(píng)估是一件非常重要的事情,不夸張的說(shuō),事關(guān)產(chǎn)品生死,個(gè)人前途。
二、一般的效果評(píng)估方法
既然數(shù)據(jù)產(chǎn)品的效果評(píng)估這么重要,那作為一名數(shù)據(jù)PM,我該怎么來(lái)評(píng)估我的產(chǎn)品呢?一般通用的思路會(huì)有如下的兩種方式:
1. 從訪問(wèn)量的角度
看數(shù)據(jù)產(chǎn)品上線后的PV&UV等,和使用行為相關(guān)的數(shù)據(jù)。
乍一看,這毫無(wú)問(wèn)題;但是我們可以仔細(xì)想一想如下兩個(gè)問(wèn)題:
1)我上線兩款數(shù)據(jù)產(chǎn)品,一款是給10w運(yùn)營(yíng)看每天可以產(chǎn)生10w的UV,另一款只給老板看每天僅產(chǎn)生5個(gè)UV,請(qǐng)問(wèn)這兩款產(chǎn)品誰(shuí)的上線效果好?誰(shuí)的價(jià)值大?
2)實(shí)時(shí)監(jiān)控產(chǎn)品的要求是每小時(shí)看一次,天級(jí)監(jiān)控產(chǎn)品的要求是每天看一次,誰(shuí)的價(jià)值更大?
你看,數(shù)據(jù)產(chǎn)品,由于目標(biāo)用戶的局限性與產(chǎn)品本身的定位差異,會(huì)導(dǎo)致訪問(wèn)量存在天然差異,這個(gè)差異會(huì)讓數(shù)據(jù)產(chǎn)品沒(méi)有一個(gè)通用的訪問(wèn)參考系來(lái)衡量。
2. 從提效的角度
假設(shè)數(shù)據(jù)產(chǎn)品上線后,產(chǎn)品分析數(shù)據(jù)的效率是excel分析效率的2倍,但是內(nèi)部用戶不用這個(gè)數(shù)據(jù)產(chǎn)品,這個(gè)時(shí)候上線效果是好還是差?
數(shù)據(jù)產(chǎn)品及其依賴于用戶的使用,提效是建立在用戶使用的基礎(chǔ)上,很難從提效這一個(gè)單一維度來(lái)衡量數(shù)據(jù)產(chǎn)品的效果。
那么,我該如何評(píng)估數(shù)據(jù)產(chǎn)品的上線效果呢?
三、一套數(shù)據(jù)產(chǎn)品的效果評(píng)估體系
首先,我理解數(shù)據(jù)產(chǎn)品的上線效果,不是對(duì)上線結(jié)果的靜態(tài)評(píng)估,而是對(duì)上線后整個(gè)產(chǎn)品運(yùn)營(yíng)過(guò)程的動(dòng)態(tài)評(píng)估。
什么叫上線結(jié)果的靜態(tài)評(píng)估?
類似訪問(wèn)量等,即為上線后的一個(gè)自然結(jié)果。
什么叫上線后整個(gè)產(chǎn)品運(yùn)營(yíng)過(guò)程的動(dòng)態(tài)評(píng)估?
是指上線后,產(chǎn)品經(jīng)理圍繞產(chǎn)品上線進(jìn)行一系列運(yùn)營(yíng)過(guò)程,并對(duì)其過(guò)程進(jìn)行評(píng)估。
我們可以把數(shù)據(jù)產(chǎn)品的上線運(yùn)營(yíng)過(guò)程拆解成如下模式:
1. 知不知道?
知不知道本質(zhì)是解決產(chǎn)品的觸達(dá)問(wèn)題。
一個(gè)完整的產(chǎn)品觸達(dá)流程分為如下節(jié)點(diǎn):目標(biāo)用戶規(guī)模->觸達(dá)用戶規(guī)模->真實(shí)的打開(kāi)產(chǎn)品的用戶規(guī)模。
- 目標(biāo)用戶規(guī)模:代表產(chǎn)品服務(wù)的用戶范圍
- 觸達(dá)用戶規(guī)模:指產(chǎn)品通過(guò)社交群組、郵件周知到的用戶范圍
- 真實(shí)的打開(kāi)產(chǎn)品的用戶規(guī)模:指用戶開(kāi)通權(quán)限打開(kāi)產(chǎn)品的使用規(guī)模
這三個(gè)節(jié)點(diǎn)可以構(gòu)成兩個(gè)核心衡量指標(biāo):
產(chǎn)品觸達(dá)率=觸達(dá)用戶數(shù)/目標(biāo)用戶數(shù)
產(chǎn)品打開(kāi)率=打開(kāi)用戶數(shù)/觸達(dá)用戶數(shù)
基于如上,你就可以在“知不知道”這個(gè)層面衡量出產(chǎn)品的上線效果,具體如下:
2. 會(huì)不會(huì)用?
會(huì)不會(huì)用本質(zhì)是解決產(chǎn)品的培訓(xùn)問(wèn)題。
培訓(xùn)不是單純的指召開(kāi)一場(chǎng)培訓(xùn)會(huì)議,而是一系列的運(yùn)營(yíng)方法,大致會(huì)有如下幾種方法:
1.案例營(yíng)銷(極其推薦)
經(jīng)過(guò)驗(yàn)證,這是最有效的一種運(yùn)營(yíng)方法,你可以多了解業(yè)務(wù)方或者分析師們正在解決的問(wèn)題,然后嘗試用你的產(chǎn)品形成一個(gè)case,用分享的方式告訴他,這是最有效的一種培訓(xùn)方式
2.線上使用手冊(cè)(推薦)
可以是文字形式,有條件也可以是視頻形式,注意要進(jìn)行數(shù)據(jù)產(chǎn)品的埋點(diǎn),來(lái)統(tǒng)計(jì)用戶查看使用手冊(cè)的頻次
3.培訓(xùn)會(huì)議(不推薦,因人而異)
召開(kāi)一場(chǎng)培訓(xùn)會(huì)議,進(jìn)行產(chǎn)品宣講,一般情況下,這種方式的培訓(xùn)效果并不理想。當(dāng)然,這里的效果取決于你培訓(xùn)時(shí)個(gè)人的演講能力。
有了運(yùn)營(yíng)方法還不夠,我們要在使用后及時(shí)監(jiān)測(cè)這些方法的使用效果,一般可以通過(guò)主觀評(píng)價(jià)和客觀數(shù)據(jù)來(lái)衡量。
可以參考如下方式來(lái)評(píng)估“會(huì)不會(huì)用”:
3. 好不好用?
好不好用是指用戶是否有持續(xù)使用的動(dòng)力?我們可以拆解為如下三個(gè)部分來(lái)看:
1.動(dòng)機(jī)層面
指用戶使用這個(gè)產(chǎn)品的動(dòng)機(jī)是什么?這是好不好用的本質(zhì)原因。如果數(shù)據(jù)產(chǎn)品沒(méi)有解決用戶使用的動(dòng)機(jī),大概率用戶是不會(huì)長(zhǎng)期來(lái)使用的,動(dòng)機(jī)可以分為如下兩點(diǎn):
1)用戶訴求的解決程度
也就是你的產(chǎn)品是否達(dá)成預(yù)期產(chǎn)品的目標(biāo),以下為舉例:
2)分析效率
你的產(chǎn)品是否提升了用戶的分析效率,以下為舉例:
2.使用行為層面
觀測(cè)用戶使用產(chǎn)品的活躍度和使用頻次,注意,這里更關(guān)注的是產(chǎn)品本身的趨勢(shì)變化,而不是和其他產(chǎn)品的橫向?qū)Ρ?,以下為舉例:
3.主觀評(píng)價(jià)層面
可以通過(guò)截圖,收集一些用戶反饋,來(lái)證實(shí)產(chǎn)品的價(jià)值。
有條件,可以做一些線上的調(diào)查問(wèn)卷,在產(chǎn)品上線兩周后發(fā)至用戶;然后基于問(wèn)卷反饋來(lái)簡(jiǎn)單的計(jì)算產(chǎn)品的NPS。
綜上,我們通過(guò)【知不知道-會(huì)不會(huì)用-好不好用】這個(gè)完整的產(chǎn)品上線過(guò)程,就可以衡量出一個(gè)數(shù)據(jù)產(chǎn)品的上線效果,總結(jié)如下:
最后,想提很重要的一點(diǎn):數(shù)據(jù)產(chǎn)品的效果評(píng)估在當(dāng)下行業(yè)內(nèi)沒(méi)有一個(gè)共識(shí)的基準(zhǔn),比上線效果評(píng)估本身更重要的是縱向和leader、橫向和技術(shù)團(tuán)隊(duì)共識(shí)上線效果的評(píng)估方法。
只有各方在一個(gè)共識(shí)語(yǔ)言內(nèi),你的上線效果評(píng)估才有機(jī)會(huì)得到認(rèn)可并廣泛使用。
作者:羅大大,大數(shù)據(jù)產(chǎn)品專家
本文由 @羅大大 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash,基于CC0協(xié)議
大佬,好不好用-動(dòng)機(jī)層面-用戶訴求的解決程度里面,“指標(biāo)覆蓋度”怎么理解?是怎么計(jì)算出來(lái)的?
同樣是做企業(yè)內(nèi)部人員使用的系統(tǒng),感謝作者,給我提供了一個(gè)評(píng)估思路
歡迎多多交流
大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實(shí)戰(zhàn)訓(xùn)練營(yíng)》終于在起點(diǎn)學(xué)院(人人都是產(chǎn)品經(jīng)理旗下教育機(jī)構(gòu))上線啦!
本課程非常適合新手?jǐn)?shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運(yùn)營(yíng)等人群。
課程會(huì)從基礎(chǔ)概念,到核心技能,再通過(guò)典型數(shù)據(jù)分析平臺(tái)的實(shí)戰(zhàn),幫助大家構(gòu)建完整的知識(shí)體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。
學(xué)完后你會(huì)掌握怎么建指標(biāo)體系、指標(biāo)字典,如何設(shè)計(jì)數(shù)據(jù)埋點(diǎn)、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺(tái)等實(shí)際工作技能~
現(xiàn)在就添加空空老師(微信id:anne012520),咨詢課程詳情并領(lǐng)取福利優(yōu)惠吧!