以 K12 產(chǎn)品為例,說說如何組織用戶內(nèi)測(cè)活動(dòng)
編輯導(dǎo)語:我們都知道產(chǎn)品會(huì)經(jīng)過不斷的測(cè)試,在產(chǎn)品功能上線前,通過招募內(nèi)測(cè)用戶對(duì)產(chǎn)品功能進(jìn)行先行體驗(yàn)測(cè)試,對(duì)于實(shí)際上線后的產(chǎn)品質(zhì)量會(huì)有一定的幫助;本文作者以 K12 產(chǎn)品為例,分享了如何組織用戶內(nèi)測(cè)活動(dòng),我們一起來了解一下吧。
在產(chǎn)品功能上線前,最后的環(huán)節(jié)一般是由測(cè)試同學(xué)撰寫產(chǎn)品測(cè)試用例,測(cè)試通過后部署上線。
但由于測(cè)試同學(xué)人力有限,對(duì)于用戶的使用場(chǎng)景、設(shè)備類型以及網(wǎng)絡(luò)情況很難做到全面模擬,難免有所疏漏;遂在產(chǎn)品上線前增加小規(guī)模的用戶內(nèi)測(cè)環(huán)節(jié),對(duì)于提高上線后的產(chǎn)品質(zhì)量,減少 Bug 出現(xiàn)的風(fēng)險(xiǎn),會(huì)有一定的幫助。
那么,如何去組織一場(chǎng)用戶內(nèi)測(cè)活動(dòng),需要注意的點(diǎn)都有哪些?通過這篇復(fù)盤文檔,我們從0開始梳理這些問題。
01 回顧目標(biāo)
回顧歷次的用戶內(nèi)測(cè)活動(dòng),目標(biāo)一共可以分為以下三種:
1)暴露未測(cè)試到的 Bug
如果產(chǎn)品涉及比較大的更新,例如上線全新的功能或是更改大范圍的程序代碼,此時(shí)就需要重點(diǎn)關(guān)注在測(cè)試過程中出現(xiàn)的 Bug 數(shù)量和 Bug 類型,關(guān)注是否有影響用戶使用的問題出現(xiàn),以及出現(xiàn)的頻率;然后再依據(jù)問題的類型和數(shù)量去判斷優(yōu)先級(jí),對(duì)接產(chǎn)研同學(xué)去修復(fù)問題,保證最終上線的質(zhì)量。
2)預(yù)知產(chǎn)品上線后可能的風(fēng)險(xiǎn)
通過內(nèi)測(cè)活動(dòng),我們需要模擬更多接近真實(shí)的使用場(chǎng)景,從而去發(fā)現(xiàn)隱藏其中的問題,也可以通過對(duì)內(nèi)測(cè)安裝包的數(shù)據(jù)埋點(diǎn),拿到該功能一部分的用戶使用數(shù)據(jù),從產(chǎn)品研發(fā)的角度,去預(yù)知產(chǎn)品上線后可能的風(fēng)險(xiǎn),從而進(jìn)行規(guī)避,做好應(yīng)對(duì)方案,提升產(chǎn)品的穩(wěn)定性。
3)收集用戶的反饋
內(nèi)測(cè)活動(dòng)是產(chǎn)品和用戶進(jìn)行溝通的好機(jī)會(huì),我們可以借此機(jī)會(huì)收集用戶對(duì)于產(chǎn)品和功能的建議或評(píng)價(jià),當(dāng)然不一定局限于每次的重點(diǎn)測(cè)試功能,用戶對(duì)于產(chǎn)品全局的意見統(tǒng)統(tǒng)可以收集,作為后續(xù)產(chǎn)品迭代的參考。
02 回顧過程
在確定一場(chǎng)內(nèi)測(cè)活動(dòng)的目標(biāo)后,在活動(dòng)流程中有哪些需要關(guān)注的點(diǎn)呢?我從以下5個(gè)方面分別來整理一下。
1)人員招募
拿我之前組織過的幾次活動(dòng)來說,因?yàn)楫a(chǎn)品的類型是 K12 學(xué)生用戶,主要集中于小學(xué)年級(jí)。
如果直接招募小學(xué)年級(jí)的學(xué)生作為測(cè)試用戶,一是會(huì)影響學(xué)生的學(xué)習(xí)進(jìn)度,另外如果出現(xiàn)比較嚴(yán)重的產(chǎn)品質(zhì)量問題,會(huì)不利于產(chǎn)品形象的塑造;所以,我們將招募的人群屬性定位在小學(xué)年齡段的寶媽群體。
那如何去找到這類人群呢?
我們將目標(biāo)鎖定在了一些正規(guī)的兼職群、兼職論壇,通過發(fā)布任務(wù)信息招募用戶進(jìn)群,方便進(jìn)行后續(xù)的任務(wù)指導(dǎo);在這個(gè)環(huán)節(jié)我們還發(fā)現(xiàn),經(jīng)常參加兼職活動(dòng)的人會(huì)有自己的兼職圈,通過向這些用戶借力,可以讓我們的招募進(jìn)度產(chǎn)生裂變的效果。
我們?cè)谌藛T招募和管理時(shí),選擇了 QQ 群的方式。因?yàn)?QQ 群提供了比較完善的群管理和群文件支持,可以在流程上減少我們的人力。
如果產(chǎn)品是非 K12 類的話,也可以通過正式版本 App 內(nèi)的彈窗提醒,來招募意向參加內(nèi)測(cè)的用戶,引導(dǎo)這些用戶主動(dòng)下載測(cè)試版本的 App,配合反饋活動(dòng)去引導(dǎo)大家充分測(cè)試、暴露問題;但此方法對(duì)產(chǎn)品類型、用戶屬性又會(huì)有一定的限制,且需要產(chǎn)品研發(fā)同學(xué)的支持,大家可以按照實(shí)際情況進(jìn)行選擇。
2)活動(dòng)成本
為了激勵(lì)內(nèi)測(cè)用戶更充分的參加活動(dòng),我們可以設(shè)定一定數(shù)量的獎(jiǎng)品、獎(jiǎng)金等激勵(lì)方式,如果是社交屬性比較強(qiáng)的產(chǎn)品,也可以發(fā)放站內(nèi)勛章、稱號(hào)等虛擬物品。
激勵(lì)方式選擇的前提是要保證大部分的用戶都會(huì)喜歡,這樣才可以激發(fā)用戶反饋的動(dòng)力;如果最后的活動(dòng)獎(jiǎng)勵(lì)對(duì)于用戶來說不痛不癢,那活動(dòng)的效果可能會(huì)大打折扣。
由于我們招募的活動(dòng)用戶大部分來源于外部兼職論壇,所以我們就采取最直接的方法——獎(jiǎng)金,作為激勵(lì)方式;獎(jiǎng)金發(fā)放的標(biāo)準(zhǔn)以參加測(cè)試的時(shí)長(zhǎng)、問題反饋的數(shù)量質(zhì)量為標(biāo)準(zhǔn),因?yàn)樗袇⑴c活動(dòng)的用戶都已經(jīng)添加到QQ群內(nèi),所以我們可以通過群紅包的形式,來節(jié)省我們發(fā)放獎(jiǎng)金的人力。
通過每次內(nèi)測(cè)活動(dòng)的人數(shù),我們可以預(yù)估活動(dòng)的成本支出,以此來向 Leader 或者合作的業(yè)務(wù)部門進(jìn)行報(bào)備;另外,因?yàn)榘l(fā)放群紅包不能取得發(fā)票,所以還需要提前和財(cái)稅同學(xué)來確定流程的合規(guī)性。
3)組織測(cè)試
接下來就要開始準(zhǔn)備測(cè)試了,這個(gè)環(huán)節(jié)也是非常重要的一個(gè)環(huán)節(jié),會(huì)直接決定我們的活動(dòng)目標(biāo)是否完成。
首先,我們需要和產(chǎn)品研發(fā)同學(xué)確認(rèn)測(cè)試版本安裝包的交付時(shí)間。在之前的實(shí)操過程中,因?yàn)橐呀?jīng)在報(bào)名時(shí)建立了活動(dòng)群,就可以把安裝包發(fā)送到群內(nèi),引導(dǎo)參與活動(dòng)的用戶下載安裝。
在安裝過程中需要注意,iOS 用戶需要下載官方測(cè)試的 Testflight App才能參加測(cè)試,Android 用戶需要在安裝過程中留意手機(jī)是否有提醒“跳轉(zhuǎn)到官方市場(chǎng)安裝、該版本未通過驗(yàn)證”的提示,需要引導(dǎo)用戶跳過這些提示,確保用戶安裝的是參與活動(dòng)的版本。
那怎么去引導(dǎo)用戶針對(duì)新上線的功能進(jìn)行測(cè)試呢?我這里采取了兩個(gè)辦法。
因?yàn)槭?K12 直播授課類的產(chǎn)品,針對(duì)于有關(guān)直播才可以測(cè)試的新功能,可以協(xié)調(diào)內(nèi)部同事通過模擬老師真實(shí)的上課情況;在設(shè)定好直播時(shí)間后,及時(shí)的通知內(nèi)測(cè)用戶預(yù)留時(shí)間參加,然后在直播的過程中引導(dǎo)內(nèi)測(cè)用戶的操作。這里需要注意的是,如果是通過直播引導(dǎo)用戶參與測(cè)試,那么要在直播中去描述如何操作、操作產(chǎn)生的結(jié)果以及如何去記錄問題,方便后續(xù)的問題追溯。
除此之外的非直播課功能,可以通過截圖標(biāo)記、錄屏或者 gif 圖、流程圖的形式,做一個(gè)功能操作的說明文檔,以圖文、視頻的形式去引導(dǎo)用戶操作,從而暴露問題。
4)問題收集
因?yàn)閮?nèi)測(cè)版本和正式版本的不同,為了避免內(nèi)測(cè)活動(dòng)對(duì)正式版本的反饋數(shù)據(jù)有影響,所以在問題收集的環(huán)節(jié)需要選擇一個(gè)獨(dú)立的收集用戶反饋的入口。
在之前的活動(dòng)中,我采用的方式都是問卷收集,請(qǐng)參與活動(dòng)的用戶填寫自己的賬號(hào)、遇到問題的時(shí)間點(diǎn)以及對(duì)應(yīng)的截圖或者復(fù)現(xiàn)錄屏,再配合產(chǎn)品的埋點(diǎn)數(shù)據(jù),已經(jīng)基本滿足定位問題的要求。
收到內(nèi)測(cè)用戶反饋的問題后,要對(duì)用戶描述的問題以及問題的緊急程序進(jìn)行排序整理。為了計(jì)算相同類型的反饋出現(xiàn)的頻率,在整理用戶反饋時(shí),除了要將用戶的基本信息(賬號(hào)、設(shè)備類型等)和反饋信息(問題描述+截圖)進(jìn)行對(duì)應(yīng)外,還可以將用戶描述的問題以不同類型的詞語代替,以便于最后統(tǒng)計(jì)同一問題的量級(jí);對(duì)于不理解或者不能確定的反饋內(nèi)容,需要和用戶進(jìn)行二次確認(rèn),切勿進(jìn)行推測(cè)。
5)后續(xù)跟進(jìn)
在整理完用戶反饋的問題后,可以將文檔發(fā)送給負(fù)責(zé)項(xiàng)目的產(chǎn)品研發(fā)同學(xué)來進(jìn)行后續(xù)跟進(jìn)。
在文檔中,針對(duì)于用戶反饋的影響使用的問題,需要評(píng)估是否屬于 Bug 以及后續(xù)的修復(fù)計(jì)劃;針對(duì)于用戶的需求建議,需要評(píng)估后續(xù)是否需要迭代以及迭代計(jì)劃。
03 評(píng)估結(jié)果
對(duì)內(nèi)測(cè)活動(dòng)的結(jié)果分析,有助于我們?cè)u(píng)估每次活動(dòng)的效果和質(zhì)量,有以下兩個(gè)維度:
- 活動(dòng)人數(shù):目標(biāo)招募人數(shù),實(shí)際招募人數(shù)、內(nèi)測(cè)版本安裝人數(shù)、問題反饋的人數(shù);
- 反饋質(zhì)量:活動(dòng)總反饋數(shù)量、有效反饋數(shù)量、確定是Bug的反饋數(shù)量、確定是需求建議的反饋數(shù)量。
通過對(duì)比每次活動(dòng)中的 實(shí)際招募人數(shù) → 內(nèi)測(cè)版本安裝人數(shù) → 問題反饋的人數(shù)中每個(gè)環(huán)節(jié)的轉(zhuǎn)化率,來幫助我們?nèi)?yōu)化活動(dòng)的形式;而通過有效反饋數(shù)量和活動(dòng)總反饋數(shù)量的變化,可以幫助我們優(yōu)化內(nèi)測(cè)用戶的反饋教育環(huán)節(jié),幫助我們獲取更高質(zhì)量的反饋。
04 分析原因
這個(gè)環(huán)節(jié)說兩個(gè)我曾經(jīng)在活動(dòng)中踩過的坑,希望可以幫助大家避雷。
最初,為了激發(fā)報(bào)名用戶對(duì)于發(fā)現(xiàn)問題的積極性,設(shè)置了額外的反饋獎(jiǎng)勵(lì),并把獎(jiǎng)勵(lì)標(biāo)準(zhǔn)設(shè)定成了反饋數(shù)量的前三名;前幾次活動(dòng)結(jié)束后我們觀察數(shù)據(jù),發(fā)現(xiàn)有效反饋的占比只有 40% 左右,重復(fù)反饋和無效反饋的數(shù)量會(huì)比較多。
于是后面我們就更改了反饋獎(jiǎng)勵(lì)的規(guī)則,以“質(zhì)量 + 數(shù)量”為標(biāo)準(zhǔn),并公開反饋質(zhì)量較好的反饋,給到參與活動(dòng)的用戶一個(gè)正向的促進(jìn)作用;在后續(xù)的內(nèi)測(cè)活動(dòng)中,有效反饋的占比就可以穩(wěn)定在 70% 左右。
還有一次 500人+規(guī)模的內(nèi)測(cè)活動(dòng),我們依然使用 QQ 群這種方式去做 1 對(duì) N 的用戶管理與內(nèi)測(cè)教育,但活動(dòng)人數(shù)的增長(zhǎng)導(dǎo)致內(nèi)測(cè)教育的難度增加,1 對(duì) N 的模式顯然已經(jīng)不再適用。
在活動(dòng)結(jié)束時(shí)為參與用戶發(fā)放獎(jiǎng)勵(lì)時(shí),也會(huì)因?yàn)轭l繁的進(jìn)行紅包交易而被騰訊官方敏感提醒,造成封號(hào)風(fēng)險(xiǎn);針對(duì)于這種情況,我們?cè)诮⒒顒?dòng)群時(shí)一定要將備用的管理賬號(hào)也拉入群內(nèi),同時(shí)增加內(nèi)測(cè)教育的人力。
從長(zhǎng)期來看的話,在歷次活動(dòng)中發(fā)掘一部分內(nèi)測(cè)的優(yōu)質(zhì)用戶,并賦予這些用戶推廣、管理內(nèi)測(cè)活動(dòng)的能力,對(duì)于釋放我們自身的人力也會(huì)有很大的好處。
05 總結(jié)經(jīng)驗(yàn)
因?yàn)?K12 行業(yè)的特殊性,所以我們選擇了 QQ 群發(fā)放內(nèi)測(cè)包 + 招募外部用戶的方式,來對(duì)即將上線的新功能進(jìn)行測(cè)試。
內(nèi)測(cè)活動(dòng)的關(guān)鍵,就是要招募到足夠的用戶,得到更多的反饋后去支持產(chǎn)品迭代;內(nèi)測(cè)版本對(duì)比正式版本,會(huì)提前體驗(yàn)新功能,在招募時(shí)配上“限量招募”“邀請(qǐng)?bào)w驗(yàn)”的字眼,可以助力我們的招募進(jìn)度。
在內(nèi)測(cè)進(jìn)行中,要做好對(duì)內(nèi)測(cè)用戶的功能宣傳與反饋教育,設(shè)定合適的激勵(lì)機(jī)制從而去得到更多高質(zhì)量的反饋。
同時(shí),要及時(shí)的發(fā)掘在內(nèi)測(cè)活動(dòng)中積極參與且反饋質(zhì)量較高的用戶,將這類用戶塑造為我們每次內(nèi)測(cè)活動(dòng)中的“形象角色”,給到其他參與活動(dòng)的用戶一個(gè)正向的積極作用。
本文由@白說運(yùn)營(yíng) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,不得轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
有幫助,感謝
公眾號(hào)搜不到