聊聊“產(chǎn)品驗(yàn)收”
產(chǎn)品在迭代更新之際,每個(gè)迭代周期發(fā)布的時(shí)候,都會(huì)有個(gè)“驗(yàn)收”的過程,那么要如何做好這個(gè)驗(yàn)收環(huán)節(jié)呢?本文總結(jié)了相關(guān)思路以及問題處理的步驟,希望對你有所幫助。
產(chǎn)品的每個(gè)迭代周期發(fā)布之前,都會(huì)有一個(gè)“驗(yàn)收”環(huán)節(jié),針對不同的產(chǎn)品管理/項(xiàng)目管理模式,產(chǎn)品驗(yàn)收的過程會(huì)略有差異。
但作為一個(gè)從“設(shè)計(jì)”到看見“實(shí)物”的時(shí)刻,仍然需要產(chǎn)品團(tuán)隊(duì)把好最后一關(guān)。
作為測試入行的我,這些年也經(jīng)歷了很多驗(yàn)收測試,如果團(tuán)隊(duì)真的能夠重視驗(yàn)收測試,并將其標(biāo)準(zhǔn)化、規(guī)范化,能識(shí)別很多潛在風(fēng)險(xiǎn),也能讓原本80分的系統(tǒng)快速提升為90分。
所以,今天就來聊一聊我理解的產(chǎn)品驗(yàn)收測試。
一、驗(yàn)收測試的階段
從標(biāo)準(zhǔn)的項(xiàng)目管理過程來看,一個(gè)項(xiàng)目自立項(xiàng)開始,基本可以分為:需求階段、設(shè)計(jì)階段、開發(fā)階段、測試階段、上線及試運(yùn)行階段。
而測試階段可以分為:單元測試(有些團(tuán)隊(duì)會(huì)歸到開發(fā)階段)、冒煙測試、SIT測試(系統(tǒng)集成測試)、UAT測試(用戶/產(chǎn)品驗(yàn)收測試)。
自研類產(chǎn)品,驗(yàn)收測試一般會(huì)由產(chǎn)品團(tuán)隊(duì)主導(dǎo),而項(xiàng)目制的產(chǎn)品,驗(yàn)收測試一般由甲方的業(yè)務(wù)方、需求提出方主導(dǎo),或者由甲方委派第三方測試團(tuán)隊(duì)開展驗(yàn)收測試工作。
這里就會(huì)存在一個(gè)問題:驗(yàn)收測試人員,并非用戶的實(shí)際使用者。這個(gè)問題下文再展開。
二、驗(yàn)收測試的準(zhǔn)入條件
一個(gè)標(biāo)準(zhǔn)的測試管理流程中,每一個(gè)階段都需要建立“準(zhǔn)入”條件,否則一方面浪費(fèi)測試人員的時(shí)間,另一方面也會(huì)降低上一階段人員的執(zhí)行標(biāo)準(zhǔn)。
比如為什么開發(fā)人員交付的功能,測試人員在正式開始測試時(shí)要進(jìn)行冒煙測試?一個(gè)連主流程都有問題的功能,異??刂颇茏龅绞裁闯潭饶??
因此,去年為了提升產(chǎn)品團(tuán)隊(duì)的驗(yàn)收效率,我也制定了一些準(zhǔn)入標(biāo)準(zhǔn),各位同行可以結(jié)合自身團(tuán)隊(duì)情況維護(hù)一套自己的“驗(yàn)收準(zhǔn)入條件”。
1、上一階段的測試報(bào)告
上一個(gè)階段大多是系統(tǒng)集成測試,測試完成后的測試報(bào)告將作為一個(gè)基礎(chǔ)的條件。
而這份報(bào)告重點(diǎn)關(guān)注什么?或者說從測試完成到出具報(bào)告可能存在幾天的延遲,這時(shí)我們就干等著嗎?
其實(shí)我們需要的并非“報(bào)告”這個(gè)形式,而是其中的關(guān)鍵結(jié)果:測試通過率。并且關(guān)注一下未通過、遺留的缺陷是什么情況,是否會(huì)阻礙驗(yàn)收進(jìn)度,影響用戶的場景閉環(huán)。
當(dāng)然,一個(gè)正常的團(tuán)隊(duì),各個(gè)角色之間的溝通應(yīng)該是很通暢的,大多數(shù)問題在準(zhǔn)入前,測試和產(chǎn)品之間應(yīng)該會(huì)有多次的討論,只不過在真正要啟動(dòng)驗(yàn)收時(shí),還需要重點(diǎn)關(guān)注一下。
2、驗(yàn)收賬號
在測試環(huán)境下,測試賬號是一個(gè)非常重要,但又經(jīng)常被大家忽略的問題。如果能有一個(gè)合適的測試賬號,維護(hù)一套合理的測試數(shù)據(jù),將會(huì)為測試階段的提效帶來質(zhì)的改變。
因此,在正式開始驗(yàn)收測試之前,我們需要基于測試用例圍繞的場景,提前準(zhǔn)備好測試賬號,并且最好能掌握一些基礎(chǔ)的數(shù)據(jù)庫操作,能夠自己維護(hù)、設(shè)計(jì)測試賬號,而不是每次找測試人員或開發(fā)人員。
時(shí)間久了,不僅會(huì)浪費(fèi)對方的時(shí)間,也會(huì)讓對方覺得你,很不專業(yè)。
一個(gè)新的測試階段開始時(shí),大多數(shù)系統(tǒng)都要清理測試數(shù)據(jù),盡量讓系統(tǒng)與剛上線時(shí)的狀態(tài)一致。然而,想必很多人也體會(huì)過,數(shù)據(jù)清一次,系統(tǒng)崩一次。
所以關(guān)于測試數(shù)據(jù)的問題,需要協(xié)調(diào)技術(shù)負(fù)責(zé)人整理一份健壯的數(shù)據(jù)清理腳本,并在系統(tǒng)集成測試階段經(jīng)受住考驗(yàn)。
3、驗(yàn)收測試用例
上一條提到,驗(yàn)收測試開始前需要設(shè)計(jì)好測試用例,準(zhǔn)入條件滿足之后即可開始驗(yàn)收。
而測試用例的準(zhǔn)備及評審,可以放在項(xiàng)目設(shè)計(jì)階段,或者集成測試中期。具體時(shí)間大家可以結(jié)合實(shí)際情況確定。
我的習(xí)慣是在需求評審階段引入測試用例的宏觀設(shè)計(jì),設(shè)計(jì)評審階段開始進(jìn)行測試用例的編寫,設(shè)計(jì)評審結(jié)束后,進(jìn)行測試用例的評審(系統(tǒng)集成測試),集成測試用例評審結(jié)束后,進(jìn)行驗(yàn)收用例的評審。
這樣做的好處,一方面可以使后置階段提前介入,從而保證業(yè)務(wù)由粗到細(xì)的順序拆解。
另一方面也能夠?qū)ⅰ懊艚莸钡墓芾硭悸啡谌敫麟A段協(xié)作過程中,以降低交接、單線程工作等待的資源消耗。
4、什么時(shí)候開始啟動(dòng)?
按照上述的思路,產(chǎn)品驗(yàn)收雖然是最后一個(gè)環(huán)節(jié),但它的啟動(dòng)階段可以前置到“設(shè)計(jì)階段末期”或“開發(fā)階段初期”,提前將驗(yàn)收的目標(biāo)、用例、評審幾個(gè)環(huán)節(jié)達(dá)成一致,等到正式進(jìn)入驗(yàn)收測試后,直接做執(zhí)行即可。
其實(shí)就是以敏捷的思維交叉協(xié)同。
三、驗(yàn)收測試階段的人員分工
驗(yàn)收階段主要涉及三類角色:產(chǎn)品(業(yè)務(wù))、測試、開發(fā)。
產(chǎn)品:是本階段的主導(dǎo)人,負(fù)責(zé)具體執(zhí)行、決策、協(xié)調(diào)、結(jié)果產(chǎn)出等相關(guān)事項(xiàng)。
當(dāng)然在此過程大概率會(huì)涉及UI或UE方面的調(diào)整,根據(jù)公司的團(tuán)隊(duì)組成不同而略有差異,在此我將這些分工都納入產(chǎn)品團(tuán)隊(duì)。
測試:協(xié)助產(chǎn)品維護(hù)測試環(huán)境和測試數(shù)據(jù)、定位問題、分析問題、協(xié)調(diào)開發(fā)資源等。
開發(fā):負(fù)責(zé)缺陷修復(fù)工作,以及對復(fù)雜問題的分析、設(shè)計(jì)工作。
四、驗(yàn)收測試的側(cè)重點(diǎn)
驗(yàn)收測試的目標(biāo)與集成測試有很多區(qū)別,所以側(cè)重點(diǎn)也有很多不同。
另外,基于參與驗(yàn)收測試的人員特性,在測試過程中看待問題的角度和決策方向都有較大差異。
1、核心業(yè)務(wù)流程
本階段的測試重點(diǎn)在核心業(yè)務(wù)流程和用戶體驗(yàn)層面,對后臺(tái)處理邏輯的合理性、性能等不會(huì)過度關(guān)注。
比如在頁面上輸入A,經(jīng)過處理輸出B,我們只需要確認(rèn)A、B的結(jié)果沒有問題即可。至于是A->C->D->E->B,還是A->F->B,大多數(shù)驗(yàn)收測試不會(huì)關(guān)注。后臺(tái)的處理過程應(yīng)該在設(shè)計(jì)階段、集成測試階段進(jìn)行驗(yàn)證。
比如報(bào)表查詢的等待時(shí)間是3秒還是3.5秒,對于業(yè)務(wù)人員也不會(huì)關(guān)注,只要不超過一定的“閾值”即可。而真正的性能測試、安全測試等,都有相應(yīng)的測試階段“專項(xiàng)攻克”。
所以本階段最關(guān)鍵的內(nèi)容,依然是核心業(yè)務(wù)流程,即主干+分支,或者是核心場景+輔助場景。
我們需要從用戶的角度來評估,這些功能是否能夠解決預(yù)期問題,是否能夠?yàn)樵辛鞒處硇侍嵘?/p>
術(shù)業(yè)有專攻,如是而已。
2、關(guān)鍵用戶體驗(yàn)
另外,驗(yàn)收測試的重點(diǎn)是用戶體驗(yàn)測試。這里包含了平臺(tái)體驗(yàn)一致性、易用性、交互效率、合理性等,根據(jù)不同的產(chǎn)品類型,還包含創(chuàng)新性、趣味性等。
很多產(chǎn)品在前期并不重視用戶體驗(yàn),最終呈現(xiàn)了一個(gè)看似什么問題都能解決,但沒有用戶使用的“殘次品”,很多問題也是出現(xiàn)在了驗(yàn)收測試階段。
這里著重強(qiáng)調(diào)一個(gè)“用戶思維”。無論是哪類人員進(jìn)行驗(yàn)收測試,都要站在目標(biāo)用戶群體的畫像上,試著以他們的角度、認(rèn)知、習(xí)慣來審視當(dāng)下的產(chǎn)品功能,而非利用自己的習(xí)慣進(jìn)行評判。
舉個(gè)不恰當(dāng)?shù)睦樱杭僭O(shè)這款產(chǎn)品是為視力較差且不戴眼鏡的用戶設(shè)計(jì)的,字體就要放大,布局就要稀松。而驗(yàn)收測試的人即便視力正常,也要遵循目標(biāo)用戶的操作習(xí)慣。
或者產(chǎn)品是為年輕女性提供的,驗(yàn)收人是中年男性,則更需要站在目標(biāo)用戶的習(xí)慣下審視這些功能。
而且,本身驗(yàn)收測試人員對互聯(lián)網(wǎng)軟件工程的理解比較淺,因此更要發(fā)揮自己的優(yōu)勢,以用戶、場景、業(yè)務(wù)為導(dǎo)向,在此階段中發(fā)現(xiàn)潛在的操作問題。
3、驗(yàn)收的準(zhǔn)出標(biāo)準(zhǔn)
驗(yàn)收測試的結(jié)束,意味著產(chǎn)品達(dá)到上線標(biāo)準(zhǔn)。但達(dá)到上線標(biāo)準(zhǔn)并不代表沒有缺陷,所以我認(rèn)為驗(yàn)收測試的準(zhǔn)出原則主要有以下幾個(gè):
(1)新一輪驗(yàn)收測試中,主流程+輔助流程的缺陷修復(fù)率達(dá)到100%;
(2)遺留缺陷在不影響系統(tǒng)正常運(yùn)行前提下,多方達(dá)成一致確認(rèn)可后續(xù)迭代優(yōu)化;
(3)產(chǎn)品整體的視覺體驗(yàn)驗(yàn)證通過;
(4)對于升級類產(chǎn)品,對于原有功能的影響度測試完成;
最后,形成驗(yàn)收測試報(bào)告,將本次測試的結(jié)果寫清楚。
五、驗(yàn)收測試的問題處理
1、交叉驗(yàn)收
我最初的想法,是讓團(tuán)隊(duì)內(nèi)的人員進(jìn)行“交叉驗(yàn)收測試”,即張三負(fù)責(zé)的需求,驗(yàn)收測試由李四做;李四負(fù)責(zé)的需求,驗(yàn)收測試由王五做。
這樣交叉驗(yàn)收的好處是:一方面組內(nèi)同學(xué)都可以相互了解產(chǎn)品的業(yè)務(wù)全貌,避免形成思維壁壘;另一方面也是做了一層保障,讓新同學(xué)測試,更容易找到用戶視角。
但前提都要以團(tuán)隊(duì)內(nèi)的資源情況和工程進(jìn)度為基準(zhǔn),適度調(diào)整。
2、缺陷處理機(jī)制
大部分缺陷,直接找到測試人員或開發(fā)人員進(jìn)行驗(yàn)證、修復(fù)即可。
但有時(shí)會(huì)遇到不太好改的問題,或者隨著時(shí)間推移導(dǎo)致政策變動(dòng)、用戶預(yù)期及偏好變動(dòng)、市場變動(dòng)等情況,讓業(yè)務(wù)人員發(fā)現(xiàn)本版并不能滿足業(yè)務(wù)要求。
此時(shí),如何做決策?
每個(gè)團(tuán)隊(duì)的決策影響因素都不一樣,在此我僅分享兩個(gè)曾經(jīng)使用的原則:
(1)少量極端場景下存在等級為高級的缺陷要進(jìn)行需求變更
若需求變更程度小于10%且工作量在1周內(nèi)的本版本解決,可以進(jìn)行需求變更;若需求變更范圍影響涉及比例超過原需求10%則延至下一版本,并確定延期交付的時(shí)間。
(2)經(jīng)過產(chǎn)品評審會(huì)討論,此功能不再驗(yàn)收(忽略)。
有些問題雖然存在,但為特殊場景下的低頻偶發(fā)情況,經(jīng)過評審會(huì)討論后,將其忽略。
3、驗(yàn)收輪次
正常來講,產(chǎn)品驗(yàn)收測試做兩輪即可,如果遇到交付質(zhì)量較高的版本,一次測試直接通過也可以。
但我也遇到過驗(yàn)收測試做了多輪的情況,大多是因?yàn)榍捌诹鞒炭刂坪徒唤拥膯栴},在本階段出現(xiàn)了需求變更、需求蔓延等,導(dǎo)致后續(xù)的過程異常艱難。
也有一些集成測試質(zhì)量較差的,導(dǎo)致驗(yàn)收測試一直在關(guān)注細(xì)節(jié)。
其實(shí)每個(gè)測試階段要進(jìn)行幾輪,并沒有一個(gè)明確的規(guī)范,我們可以結(jié)合當(dāng)下版本的大小、風(fēng)險(xiǎn)的高低、資源配置情況等,制定不同的要求。
但千萬要注意,每當(dāng)新一輪測試伊始,經(jīng)常會(huì)出現(xiàn)一些稀奇古怪的問題,這些問題一定要引起團(tuán)隊(duì)的重視,因?yàn)樵谲浖用?,任何一個(gè)問題的出現(xiàn)都不是偶然。
很多稀奇古怪的問題,恰恰反映了當(dāng)下團(tuán)隊(duì)的項(xiàng)目過程管理體系的缺失。
寫在最后
今天的分享,基本框架是去年我在團(tuán)隊(duì)中構(gòu)建的產(chǎn)品驗(yàn)收流程,然而隨著我的離開,也沒有機(jī)會(huì)驗(yàn)證此流程的效果,這不得不說是一種遺憾。
一份流程的建立不僅需要對現(xiàn)狀和目標(biāo)的考量,更需要牽頭人的督導(dǎo)和推動(dòng),在面對多重阻礙時(shí)適度調(diào)整,最終經(jīng)過幾個(gè)周期的迭代,讓各個(gè)角色都形成一種習(xí)慣。
而這個(gè)周期,大概率要以“季”或“年”為單位衡量,確實(shí)很難,但我相信一定有團(tuán)隊(duì)在做,或已經(jīng)做出了成果。
最后總結(jié)一句:
產(chǎn)品團(tuán)隊(duì)要站好最后一班崗,既要為自己的設(shè)計(jì)方案負(fù)責(zé),更要為自己的交付結(jié)果負(fù)責(zé)。
專欄作家
不想延期,公眾號:不想延期,人人都是產(chǎn)品經(jīng)理專欄作家。半路轉(zhuǎn)行的B端泛金融產(chǎn)品,堅(jiān)持“以實(shí)踐驗(yàn)證理論,以輸出倒逼成長”的目標(biāo)。點(diǎn)滴珍貴,重在積累
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
如果只有一個(gè)產(chǎn)品經(jīng)理呢
那可以做一個(gè)體驗(yàn)驗(yàn)收的模版來搞這個(gè)嗎,將產(chǎn)品的主場景+輔助場景的體驗(yàn)研究流程重新規(guī)劃一下?
理論上是可以的,也很有意義,但要看團(tuán)隊(duì)是否支持你做這件事,畢竟流程性的變革,隱性成本蠻高的。
好巧哈,從星球,到公眾號,再到人人都是產(chǎn)品經(jīng)理。
我也堅(jiān)信“輸出倒逼成長”
啊哈?是思維碎片的星友嗎?
昨天就因?yàn)轵?yàn)收沒做好被叼了
感覺驗(yàn)收跟測試是的