實(shí)踐復(fù)盤(pán)丨如何完整地進(jìn)行一次可用性測(cè)試

2 評(píng)論 7925 瀏覽 47 收藏 12 分鐘

可用性測(cè)試是通過(guò)觀(guān)察有代表性的用戶(hù),完成產(chǎn)品的典型任務(wù),發(fā)現(xiàn)產(chǎn)品的可用性問(wèn)題,達(dá)到改善產(chǎn)品的目的。本文將按照測(cè)試前準(zhǔn)備、測(cè)試執(zhí)行、結(jié)果整理三大模塊進(jìn)行展開(kāi),總結(jié)其中需要注意的地方。

一、測(cè)試準(zhǔn)備

這部分包括資料收集、相關(guān)材料準(zhǔn)備、用戶(hù)招募等

1. 資料收集

可用性測(cè)試本質(zhì)上也是一種研究類(lèi)型的工作,作為研究類(lèi)的工作,那么做一些前期的資料收集也是有必要的,這有助于幫助我們界定需要研究的主要問(wèn)題,好比我們?cè)趯?xiě)論文的過(guò)程中,需要先閱讀相關(guān)的文獻(xiàn)。

在資料的收集方式上,主要有以下幾種方式:

(1)定性訪(fǎng)談

前期可以找一些用戶(hù),尤其是產(chǎn)品使用經(jīng)驗(yàn)比較久的用戶(hù)進(jìn)行訪(fǎng)談,這個(gè)訪(fǎng)談可以盡量發(fā)散,不局限于某一功能和某一方面,這樣能夠比較全面的了解產(chǎn)品的相關(guān)功能信息。

(2)焦點(diǎn)小組

組織一次小范圍的討論,了解大家對(duì)于產(chǎn)品的使用情況和反饋。

(3)研究競(jìng)品

如果產(chǎn)品有相應(yīng)的競(jìng)品,也可以進(jìn)行競(jìng)品分析,對(duì)比彼此在功能上的差異性。

(4)其他包括參考相關(guān)的研究報(bào)告、相關(guān)的可用性測(cè)試案例等

在本次研究中,我們找了5名有產(chǎn)品使用經(jīng)驗(yàn)(都在三年以上)的用戶(hù)進(jìn)行了訪(fǎng)談,并且也對(duì)競(jìng)品進(jìn)行了研究,然后我們將得到的結(jié)果進(jìn)行初步的整理歸納。前期的資料收集可以根據(jù)項(xiàng)目的整體進(jìn)度安排時(shí)間,建議訪(fǎng)談一定要做,其他可選。

2. 材料準(zhǔn)備

需要準(zhǔn)備的材料主要包括:可用性測(cè)試腳本、任務(wù)條、相關(guān)評(píng)估量表、禮物簽收表、測(cè)試的產(chǎn)品及版本號(hào)、相關(guān)記錄(錄音、錄像、計(jì)時(shí)器等)工具

(1)可用性測(cè)試腳本

測(cè)試腳本是指導(dǎo)測(cè)試進(jìn)行的工具,內(nèi)容包括:基本信息、測(cè)試指導(dǎo)語(yǔ)、場(chǎng)景任務(wù)、任務(wù)評(píng)分題、事后訪(fǎng)談問(wèn)題。

1)基本信息

一般包括被試的姓名、性別、產(chǎn)品使用經(jīng)驗(yàn)、測(cè)試開(kāi)始/結(jié)束時(shí)間、主持人、記錄員等。

2)測(cè)試指導(dǎo)語(yǔ)

向被試介紹測(cè)試的目的,需要注意的事項(xiàng)等,測(cè)試前也可以做一個(gè)簡(jiǎn)短的訪(fǎng)談,了解用戶(hù)對(duì)產(chǎn)品的使用情況,幫助用戶(hù)將注意力轉(zhuǎn)移到產(chǎn)品上,為測(cè)試做準(zhǔn)備。

3)場(chǎng)景任務(wù)

根據(jù)測(cè)試的目的,選取需要測(cè)試的功能,在此基礎(chǔ)上,將任務(wù)場(chǎng)景化,這樣更符合用戶(hù)平時(shí)的使用習(xí)慣,也避免生硬的表達(dá),這里需要注意兩點(diǎn):

a. 在任務(wù)場(chǎng)景化的過(guò)程中,避免提及與測(cè)試功能有關(guān)的詞匯,以免對(duì)用戶(hù)造成暗示。

  • 錯(cuò)誤示例:請(qǐng)搜索聯(lián)系人XXX,并給他發(fā)送消息
  • 正確示例:在系統(tǒng)中找到聯(lián)系人XXX,并告知他下午要開(kāi)會(huì)

b. 任務(wù)應(yīng)該涉及詳細(xì)的操作,而不是籠統(tǒng)的描述

  • 錯(cuò)誤示例:請(qǐng)發(fā)送一次會(huì)議邀請(qǐng)
  • 正確示例:請(qǐng)發(fā)送一次會(huì)議邀請(qǐng),時(shí)間為XXXX,參會(huì)人員為XXXX,會(huì)議地點(diǎn)為XXXX,會(huì)議主題是XXXX

4)任務(wù)評(píng)分題

在每一次任務(wù)完成后,可以讓用戶(hù)對(duì)任務(wù)進(jìn)行評(píng)分,注意評(píng)分要有相同的維度,否則無(wú)法進(jìn)行統(tǒng)計(jì)。比如可以從產(chǎn)品功能的滿(mǎn)意度、操作的便捷性滿(mǎn)意度進(jìn)行評(píng)分,評(píng)分可以采取5分制或者7分制。

最后統(tǒng)計(jì)的時(shí)候可以分別計(jì)算產(chǎn)品的功能滿(mǎn)意度和操作滿(mǎn)意度總平均分,將單一任務(wù)的平均分與總平均分進(jìn)行參照對(duì)比,了解用戶(hù)對(duì)功能的評(píng)價(jià)情況。

5)事后訪(fǎng)談

在完成每一次的操作任務(wù)后,可以對(duì)用戶(hù)進(jìn)行訪(fǎng)談,訪(fǎng)談的邏輯可以參考“基于過(guò)去和現(xiàn)狀,你的期望是什么”,因此提問(wèn)的方式可以參考:

  • “在平時(shí)使用的過(guò)程中,您有遇到什么問(wèn)題嗎?您是怎么處理的?”
  • “目前的功能能否滿(mǎn)足您的使用需要,您認(rèn)為還需要哪些功能?”

(2)任務(wù)條

1)將任務(wù)條裁剪成相同大小,消除挑選時(shí)外觀(guān)的誤差影響

測(cè)試的任務(wù)條盡量做成相同大小,進(jìn)行裁剪,這樣在挑選單條任務(wù)給用戶(hù)進(jìn)行操作時(shí),不容易受外觀(guān)不同這一誤差的影響,保證能夠隨機(jī)挑選。鑒于大部分用研都不是專(zhuān)業(yè)的設(shè)計(jì)師,任務(wù)卡片可以直接在Word中插入一行表格的形式,空行保證相同,這樣裁剪的時(shí)候大小就一致了。

2)任務(wù)隨機(jī)進(jìn)行,消除順序效應(yīng)的影響

每次測(cè)試的時(shí)候?qū)㈨樞蜻M(jìn)行打亂,消除順序效應(yīng)的影響,避免前面的操作對(duì)后面產(chǎn)生影響。

(3)其他的材料包括評(píng)估量表(一般可以采用SUS量表進(jìn)行評(píng)分)、禮物簽收表等

3. 用戶(hù)招募

用戶(hù)招募的關(guān)鍵之處在于所招募的用戶(hù)要具有代表性,數(shù)量一般在10名左右即可??梢愿鶕?jù)產(chǎn)品后臺(tái)的使用數(shù)據(jù),了解用戶(hù)的群體特征是怎樣的,比如設(shè)備類(lèi)型、性別比例、年齡分布等,這些即構(gòu)成招募的條件,然后我們可以對(duì)招募的用戶(hù)信息進(jìn)行整理。

二、測(cè)試執(zhí)行

這一部分是整個(gè)測(cè)試的關(guān)鍵環(huán)節(jié),操作執(zhí)行的好壞直接影響到整個(gè)可用性測(cè)試的結(jié)果。在操作執(zhí)行中,最重要的就是觀(guān)察和記錄用戶(hù)的行為。這里需要注意幾點(diǎn):

(1)在用戶(hù)操作的時(shí)候盡量不要打擾用戶(hù),觀(guān)察和記錄疑問(wèn)的地方,事后再進(jìn)行訪(fǎng)談

比如:用戶(hù)可能操作的時(shí)候出現(xiàn)遲疑,做思考狀,事后可詢(xún)問(wèn)原因是什么。

(2)用戶(hù)所說(shuō)的固然重要,但用戶(hù)所做的更加重要

不管用戶(hù)如何說(shuō),堅(jiān)持讓他完整操作一遍任務(wù)

在測(cè)試中,我們發(fā)現(xiàn),有用戶(hù)認(rèn)為這一任務(wù)很簡(jiǎn)單,因此只是大致向我們示意了一下,實(shí)際并沒(méi)有完整的執(zhí)行這個(gè)任務(wù),當(dāng)我們要求他完整執(zhí)行整個(gè)任務(wù)流程時(shí),依然發(fā)現(xiàn)了一些問(wèn)題,因此一定要讓用戶(hù)執(zhí)行任務(wù)操作,而不是簡(jiǎn)單示意,或者說(shuō)“這個(gè)任務(wù)很簡(jiǎn)單,我知道怎么做,就不用演示了”等之類(lèi)的話(huà)語(yǔ)。

當(dāng)提問(wèn)用戶(hù)關(guān)于某一功能模塊的問(wèn)題時(shí),可讓用戶(hù)邊看邊回答

對(duì)于很多的產(chǎn)品功能模塊,或許我們平時(shí)已經(jīng)使用較為成熟,已經(jīng)習(xí)以為常,但如果是在不看著產(chǎn)品的情況下,我們并一定能夠進(jìn)行完整回憶。比如我們?nèi)粘J褂玫奈⑿?,其聊天?duì)話(huà)框里面的功能,我相信很少有人能夠在不看著的情況下完整說(shuō)出來(lái)。因此,當(dāng)提問(wèn)用戶(hù)具體某一模塊的功能相關(guān)問(wèn)題時(shí),可以提示用戶(hù)邊看邊進(jìn)行回答。

鼓勵(lì)用戶(hù)進(jìn)行操作時(shí)進(jìn)行“發(fā)聲思維”

所謂“發(fā)聲思維”,就是讓用戶(hù)邊操作時(shí),邊口述自己的想法。

不僅要記錄顯性的回答話(huà)語(yǔ),也要記錄隱性的行為和表情等

用戶(hù)的回答揭示了其個(gè)人的感受和體驗(yàn),這是我們需要關(guān)注和記錄的,但用戶(hù)在操作中的行為和表現(xiàn)出來(lái)的情緒,也是值得關(guān)注的,更何況在某些情況下人的言語(yǔ)與行為存在不一致的情況。

因此在記錄時(shí),既要記錄用戶(hù)的言語(yǔ)回答,也可以括號(hào)備注用戶(hù)的行為和表情中隱性的信息,這樣事后看記錄結(jié)果時(shí),也能夠聯(lián)想起當(dāng)時(shí)的場(chǎng)景,當(dāng)然這對(duì)用研人員的觀(guān)察力提出了一定的要求。

三、結(jié)果整理

1. 原始結(jié)果的整理記錄

這一部分的整理記錄,應(yīng)盡可能詳細(xì),方便后續(xù)核對(duì)和查閱,形式可以整理如下:

2. 結(jié)果分析整理

結(jié)果分析整理可以從定量和定性結(jié)果兩方面進(jìn)行,定量的結(jié)果可以分析任務(wù)的完成情況、任務(wù)的滿(mǎn)意度等,并借助可視化的圖表進(jìn)行展現(xiàn),比如:

(1)統(tǒng)計(jì)任務(wù)的滿(mǎn)意度評(píng)分情況,并與總均值進(jìn)行比較,對(duì)于評(píng)分比較低的功能則需要引起注意

(2)統(tǒng)計(jì)任務(wù)的完成情況

任務(wù)完成一般可以分為一次完成、多次嘗試完成、經(jīng)提示完成、任務(wù)失敗四種情況,不同的完成情況用不同的色塊表示,然后統(tǒng)計(jì)完成率情況,整理結(jié)果可以參考如下:

(3)定性結(jié)果的整理

根據(jù)用戶(hù)回答的情況,進(jìn)行概括總結(jié),歸納問(wèn)題點(diǎn)集中表現(xiàn)在哪些方面,可以整理為:

功能三,操作交互體驗(yàn)不佳:

①長(zhǎng)按提示功能沒(méi)有整合

②滑動(dòng)跳轉(zhuǎn)不符合正常操作習(xí)慣

……

(4)撰寫(xiě)測(cè)試研究報(bào)告

將得到的結(jié)果進(jìn)行凝練總結(jié),形式上按照“總-分-總”的格式進(jìn)行,內(nèi)容上按照“提出問(wèn)題-給予建議-后續(xù)研究”的線(xiàn)索進(jìn)行撰寫(xiě)。報(bào)告要具有一定的結(jié)構(gòu)性和提煉總結(jié),做到條理清晰,有總結(jié)和挖掘,同時(shí)能夠提供的意見(jiàn)和建議以及后續(xù)的研究進(jìn)展和方向等前瞻性的內(nèi)容。

 

本文由 @?Samuel 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自u(píng)nsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 感謝分享!不過(guò)有個(gè)疑問(wèn),可用性測(cè)試對(duì)樣本量要求通常是6-8人(質(zhì)性研究樣本量),SUS或者ASQ、SEQ這類(lèi)量表樣本要求通常是20-30(量化研究樣本量),兩種研究方法對(duì)樣本量的要求不一致,能這么混用嗎?

    來(lái)自浙江 回復(fù)
    1. 可用性測(cè)試本質(zhì)上是一種定性的研究方法,用戶(hù)的實(shí)際操作場(chǎng)景和行為特點(diǎn)是更為關(guān)鍵的。量表在此過(guò)程中更多的是一種輔助作用,不是占主要的。

      來(lái)自廣東 回復(fù)