深度總結(jié)可用性測試(下):定量與定性

7 評論 12549 瀏覽 56 收藏 12 分鐘

編輯導(dǎo)讀:在產(chǎn)品設(shè)計流程中,可用性測試是繞不開的一個環(huán)節(jié)。可用性測試包括定性和定量研究。具體有什么區(qū)別?要注意哪些問題?遵循哪些步驟?本文作者從概念、差異、使用流程和結(jié)果等多個方面對此展開了分析說明,與大家分享~

定性與定量這兩種互補(bǔ)類型的用戶研究在迭代設(shè)計周期中都扮演著重要的角色。定性研究指導(dǎo)設(shè)計過程;定量研究為基準(zhǔn)規(guī)劃和投資回報率計算提供了基礎(chǔ)。

  • 要點:定性數(shù)據(jù),由觀察結(jié)果組成,確定容易或難以使用的設(shè)計特征定量數(shù)據(jù),以一個或多個度量(如任務(wù)完成率或任務(wù)時間等等)的形式表示,反映產(chǎn)品是否真的好用
  • 數(shù)據(jù):我不要你覺得,我要我覺得

一、定性和定量的區(qū)別

1. 定性研究

定性數(shù)據(jù)提供了參與者體驗系統(tǒng)可用性的直接評估并產(chǎn)生的結(jié)果,并推斷出設(shè)計的哪些方面存在問題,哪些方面體驗/設(shè)計得很好。然后在根據(jù)我們自己的交互/設(shè)計的知識來判斷是否改變優(yōu)化產(chǎn)品設(shè)計目標(biāo)。

2. 定量研究

定量數(shù)據(jù)提供了對設(shè)計可用性的間接評估。它們可以基于參與者在特定任務(wù)上的表現(xiàn)(例如,任務(wù)完成時間,成功率,錯誤數(shù)量),或者可以反映參與者對可用性的感知(例如,滿意度評級)。

定量研究度量的標(biāo)準(zhǔn)只是簡單的數(shù)字。因此,在沒有參考點的情況下,它們很難解釋。

例如,如果在一項研究中,60%的參與者能夠完成一項任務(wù),這是好事還是壞事?這很難說是絕對的。這就是為什么許多定量研究的目標(biāo)通常不是描述一個網(wǎng)站的可用性,而是與一個已知的標(biāo)準(zhǔn)、競品體驗或以前的設(shè)計版本進(jìn)行比較。

雖然定量數(shù)據(jù)結(jié)果可以告訴我們,我們的設(shè)計可能是不可用的,但相對于參考點,它們不能指出參與者遇到了什么問題;也沒有告訴我們在設(shè)計中需要做哪些得到改變,才能在下次得到更好的結(jié)果;也沒有說明為什么參與者在完成這項任務(wù)時遇到了什么困難。為了理解界面的具體可用性問題,研究人員通常需要使用定性的方法來補(bǔ)充定量的數(shù)據(jù)。

二、定性和定量的差異

定性和定量數(shù)據(jù)需要稍微不同的研究設(shè)置和非常不同的分析方法。他們很少同時收集一組相同的數(shù)據(jù),因此這是定性和定量用戶研究之間的差異。在迭代設(shè)計周期中,定性和定量測試也都是必不可少的。

因為只有定量研究才能讓我們看到設(shè)計后給出一個數(shù)值,并清楚地說明我們的新版本比舊版本改進(jìn)了多少——也就是ROI。(反正領(lǐng)導(dǎo)述職必備,你想述職的更專業(yè),那你就學(xué)起來吧!)

(題外話:盡管正兒八經(jīng)的定性定量研究在我們的實際工作場景中會很少用到,但是我還是很想去普及這件事情。在大廠這些很常見,有著專門的用研團(tuán)隊,想去大廠必學(xué)用研,想去專業(yè)的團(tuán)隊也必學(xué)。)

雞湯:

老板和領(lǐng)導(dǎo)都是喜歡有能力的下屬,這沒錯吧。你如何證明你有能力?圖畫的比別人好?那這個是僅限對你自己,對老板產(chǎn)生了什么價值?你想加薪老板不給,你想晉升,領(lǐng)導(dǎo)不同意。你怎么辦?跳槽?還不是死循環(huán)。

什么叫有能力,就是到你表現(xiàn)的機(jī)會了,你就要抓住。悄咪咪的打工,然后驚艷所有人。功成名就。這就是你有能力、有價值的點。

最近又看了一遍《奇葩說》中的某一集,講的是該不該996。這里我就不說了,期待與你們的battle。

下表總結(jié)了兩類研究的差異。你也可以自己進(jìn)行總結(jié),但是核心點不是變的。

要點:

迭代設(shè)計周期:定性與定量對現(xiàn)有設(shè)計的評估,決定重新設(shè)計當(dāng)前系統(tǒng)可用性。一旦新版本完成,就可以對其進(jìn)行評估并與初始版本進(jìn)行比較。

三、定性和定量的使用流程

第一階段和第三階段涉及總結(jié)性研究

它們提供一個設(shè)計的總體評估。在這些步驟中,可以使用定性、定量的研究方法(或組合)來評估設(shè)計。如果目標(biāo)是明確地計算出重新設(shè)計改進(jìn)了多少,就必須使用定量研究。這種定量地評估設(shè)計的每個版本并將其與以前的版本進(jìn)行比較的過程稱為基準(zhǔn)測試。

第二階段和第四階段涉及形成性研究

(通過定性方法完成)

在重新設(shè)計階段,用戶研究扮演著一個形成性的角色,它意味著為設(shè)計提供信息,并引導(dǎo)它做出正確的設(shè)計。在這個階段,設(shè)計師/研究人員獲取的用戶數(shù)據(jù),以便能夠在不同的設(shè)計方案中進(jìn)行選擇,并創(chuàng)建一個可用的UI。在這個階段,定性研究通常是最合適的。我們都知道7-8參與用戶定性研究可能會發(fā)現(xiàn)85%可用性的問題。

四、什么時候使用定性和定量?

定性研究非常適合識別設(shè)計的主要問題。例如,我們?nèi)绾翁岣哂脩粼谔顚懕韱螘r的效率,根據(jù)研究發(fā)現(xiàn),我們將表單字段名稱精簡,減少選擇,整理操作路徑,后就可以提高填寫效率了。

相反,我們同樣針對填寫表單時,用到了定量。那這個時候無疑是在增加工作成本。雖然是測試到了效率問題總結(jié)出了可用性不好等等因素,可是這些花費(fèi)高成本的代價就有點得不償失了。

要點:

定性可以在任何時候進(jìn)行可用性測試而定量研究需要針對完成的項目進(jìn)行。原因就是,定量研究需要大量的參與者支持,成本過于高昂。

五、結(jié)果:定性和定量

定性數(shù)據(jù)通常由一組內(nèi)容發(fā)現(xiàn)并組成,這些發(fā)現(xiàn)確定(并根據(jù)嚴(yán)重程度劃分優(yōu)先級)設(shè)計的優(yōu)缺點。但是,這些發(fā)現(xiàn)是估計的,因為它們是基于用研人員設(shè)定的問題和解釋用戶行為含義的知識和經(jīng)驗水平。不同的從業(yè)者通常會在同一個用戶測試會話中識別不同的問題(這種稱為評估者效應(yīng)的現(xiàn)象)。當(dāng)然啦,招募的參與者也有關(guān)系。

定量研究通常涉及相對大量的用戶(通常超過30人),并使用統(tǒng)計技術(shù)(如:置信區(qū)間)來保護(hù)自己不受這些隨機(jī)事件的影響。

要點:

在你出去面試吹牛逼的時候,跟面試官說我做過定量。面試官對你感興趣了,體量多少呀,30人,什么數(shù)據(jù),效率和時間等總結(jié)出我們需要改進(jìn)點,你如何區(qū)分這些點的準(zhǔn)確性,置信區(qū)間90%,那剩下的10%,問題出現(xiàn)在在哪?出現(xiàn)在,我們與每個人交流時出現(xiàn)的溝通意外或者每個人的理解程度不一樣。

當(dāng)報告正確時,定量研究將包括關(guān)于結(jié)果統(tǒng)計意義的信息。例如,誤差范圍可以幫助你了解你有多相信研究結(jié)果。

直白了說,不管你換了多少批人都無法改變這個可信任的數(shù)值。就是這么神奇!

因此,當(dāng)定量研究被正確地進(jìn)行和分析時,你就可以確信他們的結(jié)果是可靠的。而不是運(yùn)氣。

六、方法:定性和定量

從表面上看,定量和定性的用戶測試看起來非常相似(例如,它們都涉及用戶在設(shè)計中執(zhí)行任務(wù))。兩種類型的研究都需要遵循良好實驗設(shè)計的基本規(guī)則。

由于定量的人數(shù)會比定性的人數(shù)要多好幾倍,所以在話術(shù)設(shè)置和參與者背景的差異會增加測試難度,導(dǎo)致更大的誤差范圍,因此定量研究的目標(biāo)是盡可能地減少差異。

1. 定量的條件需要嚴(yán)格的控制

  1. 確保所有的參與者都在盡可能相同的環(huán)境中運(yùn)行。
  2. 從練習(xí)小任務(wù)開始(上一篇文章也具體說了要如何控制)
  3. Think aloud 在定量研究中不推薦。
  4. 個人信息(上一篇文章也具體說了要如何控制)

2. 定性的條件可以根據(jù)情況變動

  1. 可以在不同的階段改變研究目標(biāo)
  2. 發(fā)現(xiàn)任務(wù)無法活動想要的數(shù)據(jù),請及時更改。以確保下一個訪談能按需進(jìn)行(隨機(jī)應(yīng)變)
  3. 考驗的是洞察力而不是數(shù)據(jù)分析

七、結(jié)論

定性和定量用戶測試是服務(wù)于不同目標(biāo)的互補(bǔ)方法。

  1. 定性測試涉及到少量的用戶(7-8),并直接識別界面中的主要可用性問題。它經(jīng)常被用于形式化的設(shè)計過程,并引導(dǎo)它向正確的方向發(fā)展。
  2. 定量可用性測試(或基準(zhǔn)測試)是基于大量的參與者(通常超過30人);當(dāng)分析和解釋正確時,定量測試的結(jié)果對隨機(jī)噪點有更高的保護(hù)(統(tǒng)計結(jié)果)。定量研究通過任務(wù)完成率、任務(wù)時間或滿意度評分等。指標(biāo)對可用性提供了一種間接的總結(jié)性評估,通常用于在設(shè)計迭代過程中跟蹤系統(tǒng)的可用性。

#相關(guān)閱讀#

深度總結(jié)可用性測試(上):遠(yuǎn)程可用性測試

 

作者:交互思維鋪子;公眾號:交互思維鋪子

本文由 @交互思維鋪子 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 如果沒辦法現(xiàn)場測試的話,可以試試遠(yuǎn)程測試。遠(yuǎn)程測試就需要專門的工具了,國外有Usertesting UserFeel等平臺,可以提供測試員,設(shè)計測試流程。國內(nèi)的話建議使用測試鵝。

    來自內(nèi)蒙古 回復(fù)
  2. 學(xué)生愚笨;老師您能舉個更簡單的例子說明定性和定量嗎?

    來自廣西 回復(fù)
    1. 這兩者都是:總結(jié)誰是帥哥

      定性:從人群中,發(fā)現(xiàn)了你,你的鼻子和研究是符合帥哥的,最后總結(jié)你就是帥哥。

      定量:從人群中,抽取樣本,你這個人,鼻子是90%是符合帥哥的,嘴70%符合帥哥,臉100分符合帥哥(在從這些數(shù)值里面,推算可信度,然后總結(jié)你就是帥哥)

      來自上海 回復(fù)
    2. 鼻子和研究(改正為:眼睛)打錯字了

      來自上海 回復(fù)
    3. 繼續(xù)跟進(jìn)這個問題(誰是帥哥)

      定性呢:你可以理解為,評委專家,親自到你面前,觀看你是否符合帥哥

      定量呢:評委專家,看不到你的真人,只能通過數(shù)據(jù)判斷你是不是帥哥

      來自上海 回復(fù)
    4. 沒想到竟然收到回復(fù)了,欣喜萬分,感謝老師的講解 ,明白了

      來自廣西 回復(fù)
  3. 好復(fù)雜的

    來自廣西 回復(fù)