產(chǎn)品經(jīng)理產(chǎn)品設(shè)計(jì)-用戶研究干貨!量化用戶研究

用戶研究干貨！量化用戶研究什么是用戶研究？本書關(guān)注的是前者的廣告主。這里的用戶可以是一個付費(fèi)顧客、內(nèi)部員工、物理學(xué)家、呼叫中心處理員、汽車司機(jī)、手機(jī)擁有者或是任何試圖去完成某個目標(biāo)的人一一一方面是那些涉及到軟件、網(wǎng)站以及機(jī)器設(shè)備的目標(biāo)。這里的“研究”寬泛而又模糊一一它是以其為核心的方法和專業(yè)人員的結(jié)果。Schumacher(2021,p.6)草擬了以下的定義：用戶研究是對于用戶既定目標(biāo)、需求和能力的系統(tǒng)內(nèi)研究，它的終極目標(biāo)是為了給設(shè)計(jì)、手機(jī)用戶架構(gòu)或改進(jìn)工具來幫助用戶更好的黨務(wù)工作和生活。相比起這個詞語的定義以及它的內(nèi)容，我們愈關(guān)心如何關(guān)心量化用戶的行為，因?yàn)檫@包含到可用性相關(guān)專業(yè)人士、設(shè)計(jì)師、產(chǎn)品經(jīng)理、營銷人員以及開發(fā)者。用戶研究中的數(shù)據(jù)n盡管“用戶研究”這個說法最終可能會失寵，但是它其中統(tǒng)計(jì)數(shù)據(jù)勞動生產(chǎn)率的數(shù)據(jù)卻不會。貫穿本書，我們將把重點(diǎn)放在可用性測試，使用一些來自精確性測試、用戶調(diào)查、A/B測試以及沙盤調(diào)研的案例。之所以把重點(diǎn)放在可用性測試上，是有以下兩點(diǎn)原因：可用性測試依然是判別用戶是否在完成任務(wù)的核心方法。我均執(zhí)行過的可用性測試并對其有著很多論述。可用性測試用到了許多其他用研方法所涉及到基準(zhǔn)的指標(biāo)。(比如到處都能看到的“完成率”)?？捎眯詼y試大多數(shù)的可用性測試屬于總結(jié)性的。它們通常是一個小樣本量的定性活動，在其中問題描述以及設(shè)計(jì)建議是以數(shù)據(jù)的形式輸出的。你的目標(biāo)是找到發(fā)現(xiàn)盡可能多的問題并找到軟件平臺，但是這并不意味著沒有固相什么事。你可以從頻率、程度的角度量化問題，追蹤哪些用戶碰到了哪些問題，衡量一下他們量度圓滿完成任務(wù)花費(fèi)的時間，判斷一下他們是否成功的敲定了任務(wù)。通常來講有兩種典型的總結(jié)性測試：基準(zhǔn)測試以及比較實(shí)驗(yàn)?；鶞?zhǔn)可擴(kuò)展性測試的目標(biāo)是描述一個應(yīng)用相對于一系列基準(zhǔn)來說的可用程度。在基準(zhǔn)測試?yán)锬憧梢蕴岢鲆粋€界面中需要修復(fù)的問題并且它也提供了用于比較設(shè)計(jì)后改變的一條基線。比較可用性測試，就像他的名字一樣，某個這可以是較為同一個產(chǎn)品的不同版本，也可以是比較幾個競品。在比較測試中，同一個用戶可以在所有的產(chǎn)品上任務(wù)嘗試完成任務(wù)（主題下的設(shè)計(jì)），或者不同組的用戶可以試驗(yàn)各個產(chǎn)品（主題間的設(shè)計(jì)）。樣本量n對于樣本量有一種錯誤的觀點(diǎn)認(rèn)為必須越大越好，這樣才可以讓數(shù)據(jù)精確可使用并量化成可供使用數(shù)據(jù)。我們將在第6.7章中深入探討這個結(jié)構(gòu)性問題，并且在本書中，我們都將展現(xiàn)給你如何在樣本量展現(xiàn)遠(yuǎn)大于10的情況下獲得有效的數(shù)據(jù)結(jié)果。不要讓你的測量誤差（哪怕你只有2到5個用戶）阻礙你使用統(tǒng)計(jì)數(shù)據(jù)信息來量化數(shù)據(jù)并指導(dǎo)最終的設(shè)計(jì)方案。代表性和隨機(jī)性在用戶研究中，無論數(shù)據(jù)是定量的還是定性的，最重要的一件事所能是你測試的用戶樣本能夠代表你所要針對的所有人。否則你的專題報(bào)告不適結(jié)果從邏輯上就不適用于你的目標(biāo)人群。如果你用一個群體的樣本來推論另一個不同的群體，信息學(xué)那么再好的統(tǒng)計(jì)學(xué)都幫不上忙。如果你想要深入了解如何雪地鞋的設(shè)計(jì)，去調(diào)研5個極地探險(xiǎn)者都要比調(diào)研1000個沖浪者來的好。在實(shí)踐中，這就如果你試圖從不同的用戶群里得出結(jié)論（比如，上新用戶和經(jīng)驗(yàn)用戶，或健壯用戶和年輕用戶），你就該讓樣本很好的代表不同的用戶群。在指標(biāo)上不同組別之間有潛在的關(guān)鍵差別。（Dickens，1987）組與組之間存在潛在交流。（AykinandAykin，1991）在關(guān)鍵指標(biāo)的變動性上，組與組之間不同。不同組之間控制點(diǎn)成本不一樣。Gordon和Langmaid推薦用一下方法來定義一個組（1988）:寫下所有重要的變量。如果需要的話，按優(yōu)先級對常量排序。設(shè)計(jì)者一個理想的樣本。利用常識來合并組。舉例來說，假設(shè)你一開始有24個組，這些組都是基于6個人統(tǒng)計(jì)地點(diǎn)、2種經(jīng)歷、2種性別的組合。你可能規(guī)劃著⑴每組中都包含同樣數(shù)量的40歲以上和以下的男性同性戀者，（2）初學(xué)用戶和經(jīng)驗(yàn)用戶分開，然后（3）棄用中間的那些用戶。最后的規(guī)劃需要從2個組里取樣。而不會合并性別和年齡的規(guī)劃可能需要則需要從8個組里取樣。我們理想的假設(shè)你中會的樣本是從兄人群中隨機(jī)挑選的?，F(xiàn)實(shí)中這一點(diǎn)十分困難。除非你強(qiáng)迫用戶去參與調(diào)查，否則多多少少不會完全隨機(jī)。在可用性研究和調(diào)查中所，如果人們決定參與，那么這一組里可以有不同的特點(diǎn)，而如果人們偏好不會選擇參與則反之。這個說白了問題不僅僅存在在用戶深入研究中。即便在要對藥物以及醫(yī)療程序作出生與死的決定的臨床里，人們又不得不參與或者有某種疾?。ò┌Y或糖尿?。┑臅r候，也有這樣的情況。許多心理學(xué)課本里關(guān)于人們行為的準(zhǔn)則居然是被一些大學(xué)本科生的一一這是一個潛在的代表性以及隨機(jī)性問題。你必須要意識到你的數(shù)據(jù)依舊是存在不一致性的，這也將制約到你的結(jié)論。在應(yīng)用研究中，我們被預(yù)算以及用戶參與度所拘束，可是產(chǎn)品依然必須要產(chǎn)出。所以，在我們能收集到的數(shù)字的基礎(chǔ)之上，我們給與盡量做出最完全正確的判斷。在盡力讓樣本中的當(dāng)中系統(tǒng)偏差最小化的同時要記住，代表性比某類更加重要。換句話說，哪怕你有一個非常完美的隨機(jī)樣本，但是它選取自錯誤的人群，那么這個樣本也比不上選取自正確人群但不完美的樣本。數(shù)據(jù)收集n可擴(kuò)展性數(shù)據(jù)實(shí)驗(yàn)室可以在一個傳統(tǒng)基于實(shí)驗(yàn)室的有主持過程里被收集，這個過程中，用戶去完成任務(wù)，而一個主持人將觀察并與他們互動。這樣的測試過程無疑耗時耗力，并且還可能需要具備用戶和觀察人兩個角色(這也阻礙其進(jìn)行一些跨國的測試)。這樣的研究一般運(yùn)用小樣本的統(tǒng)計(jì)學(xué)過程，因?yàn)槊恳粋€樣本的產(chǎn)品成本生產(chǎn)成本實(shí)在太高了。近些年來，遠(yuǎn)程主持以及無主持的投資過程越來越受歡迎。在遠(yuǎn)程主持的過程中會，用戶在自己的電腦上嘗試完成任務(wù)，而主持人通過屏幕共享軟件來觀察并記錄用戶的行為。而在不具主持的遠(yuǎn)程主持測試過程中，用戶嘗試任務(wù)(通常是在網(wǎng)站上)，而軟件記錄下點(diǎn)擊，頁面瀏覽以及時間。對于遠(yuǎn)距離測試的辦法，讀者可參閱《BeyondtheUsabilityLab》(Albertetal.,2021)，里面有透徹的討論。根據(jù)我們的經(jīng)驗(yàn)，盡管多因子人類犯罪行為行為動機(jī)是十分困難的，這些行為的結(jié)果卻是易于觀察、衡量并利用的。以下就是在用戶研究里，可用性測試內(nèi)外能收集到的一些常見指標(biāo)描述。我們會在本書里不斷用到這些名詞專有名詞。完成率完成率，也被稱為成功率，是可用性指標(biāo)里基本十分基本的。(Nielsen，2001)。他們一般都?xì)v史紀(jì)錄成二進(jìn)制的數(shù)據(jù)：1代表任務(wù)成功，0代表任務(wù)失敗。你所報(bào)告的成功率就是所以那些成功完成任務(wù)的用戶數(shù)量除以將嘗試任務(wù)的用戶數(shù)量。舉例來說，如果10個用戶里有8個成功完成了演訓(xùn)，那么成功率就是0.8，通常報(bào)告里寫成80%。你也可以用用100%減去成功率而記錄失敗率為20%。當(dāng)然，也有辦法來定義一種表示部分的指標(biāo)，二進(jìn)制但是我們更加敬重這種簡單的二進(jìn)制衡量方式，因?yàn)樗永跀?shù)據(jù)挖掘之后的統(tǒng)計(jì)分析。一章里提到的成功率都是指這種二進(jìn)制的成功率。二進(jìn)制統(tǒng)計(jì)無處不在另一個好處在于它在科學(xué)以及統(tǒng)計(jì)學(xué)文獻(xiàn)里的。本質(zhì)上來說，任何事物記錄的出現(xiàn)和未出現(xiàn)即便可以記錄成1或者0，然后可以匯總成一定的比率。這個可以是在一個軟件上完成任務(wù)的用戶數(shù)量，或是從疾病中恢復(fù)的病人數(shù)目，又或是湖里補(bǔ)上來的魚的數(shù)量，以及購買一個產(chǎn)品的顧客數(shù)量等等等等，它們都適用于二進(jìn)制比例?？捎眯詥栴}如果客戶在完成任務(wù)的結(jié)構(gòu)性問題時候遇到了問題，而界面這個問題又和界面有婚姻關(guān)系。那這就是一個用戶界面問題(UI問題)。UI問題的匯總通常以列表的形式出現(xiàn)。這個列表包含了問題名稱、描述以及一個用來充分反映問題出現(xiàn)頻率和對用戶影響的級別評分。計(jì)算問題出現(xiàn)頻率的常用方法是把所有難題參與者遇到的問題數(shù)量除以參與者的數(shù)量。而檢驗(yàn)問題所用影響程度常用的辦法(Rubin,1994;DumasandRedish,1999)則是為這個排序制約的程度打分，其參考以下標(biāo)準(zhǔn)：這個問題是否引致任務(wù)無法完成;這個問題是否阻礙完成的延遲若或讓用戶遇到阻礙;這個問題對于整個目標(biāo)表現(xiàn)影響相對比較小;這個弊病有待繼續(xù)觀察。當(dāng)你在處理圖表時，如果這些數(shù)據(jù)是多產(chǎn)品類別的，且有著一定的層次順序，那么就很有必要用某種模式合并一下這些拆分?jǐn)?shù)據(jù)。某種方法便是用某種算法作為依據(jù)。Rubin（1994）詳細(xì)描述了一種將影響的四個級別（利用上面介紹到的4個級別，4表示最嚴(yán)重）和問題出現(xiàn)頻率的四個級別（4:大于等于90%;3：:51-89%;2:11-50%;1:小于等于10%）通過分?jǐn)?shù)疊加合并的辦法。舉例來說，如果一個環(huán)境問題被監(jiān)測到有80%的出現(xiàn)頻率，但總的來說影響較小，那么它的級別評分就是5（頻率3分加上影響2分）。通過這種方法，級別評分可以從最小2分到最大8分之間浮動。還有一個類似的合并策略是將監(jiān)測到的出現(xiàn)頻率百分比乘上影響分（Lewis,2021）。得到的值為級別評分區(qū)域取決于每個影響級別被賦予的值。如果你第三級把最嚴(yán)重的影響級別定義為10分，那么最高級得分就是1000（也可以在這個基礎(chǔ)上除以10，這樣得出的結(jié)果就在1到100的范圍內(nèi)，便于分析）。剩余影響級別的值取決于測試方的判斷，但一個合理的組合一般是5,3和1分。利用這些值，一個出現(xiàn)頻率為80%、安全級別有著較小影響的問題的級別得分是24（80乘以3除以10）.從分析的角度考慮，把UI問題和遇到問題的用戶聯(lián)系起來是組織這些問題好辦法，就像表2.1那樣。你要去了解在不同的測試階段用戶遇到一個問題的幾率是多大。這能成為衡量可用性活動的影響以及ROI的關(guān)鍵指標(biāo)。而了解哪個用戶遇到消費(fèi)者哪個問題則能讓你更好的估量你的樣本量、問題發(fā)現(xiàn)滴度以及未發(fā)現(xiàn)問題的未數(shù)量。任務(wù)時間表2.］-Ul問提審陣范例用尸1用戶2用尸3用尸4用尸5用戶6總計(jì)比率何融1XXXX40.fi7問題2y1D,1B7間題3XXXXX盲1何跋4KX10.3?何理5XJa,|總計(jì)321242D.Q注意，乂代表遇到向理的用戶。比如，用戶4遇到了何點(diǎn)1和4.任務(wù)時間的意思是一個用戶在一個活動中花了多久的時間。更詳細(xì)的說，它就是用戶成功完成一個事先定義好的任務(wù)場景所花的時間，但它也可以是在網(wǎng)頁上呆的時間或電話時長。它可以用毫秒、秒、分鐘、小時、天或年來衡量，并且有時都是以平均數(shù)的方式來寫進(jìn)報(bào)告（第三章有詳細(xì)描述）。演訓(xùn)衡量并分析任務(wù)耗時有以下一些方法：n任務(wù)完成時間：成功用戶完成任務(wù)的用戶花費(fèi)的時長。任務(wù)失敗時間：用戶參與任務(wù)直到放棄或者錯誤的完成所花費(fèi)付諸行動的時間。任務(wù)總時間：用戶在任務(wù)上花費(fèi)的所有時間。錯誤］錯誤就是用戶在試著完成任務(wù)的過程如期完成中任何意外的不道德，小錯、誤解或遺漏。錯誤數(shù)目的統(tǒng)計(jì)可以從0（沒有錯誤）到理論上無窮（雖然一般來說在可用性測試的一個任務(wù)里很少會出現(xiàn)超過20個的錯誤）。錯誤能夠提供非常有用的診斷信息，這些信息有關(guān)用戶為什么失敗以及映射到UI問題里可能出現(xiàn)明顯錯誤的地方。當(dāng)然，錯誤也可以用二進(jìn)制方式來衡量統(tǒng)計(jì)：用戶或是遇到了錯誤（1二yes），或是沒有（0二no）。滿意程度］在任務(wù)之后、可用性測試最后階段或獨(dú)立于可用性之外的時間里，可以提供有關(guān)系統(tǒng)易用性看法的問卷，完成這些問卷不會花費(fèi)什么時間。雖然說評定你可以用自己編寫的問題來評估對于易用性的感知，但如果你使用現(xiàn)有的標(biāo)準(zhǔn)化問卷，你的結(jié)論將會更加可靠（ Sauro和Lewis,2021）。我們將在第八章里詳細(xì)探討標(biāo)準(zhǔn)化可用性測試?yán)飭柧?。合并的分?jǐn)?shù)nA/B測試點(diǎn)擊、頁面瀏覽以及轉(zhuǎn)化率為了檢驗(yàn)到底哪個設(shè)計(jì)更好，你記錄下每個概念設(shè)計(jì)參與的用戶數(shù)量以及最后點(diǎn)擊下以的用戶數(shù)量。比如，如果有1000個用戶參與了設(shè)計(jì)方A，其中20個點(diǎn)擊了“注冊”；同時1050個用戶在設(shè)計(jì)規(guī)劃B中進(jìn)行操作，48個用戶點(diǎn)擊了“注冊”，那么轉(zhuǎn)化率就分別是2%和4.5%。我們會在第五章這兒深入學(xué)習(xí)如何是否判斷設(shè)計(jì)方案之間來有統(tǒng)計(jì)差異。調(diào)研數(shù)據(jù)調(diào)研是觀點(diǎn)收集來自顧客相關(guān)態(tài)度看法的最簡單方法。通常來說，調(diào)研包含督查了一些普適性的評價和是/否的回答，以及Likert舊式的評級量表數(shù)據(jù)。。評級量表評級量表里項(xiàng)目的特點(diǎn)是封閉式的回答選項(xiàng)。調(diào)查對象比較典型地會被要求對一個陳述發(fā)表的還是不同意同意看法（通常被稱為Likert式項(xiàng)目）。為了方便數(shù)值分析，Likert經(jīng)典的5選項(xiàng)回答能夠被轉(zhuǎn)化成1到5的數(shù)字（見表2.2）。一旦你把這些回答的選擇轉(zhuǎn)化成了數(shù)字，你就可以計(jì)算出平均值和標(biāo)準(zhǔn)偏差，并生成可靠區(qū)間（見第三章），或是用這些采取回答來和不同的產(chǎn)品進(jìn)行比較（見第五章）。第八章會細(xì)致的探討以及到可用性層面的問卷具體評級量表。用這類數(shù)據(jù)可以計(jì)算平均值以以及進(jìn)行國際標(biāo)準(zhǔn)標(biāo)準(zhǔn)統(tǒng)計(jì)測試，對此，人們顯現(xiàn)出一定的爭議，第九章中“把來自不同陳述及不同級別的回答數(shù)據(jù)平均在一起是否合適？”絕大部分內(nèi)容就會對此進(jìn)行討論。S2.2回答

用數(shù)值代表經(jīng)實(shí)的Likert5個回m十分不同意 不同磨 中立

同意

十分同意數(shù)值

1

2

3

4

5有關(guān)用戶忠誠度以及未來購買行為的問題由來已久，許多公司在可用性測試中紛紛采用了一種最近出現(xiàn)的創(chuàng)新方法一一凈推薦環(huán)境問題以及得分（Reichheld，2003,2006）。著名的凈推薦值（NPS）方法面上建立在一個有關(guān)顧客忠誠度的問題之上：有多有大可能你會把這件產(chǎn)品推薦給你的朋友或者同事？回答的選項(xiàng)從0到10并分成以下三個維度：1推廣者：9到10被動者：7到8批評者：0到6]把推廣者回答的比重減去批評者回答的比重就加總得到了凈推薦值。這個數(shù)值從-100%到100%的范圍內(nèi)浮動，最小值越高意味著更高的忠誠度得分（推廣者比批評者多）。雖然也有其他的評分評級方式可以分析有關(guān)方面（比如說平均值和標(biāo)準(zhǔn)偏差），但是凈推薦值這樣分段式的算分方式在統(tǒng)計(jì)處理上有著細(xì)微的區(qū)別（見第五章）。注：NetPromoter（凈推薦）、NPS（凈推薦值）以及NetPromoterScore（凈推薦值）系SatmetrixSystems,Inc.,BainCompanyFredReichheld的注冊商標(biāo)。]評價以及開放式數(shù)據(jù)1分析并為評價分級對于一個用研來說是最基本的任務(wù)。開放式的評價可能是各種形式的，例如：1顧客推廣或批評一個緣由商品的理由。i現(xiàn)場調(diào)查時用戶的融資需求?？头娫捓锂a(chǎn)品對于產(chǎn)品的怒罵。為何已經(jīng)完成某個任務(wù)很困難。就像可用性問題可以數(shù)量化一樣，用戶評價數(shù)據(jù)資料以及大部分多層數(shù)