用戶體驗(yàn)測試和評價(jià)

1、用戶體驗(yàn)測試與評價(jià)產(chǎn)品的用戶體驗(yàn)測試評價(jià)就是把構(gòu)成產(chǎn)品的軟、硬件系統(tǒng)按其性能、功能、 界面形式、可用 性等方面與某種預(yù)定的標(biāo)準(zhǔn)或者預(yù)想進(jìn)行比較，對其做出評價(jià)。用戶體驗(yàn)測試與評價(jià)是產(chǎn)品開發(fā)設(shè)計(jì)的一個重要步驟。產(chǎn)品的成功與否需要通過評價(jià)以及用戶的實(shí)踐，才能得到最終的判定。8.1概述從體驗(yàn)的過程角度來講，用戶體驗(yàn)評價(jià)大致可分為兩類：一類是在產(chǎn)品完成之后做出的最終評價(jià)，稱為總結(jié)性評價(jià)(Summative Evaluation );另一類是在設(shè)計(jì)過程中的評價(jià)，稱 為階段性評價(jià)(Formative Evaluation )。這兩類評價(jià)在產(chǎn)品的開發(fā)過程中都起著重要的 作用，是整個用戶體驗(yàn)設(shè)計(jì)的有機(jī)組成部分。

2、其中，階段性評價(jià)強(qiáng)調(diào)在評價(jià)中采用的是開放式手段，如訪談、問卷、態(tài)度調(diào)查以及量表技術(shù)；而總結(jié)性評價(jià)則大多采用較嚴(yán)格的定量評 價(jià)，如反應(yīng)時(shí)間和錯誤率等。從被試選擇來看，用戶體驗(yàn)也可以分為兩類：一類是用戶評價(jià)(User-Based Evaluation ),有時(shí)也稱用戶測試；另一類是專家評價(jià)( Expert-Based Evaluation )。如圖 8.1 所示。圖8.1用戶體驗(yàn)測試與評價(jià)的分類可用性評估可以分為三個類別：可用性測試( Usability Test )、可用性調(diào)查(UsabilityInquiry )和可用性檢驗(yàn)(Usability Inspection ) (Karat , 19

3、97 ; Zhang , 2003 )。 可用性測試的方法比較多，如焦點(diǎn)小組、認(rèn)知路徑法( Cognitive Walkthrough )和啟發(fā) 式評價(jià) H Heuristic Evaluation )等(Nielsen and Mack , 1994 ) 。 Santon 和 Young(1998 )在文獻(xiàn)回顧的基礎(chǔ)上分離出了60余種可用性測試方法。根據(jù)產(chǎn)品的具體開發(fā)階段，可用性測試方法可分為四類：探索性測試( Exploratory Test )、評估性測試(Assessment Test)、驗(yàn)證性測試(Validation Test)和對比性測試(Comparison Test )(張光

4、強(qiáng)等，2001 )。圖8.2社區(qū)類網(wǎng)站可用性測試場景示例針對測試方法，人們也在不斷地探索和完善之中。周榮剛(2007 )提出了一種用戶體驗(yàn)質(zhì)量綜合評價(jià)的模型：首先建立了包括人-機(jī)交互角度、用戶角度和觀察者角度的用戶體驗(yàn)質(zhì)量的360o指標(biāo)體系模型，然后針對可用性概念的模糊性及其綜合評價(jià)中的問題，應(yīng)用層次分析法確定了指標(biāo)體系中相關(guān)因素的權(quán)重，并根據(jù)模糊隸屬度函數(shù)對用戶體驗(yàn)質(zhì)量評價(jià)標(biāo)準(zhǔn)進(jìn)行了模糊化處理，最后采用模糊評價(jià)方法對用戶體驗(yàn)質(zhì)量進(jìn)行評價(jià)。8.2用戶體驗(yàn)測試與評價(jià)的意義軟件或系統(tǒng)正式交付前需進(jìn)行嚴(yán)格測試， 使用戶進(jìn)行評價(jià)。嚴(yán)格的測試方法和評價(jià)標(biāo)準(zhǔn)可以 促進(jìn)產(chǎn)品的設(shè)計(jì)。據(jù)統(tǒng)計(jì)，在開發(fā)新軟件時(shí)，微

5、軟都要將其Beta版發(fā)往全世界上千個專業(yè)用戶進(jìn)行試用，以提出進(jìn)一步的修改意見，僅此每年可以為軟件開發(fā)節(jié)省數(shù)10億美元。對用戶體驗(yàn)的測試和評價(jià)可以起到以下作用：(1)更加貼近市場，通過市場反饋，進(jìn)一步了解市場和用戶的需求，改進(jìn)產(chǎn)品的設(shè)計(jì)；(2)降低產(chǎn)品或者系統(tǒng)技術(shù)支持的費(fèi)用，縮短最終用戶訓(xùn)練時(shí)間；(3)減少由于用戶界面問題而引起的軟件修改和改版問題；(4)使產(chǎn)品的可用性增強(qiáng)，用戶易于使用；(5)更有效地利用計(jì)算機(jī)系統(tǒng)資源；(6)幫助系統(tǒng)設(shè)計(jì)者更深刻地領(lǐng)會以用戶為核心”的設(shè)計(jì)原則；(7)在界面測試與評價(jià)過程中形成的一些評價(jià)標(biāo)準(zhǔn)和設(shè)計(jì)原則對界面設(shè)計(jì)有直接的指導(dǎo)作 用。8.3 用戶體驗(yàn)測試與評價(jià)的準(zhǔn)則

6、在設(shè)計(jì)早期，用戶體驗(yàn)設(shè)計(jì)師組織一份設(shè)計(jì)準(zhǔn)則是有必要的。蘋果公司的Macintosh 機(jī)之所以獲得成功，原因之一是它早期為應(yīng)用開發(fā)人員建立了一組明確的準(zhǔn)則，保證在整個產(chǎn)品開發(fā)周期中的協(xié)調(diào)。設(shè)計(jì)準(zhǔn)則應(yīng)考慮以下幾方面的問題：(1)產(chǎn)品運(yùn)行前后的一致性；(2)產(chǎn)品的界面方式及可選項(xiàng)內(nèi)容；(3)系統(tǒng)提示、反饋、出錯信息的內(nèi)容；(4)產(chǎn)品界面中各種術(shù)語、縮寫、圖符的內(nèi)容、式樣、對齊方式等的定義；(5)色彩、亮度、閃爍、圖像等技術(shù)的使用；(6)各種輸入輸出設(shè)備的類型和使用；(7)產(chǎn)品操作響應(yīng)時(shí)間和顯示速率；(8)命令語言的語義、語法、序列；(9)系統(tǒng)控制的靈活性；(10 )系統(tǒng)滿足適當(dāng)?shù)墓δ埽?11 )可編

7、程的功能鍵的使用；(12 )產(chǎn)品出錯顯示和恢復(fù)；(13 )聯(lián)機(jī)幫助和指導(dǎo)；(14 )培訓(xùn)和參考資料。設(shè)計(jì)準(zhǔn)則的建立主要目的是提出設(shè)計(jì)原理，為開發(fā)人員提供設(shè)計(jì)的功能需求。準(zhǔn)則文件前后應(yīng)一致并保持文件的完整。 它提供了嚴(yán)格的標(biāo)準(zhǔn)， 同時(shí)具有一定的靈活性，可以根據(jù)用戶體驗(yàn)設(shè)計(jì)的發(fā)展以及用戶需求的變更增加新的內(nèi)容。這樣，用戶體驗(yàn)開發(fā)的執(zhí)行過程就會很快，并減少設(shè)計(jì)的改變。3 / 168.4 評價(jià)指標(biāo)和形式8.4.1 評價(jià)指標(biāo)經(jīng)過可用性工程界多年的不懈努力，對可用性衡量標(biāo)準(zhǔn)的看法逐漸趨于一致，那就是：可用性是特定產(chǎn)品在特定使用環(huán)境下為特定用戶用于特定用途時(shí)所具有的有效性(Effectiveness) 、效

8、率(Efficiency) 和用戶主觀滿意度(Satisfaction) (張麗萍等，2003 )。對于用戶體驗(yàn)的評價(jià)可以使用不同的四類評價(jià)指標(biāo)，它們是：(1)設(shè)計(jì)功能的評價(jià)(2)信息架構(gòu)的評價(jià)(3)設(shè)計(jì)效果的評價(jià)(4)設(shè)計(jì)問題的診斷8.4.2 評價(jià)形式(1)從設(shè)計(jì)評價(jià)的主體區(qū)分(2)從評價(jià)的性質(zhì)區(qū)分(3)從評價(jià)的過程區(qū)分8.5 用戶體驗(yàn)測試與評價(jià)方法一般來說，用戶體驗(yàn)測試主要是借助定性和定量的方法，對用戶的生理、心理和行為等相關(guān)指標(biāo)進(jìn)行研究。用戶體驗(yàn)的測試與評價(jià)方法還可以參照第四章中的4.2用戶研究方法，這些方法同時(shí)也可以被用來對產(chǎn)品的用戶體驗(yàn)進(jìn)行測試和評價(jià)。其他有關(guān)評價(jià)方法也可以參照人機(jī)界

9、面設(shè)計(jì)(羅仕鑒等， 2002 ) 一書第十二章。在產(chǎn)品研發(fā)過程中，對于界面設(shè)計(jì)以及程序的測試來獲得用戶的反饋是至關(guān)緊要的。以用戶為中心和交互式設(shè)計(jì)的重要因素之一就是原型(Prototyping )方法，原型方法的目的是將界面設(shè)計(jì)與用戶的需求進(jìn)行匹配。8.5.1 簡易測試評價(jià)方法在條件不允許的情況下，可以采取簡易的方法來對用戶體驗(yàn)進(jìn)行評價(jià)。其實(shí)驗(yàn)構(gòu)成如圖8.3所示。VI I Jr bi bl ,n 就應(yīng)由- S&點(diǎn)兒唐同M房閭利圖8.3簡易用戶體驗(yàn)測試實(shí)驗(yàn)室8.5.2 眼動追蹤評價(jià)方法眼動在人的視覺信息加工過程中，起著重要的作用。它有三種主要形式：跳動(Saccade )、注視(Fixa

10、tion )和平滑尾隨跟蹤(Smooth Pursuit )。眼動追蹤可用于揭示用戶在研究對象上感興趣或注意的空間位置及注意的轉(zhuǎn)移過程，因此用眼動追蹤技術(shù)可以進(jìn)行界面分析、可用性測試以及人操作的內(nèi)因分析等。眼動追蹤主要跟蹤眼睛的運(yùn)動以及瞳孔的變化，已經(jīng)有 60多年的歷史了，用于神經(jīng)生理學(xué)和眼科學(xué)、知覺和認(rèn)知、臨床研究、人機(jī)互動、人機(jī)工程學(xué)、圖形用戶界面、網(wǎng)絡(luò)、廣告心理學(xué)、眼控人機(jī)界面、虛擬現(xiàn)實(shí)、生物醫(yī)學(xué)工程、人工智能和機(jī)器人學(xué)、警覺、運(yùn)動心理學(xué)、軍事、航空和交通心理學(xué)、人事評鑒等。如 Thomsen 和Fulton (2007 )借助 ASL Eye-TRAC 6000 系統(tǒng)，以63名12 1

11、4歲之間的青少年為被試，以 6幅雜志廣告為研究對象(如圖 8.4所示)，研究了青少年對于酒廣告的注視度以及回憶性。結(jié)果發(fā)現(xiàn)，青少年對于文字信息的關(guān)注度比較少，只使用了平均 0.35秒，7 %的關(guān)注時(shí)間，而對于酒瓶、商標(biāo)和卡通等內(nèi)容關(guān)注度較高；但是只有少部分人能夠回憶起廣告的內(nèi)容。Ozcelik等(2009 )借助Tobii 1750EyeTracker 系統(tǒng)，以52名1927歲之間的研究生為被試，采用眼動跟蹤方法研究了色彩編碼對多媒體學(xué)習(xí)的影響，結(jié)果顯示，色彩編碼具有保持記憶和轉(zhuǎn)化的功能，能夠增強(qiáng)圖形與文字之間的聯(lián)系，同時(shí)有助于對顯著信息的理解。READY.同盟圖8.4 6幅酒的印刷品廣告在工

12、業(yè)設(shè)計(jì)、用戶體驗(yàn)設(shè)計(jì)、人機(jī)交互設(shè)計(jì)領(lǐng)域，眼動追蹤可以用來評價(jià)對產(chǎn)品（包括硬件產(chǎn)品和軟件產(chǎn)品）設(shè)計(jì)的感性意象，評測產(chǎn)品設(shè)計(jì)的特性。-r圖8.5 The EyeLink II 頭戴式眼動儀圖8.6眼動儀在實(shí)驗(yàn)中的情景在眼動追蹤中，眼動儀會記錄下眼球注視的點(diǎn)并形成區(qū)域、注視順序注視點(diǎn)的時(shí)間以及路徑,如圖8.7所示。the research i partnership圖8.7注視點(diǎn)、注視順序以及注視點(diǎn)的時(shí)間下圖8.8為Tobii Demo中被試的眼動跟蹤結(jié)果圖（八比特熊咨詢公司，8-bit BearConsulting ）,紅顏色表示關(guān)注時(shí)間最長，黃顏色其次，綠顏色最短。從圖中可見，被試 關(guān)注頁面中心

13、和右上角的圖片的時(shí)間較長。16 / 16圖8.8 Tobii Demo中的眼動跟蹤結(jié)果圖圖8.9眼動追蹤對廣告、網(wǎng)頁界面的評估圖8.10眼動追蹤對手機(jī)界面與汽車外形進(jìn)行評估8.5.3 行為觀察評價(jià)方法大多數(shù)可用性實(shí)驗(yàn)室都配備或開發(fā)了軟件，以觀察和登記用戶的活動，并有自動的時(shí)間標(biāo)志。在用戶與界面進(jìn)行交互時(shí)， 界面系統(tǒng)自身能夠?qū)τ脩糨斎氲哪承?shù)據(jù)進(jìn)行自動記錄，例如出現(xiàn)的錯誤、特殊命令的使用等， 還可以通過計(jì)時(shí)器， 對用戶輸入進(jìn)行統(tǒng)計(jì)以得到各個事件的 發(fā)生頻率等。與其他觀察方法相比，系統(tǒng)監(jiān)控記錄的數(shù)據(jù)比較精確。其次，在監(jiān)控系統(tǒng)建立以后，收集數(shù)據(jù)和統(tǒng)計(jì)的過程非常自動化和可靠，而且獲得的數(shù)據(jù)客觀公正、具

14、體明確，為進(jìn)行系統(tǒng)性能的評價(jià)、對比提供了客觀的基礎(chǔ)，并且不存在對用戶的任何干擾。其缺點(diǎn)是局限性較大，一般只能搜集到用戶對系統(tǒng)的直接操作，不可能收集到有關(guān)用戶主觀性的活動（例如思考）之類的信息。因此，這種方法最好與其他方法一起共同使用。用錄像機(jī)記錄下用戶與界面交互的整個過程，包括用戶的操作、 界面顯示的內(nèi)容，以及用戶其他各種狀態(tài)，如思考過程等。事后向設(shè)計(jì)者重放，顯示用戶遇到的問題。與直接觀察法相比，它有提供大量豐富的數(shù)據(jù)信息等優(yōu)點(diǎn)，并且能長期保持完整的人機(jī)交互的記錄，提供反復(fù)觀察和分析的可能。其缺點(diǎn)是錄像記錄一般都長達(dá)23小時(shí)，分析起來非常費(fèi)事。因?yàn)橛娩浵裨O(shè)備很費(fèi)錢費(fèi)時(shí)，錄像帶的重放檢驗(yàn)也是一個

15、很乏味的工作，所以只有在想要發(fā)現(xiàn)特別的偶然事件時(shí)才在關(guān)鍵階段使用。圖8.11為行為觀察場景。圖8.11場景觀察目前，我們主要采用荷蘭Noldus Observer XT行為分析系統(tǒng)對產(chǎn)品和界面進(jìn)行測試和評估。荷蘭Noldus公司的Observer XT 行為分析軟件（包括三種型號：Observer XT Basic , Observer XT Mobile 和Observer XT Video ）,對人的思維動態(tài)及行為過程進(jìn)行科學(xué)的 數(shù)據(jù)化的分析，使研究更目的化、條理化和科學(xué)化。廣泛應(yīng)用于研究兒童教育、兒童心理、 犯罪心理、昆蟲行為、動物行為、人的行為等方面。在工業(yè)設(shè)計(jì)、用戶體驗(yàn)設(shè)計(jì)、人機(jī)交互

16、 設(shè)計(jì)領(lǐng)域，它可以用來測量用戶的操作行為，包括操作時(shí)間、路徑等，用以評估對產(chǎn)品（包括硬件產(chǎn)品和軟件產(chǎn)品）設(shè)計(jì)的感性意象，評測產(chǎn)品設(shè)計(jì)的特性。圖 8.12和圖8.13分別 為行為分析的場景和數(shù)據(jù)分析。圖8.12行為分析的場景圖8.13行為分析的數(shù)據(jù)分析行為分析系統(tǒng)可用來記錄分析被研究對象的動作、姿勢、運(yùn)動、位置、表情、情緒、社會交 往以及人機(jī)交互等各種活動；記錄被研究對象各種行為發(fā)生的時(shí)刻、發(fā)生的次數(shù)和持續(xù)的時(shí)間，然后進(jìn)行統(tǒng)計(jì)處理，得到分析報(bào)告。8.5.4 腦電信號評價(jià)方法一般認(rèn)為，腦電信號(Electroencephalogram , EEG)是由大腦皮質(zhì)神經(jīng)元突觸后電位 總和而形成，主要通過

17、波幅、潛伏期和電位或電流的空間頻率等指標(biāo)來提供大腦工作過程的 信息。腦電可以直接反映神經(jīng)的電活動，有極高的時(shí)間分辨率。因此，它受到研究者的重視，成為一種比較成熟的認(rèn)知神經(jīng)科學(xué)手段。人體的腦電信號的幅值十分微小(pV),加上人體又是電的不良導(dǎo)體(內(nèi)阻在1MQ數(shù)量級)，腦電信號源的輸出阻抗很高，這對腦電放大器和腦電電極以及安置方法等各方面都提出了很高要求。腦電信號通過對頭皮電極采集，記錄腦電信號，通過放大器對信號進(jìn)行濾波、放大與模數(shù)轉(zhuǎn)換傳遞并儲存到電腦中。研究者通過后期分析軟件提取和分析其中的有用信息，并做后期數(shù)據(jù)信號濾波、疊加、平、輸出圖形報(bào)告和腦電信號源定位，主要應(yīng)用于心理學(xué)、認(rèn)知科學(xué)和 產(chǎn)品

18、設(shè)計(jì)領(lǐng)域。通過對腦電信號的分析，研究者可以探索大腦的認(rèn)知加工過程和受試者的心理狀況。圖 8.14 所示為美國 EGI 公司的 GES300 (Geodesic EEG System 300) 128通道腦電(事件相關(guān)電位)系統(tǒng)( EGI research catalog , 2008 )。圖 8.14 GES300 系統(tǒng)在實(shí)驗(yàn)過程中，需要將電極帽佩戴在頭上，如圖 8.15所示。圖8.15 GES300系統(tǒng)在做實(shí)驗(yàn)的情景圖8.16 GES300系統(tǒng)在作駕駛實(shí)驗(yàn)的情景GES300系統(tǒng)采用新一代源分析軟件 GeorSource ,它整合了目前最佳的線性逆解方法 （LORETA和LAURA）。它將大腦

19、進(jìn)行三維分割，得到 2400多個體素，用戶只需通過簡 單的設(shè)定即可獲得每一個體素的信號強(qiáng)度，得到大腦活動時(shí)所有腦皮層的完整特征描述。由于所有計(jì)算均由計(jì)算機(jī)自動完成，沒有源定位經(jīng)驗(yàn)的用戶也能夠輕松掌握。另外，GES300系統(tǒng)具備有限差分模型（FDM）,第一次對公共頭模（Atlas Man ）進(jìn)行精確重建，得到 了精確的大腦幾何構(gòu)造，可以生成更為精確的源定位結(jié)果。GeorSource 源分析軟件可以將EEG數(shù)據(jù)與信號源影像學(xué)數(shù)據(jù)（MRI切片圖）精確同步顯示回放，從而揭示了在某一特 定時(shí)間點(diǎn)（毫秒）上信號源活動與頭皮電位（ EEG）的關(guān)系。圖8.17 GES300系統(tǒng)數(shù)據(jù)采集與分析圖 8.18 GES300系統(tǒng)數(shù)據(jù)分析熱圖當(dāng)然，腦電技術(shù)也存在一定的缺陷，例如：(1)在空間分辨率上存在著局限性，因而對某些認(rèn)知過程腦區(qū)的定位并不是非常準(zhǔn)確；(2)在許多相似的實(shí)驗(yàn)研究中，由于研究者采用了不同的實(shí)驗(yàn)材料和方法等，導(dǎo)致實(shí)驗(yàn)結(jié)果存在諸多差異；(3)由于采集、記錄時(shí)間的滯后性，腦電所記錄的并不一定是被試者當(dāng)下所想到的。8.5.5 用戶體驗(yàn)問卷調(diào)查表用戶體驗(yàn)設(shè)計(jì)評價(jià)有很多種方法，編寫用戶體驗(yàn)問卷調(diào)查表是一種費(fèi)用少、管理人員和用戶雙方都能接受的方法。這個方法以一個實(shí)用性的工具 清單為基礎(chǔ)