用戶體驗測試與評價

1、用戶體驗測試與評價產(chǎn)品的用戶體驗測試評價就是把構(gòu)成產(chǎn)品的軟、硬件系統(tǒng)按其性能、功能、界面形式、可用性等方面與某種預(yù)定的標(biāo)準(zhǔn)或者預(yù)想進(jìn)行比較，對其做出評價。用戶體驗測試與評價是產(chǎn)品開發(fā)設(shè)計的一個重要步驟。產(chǎn)品的成功與否需要通過評價以及用戶的實(shí)踐，才能得到最終的判定。8.1概述從體驗的過程角度來講，用戶體驗評價大致可分為兩類：一類是在產(chǎn)品完成之后做出的最終評價，稱為總結(jié)性評價（Summative Evaluation）；另一類是在設(shè)計過程中的評價，稱為階段性評價（Formative Evaluation）。這兩類評價在產(chǎn)品的開發(fā)過程中都起著重要的作用，是整個用戶體驗設(shè)計的有機(jī)組成部分。其中，階段性

2、評價強(qiáng)調(diào)在評價中采用的是開放式手段，如訪談、問卷、態(tài)度調(diào)查以及量表技術(shù)；而總結(jié)性評價則大多采用較嚴(yán)格的定量評價，如反應(yīng)時間和錯誤率等。從被試選擇來看，用戶體驗也可以分為兩類：一類是用戶評價（User-Based Evaluation），有時也稱用戶測試；另一類是專家評價（Expert-Based Evaluation）。如圖8.1所示。 圖8.1 用戶體驗測試與評價的分類 可用性評估可以分為三個類別：可用性測試（Usability Test）、可用性調(diào)查（Usability Inquiry）和可用性檢驗（Usability Inspection）（Karat，1997；Zhang，2003）。

3、可用性測試的方法比較多，如焦點(diǎn)小組、認(rèn)知路徑法（Cognitive Walkthrough）和啟發(fā)式評價（Heuristic Evaluation）等（Nielsen and Mack，1994）。Santon和Young（1998）在文獻(xiàn)回顧的基礎(chǔ)上分離出了60余種可用性測試方法。根據(jù)產(chǎn)品的具體開發(fā)階段，可用性測試方法可分為四類：探索性測試（Exploratory Test）、評估性測試（Assessment Test）、驗證性測試（Validation Test）和對比性測試（Comparison Test）（張光強(qiáng)等，2001）。 圖8.2 社區(qū)類網(wǎng)站可用性測試場景示例針對測試方法，人們

4、也在不斷地探索和完善之中。周榮剛（2007）提出了一種用戶體驗質(zhì)量綜合評價的模型：首先建立了包括人機(jī)交互角度、用戶角度和觀察者角度的用戶體驗質(zhì)量的360º指標(biāo)體系模型，然后針對可用性概念的模糊性及其綜合評價中的問題，應(yīng)用層次分析法確定了指標(biāo)體系中相關(guān)因素的權(quán)重，并根據(jù)模糊隸屬度函數(shù)對用戶體驗質(zhì)量評價標(biāo)準(zhǔn)進(jìn)行了模糊化處理，最后采用模糊評價方法對用戶體驗質(zhì)量進(jìn)行評價。8.2 用戶體驗測試與評價的意義 軟件或系統(tǒng)正式交付前需進(jìn)行嚴(yán)格測試，使用戶進(jìn)行評價。嚴(yán)格的測試方法和評價標(biāo)準(zhǔn)可以促進(jìn)產(chǎn)品的設(shè)計。據(jù)統(tǒng)計，在開發(fā)新軟件時，微軟都要將其Beta版發(fā)往全世界上千個專業(yè)用戶進(jìn)行試用，以提出進(jìn)一步的

5、修改意見，僅此每年可以為軟件開發(fā)節(jié)省數(shù)10億美元。對用戶體驗的測試和評價可以起到以下作用：（1）更加貼近市場，通過市場反饋，進(jìn)一步了解市場和用戶的需求，改進(jìn)產(chǎn)品的設(shè)計；（2）降低產(chǎn)品或者系統(tǒng)技術(shù)支持的費(fèi)用，縮短最終用戶訓(xùn)練時間；（3）減少由于用戶界面問題而引起的軟件修改和改版問題；（4）使產(chǎn)品的可用性增強(qiáng)，用戶易于使用；（5）更有效地利用計算機(jī)系統(tǒng)資源；（6）幫助系統(tǒng)設(shè)計者更深刻地領(lǐng)會以“用戶為核心”的設(shè)計原則；（7）在界面測試與評價過程中形成的一些評價標(biāo)準(zhǔn)和設(shè)計原則對界面設(shè)計有直接的指導(dǎo)作用。8.3 用戶體驗測試與評價的準(zhǔn)則 在設(shè)計早期，用戶體驗設(shè)計師組織一份設(shè)計準(zhǔn)則是有必要的。蘋果公司的M

6、acintosh機(jī)之所以獲得成功，原因之一是它早期為應(yīng)用開發(fā)人員建立了一組明確的準(zhǔn)則，保證在整個產(chǎn)品開發(fā)周期中的協(xié)調(diào)。 設(shè)計準(zhǔn)則應(yīng)考慮以下幾方面的問題： （1）產(chǎn)品運(yùn)行前后的一致性； （2）產(chǎn)品的界面方式及可選項內(nèi)容； （3）系統(tǒng)提示、反饋、出錯信息的內(nèi)容； （4）產(chǎn)品界面中各種術(shù)語、縮寫、圖符的內(nèi)容、式樣、對齊方式等的定義； （5）色彩、亮度、閃爍、圖像等技術(shù)的使用； （6）各種輸入輸出設(shè)備的類型和使用； （7）產(chǎn)品操作響應(yīng)時間和顯示速率； （8）命令語言的語義、語法、序列； （9）系統(tǒng)控制的靈活性； （10）系統(tǒng)滿足適當(dāng)?shù)墓δ埽?（11）可編程的功能鍵的使用； （12）產(chǎn)品出錯顯示和恢復(fù)；

7、 （13）聯(lián)機(jī)幫助和指導(dǎo)； （14）培訓(xùn)和參考資料。 設(shè)計準(zhǔn)則的建立主要目的是提出設(shè)計原理，為開發(fā)人員提供設(shè)計的功能需求。準(zhǔn)則文件前后應(yīng)一致并保持文件的完整。它提供了嚴(yán)格的標(biāo)準(zhǔn)，同時具有一定的靈活性，可以根據(jù)用戶體驗設(shè)計的發(fā)展以及用戶需求的變更增加新的內(nèi)容。這樣，用戶體驗開發(fā)的執(zhí)行過程就會很快，并減少設(shè)計的改變。8.4 評價指標(biāo)和形式評價指標(biāo)經(jīng)過可用性工程界多年的不懈努力，對可用性衡量標(biāo)準(zhǔn)的看法逐漸趨于一致，那就是：可用性是特定產(chǎn)品在特定使用環(huán)境下為特定用戶用于特定用途時所具有的有效性(Effectiveness)、效率(Efficiency)和用戶主觀滿意度(Satisfaction)（張麗

8、萍等，2003）。對于用戶體驗的評價可以使用不同的四類評價指標(biāo)，它們是：（1）設(shè)計功能的評價（2）信息架構(gòu)的評價（3）設(shè)計效果的評價（4）設(shè)計問題的診斷評價形式（1）從設(shè)計評價的主體區(qū)分（2）從評價的性質(zhì)區(qū)分（3）從評價的過程區(qū)分8.5 用戶體驗測試與評價方法一般來說，用戶體驗測試主要是借助定性和定量的方法，對用戶的生理、心理和行為等相關(guān)指標(biāo)進(jìn)行研究。用戶體驗的測試與評價方法還可以參照第四章中的4.2用戶研究方法，這些方法同時也可以被用來對產(chǎn)品的用戶體驗進(jìn)行測試和評價。其他有關(guān)評價方法也可以參照人機(jī)界面設(shè)計（羅仕鑒等，2002）一書第十二章。8.5.1 原型評價方法在產(chǎn)品研發(fā)過程中，對于界面設(shè)

9、計以及程序的測試來獲得用戶的反饋是至關(guān)緊要的。以用戶為中心和交互式設(shè)計的重要因素之一就是原型（Prototyping）方法，原型方法的目的是將界面設(shè)計與用戶的需求進(jìn)行匹配。8.5.2 簡易測試評價方法在條件不允許的情況下，可以采取簡易的方法來對用戶體驗進(jìn)行評價。其實(shí)驗構(gòu)成如圖8.3所示。圖8.3 簡易用戶體驗測試實(shí)驗室 8.5.3 眼動追蹤評價方法眼動在人的視覺信息加工過程中，起著重要的作用。它有三種主要形式：跳動（Saccade）、注視（Fixation）和平滑尾隨跟蹤（Smooth Pursuit）。眼動追蹤可用于揭示用戶在研究對象上感興趣或注意的空間位置及注意的轉(zhuǎn)移過程，因此用眼動追蹤技

10、術(shù)可以進(jìn)行界面分析、可用性測試以及人操作的內(nèi)因分析等。眼動追蹤主要跟蹤眼睛的運(yùn)動以及瞳孔的變化，已經(jīng)有60多年的歷史了，用于神經(jīng)生理學(xué)和眼科學(xué)、知覺和認(rèn)知、臨床研究、人機(jī)互動、人機(jī)工程學(xué)、圖形用戶界面、網(wǎng)絡(luò)、廣告心理學(xué)、眼控人機(jī)界面、虛擬現(xiàn)實(shí)、生物醫(yī)學(xué)工程、人工智能和機(jī)器人學(xué)、警覺、運(yùn)動心理學(xué)、軍事、航空和交通心理學(xué)、人事評鑒等。如Thomsen和Fulton（2007）借助ASL Eye-TRAC 6000系統(tǒng)，以63名1214歲之間的青少年為被試，以6幅雜志廣告為研究對象（如圖8.4所示），研究了青少年對于酒廣告的注視度以及回憶性。結(jié)果發(fā)現(xiàn)，青少年對于文字信息的關(guān)注度比較少，只使用了平均0

11、.35秒，7的關(guān)注時間，而對于酒瓶、商標(biāo)和卡通等內(nèi)容關(guān)注度較高；但是只有少部分人能夠回憶起廣告的內(nèi)容。Ozcelik等（2009）借助Tobii 1750 EyeTracker系統(tǒng)，以52名1927歲之間的研究生為被試，采用眼動跟蹤方法研究了色彩編碼對多媒體學(xué)習(xí)的影響，結(jié)果顯示，色彩編碼具有保持記憶和轉(zhuǎn)化的功能，能夠增強(qiáng)圖形與文字之間的聯(lián)系，同時有助于對顯著信息的理解。 圖8.4 6幅酒的印刷品廣告 在工業(yè)設(shè)計、用戶體驗設(shè)計、人機(jī)交互設(shè)計領(lǐng)域，眼動追蹤可以用來評價對產(chǎn)品（包括硬件產(chǎn)品和軟件產(chǎn)品）設(shè)計的感性意象，評測產(chǎn)品設(shè)計的特性。 圖8.5 The EyeLink II頭戴式眼動儀圖8.6 眼

12、動儀在實(shí)驗中的情景在眼動追蹤中，眼動儀會記錄下眼球注視的點(diǎn)并形成區(qū)域、注視順序注視點(diǎn)的時間以及路徑，如圖8.7所示。 圖8.7 注視點(diǎn)、注視順序以及注視點(diǎn)的時間 下圖8.8為Tobii Demo中被試的眼動跟蹤結(jié)果圖（八比特熊咨詢公司，8-bit Bear Consulting），紅顏色表示關(guān)注時間最長，黃顏色其次，綠顏色最短。從圖中可見，被試關(guān)注頁面中心和右上角的圖片的時間較長。圖8.8 Tobii Demo中的眼動跟蹤結(jié)果圖圖8.9 眼動追蹤對廣告、網(wǎng)頁界面的評估圖8.10 眼動追蹤對手機(jī)界面與汽車外形進(jìn)行評估8.5.3 行為觀察評價方法大多數(shù)可用性實(shí)驗室都配備或開發(fā)了軟件，以觀察和登記用

13、戶的活動，并有自動的時間標(biāo)志。在用戶與界面進(jìn)行交互時，界面系統(tǒng)自身能夠?qū)τ脩糨斎氲哪承?shù)據(jù)進(jìn)行自動記錄，例如出現(xiàn)的錯誤、特殊命令的使用等，還可以通過計時器，對用戶輸入進(jìn)行統(tǒng)計以得到各個事件的發(fā)生頻率等。與其他觀察方法相比，系統(tǒng)監(jiān)控記錄的數(shù)據(jù)比較精確。其次，在監(jiān)控系統(tǒng)建立以后，收集數(shù)據(jù)和統(tǒng)計的過程非常自動化和可靠，而且獲得的數(shù)據(jù)客觀公正、具體明確，為進(jìn)行系統(tǒng)性能的評價、對比提供了客觀的基礎(chǔ)，并且不存在對用戶的任何干擾。其缺點(diǎn)是局限性較大，一般只能搜集到用戶對系統(tǒng)的直接操作，不可能收集到有關(guān)用戶主觀性的活動（例如思考）之類的信息。因此，這種方法最好與其他方法一起共同使用。用錄像機(jī)記錄下用戶與界面交

14、互的整個過程，包括用戶的操作、界面顯示的內(nèi)容，以及用戶其他各種狀態(tài)，如思考過程等。事后向設(shè)計者重放，顯示用戶遇到的問題。與直接觀察法相比，它有提供大量豐富的數(shù)據(jù)信息等優(yōu)點(diǎn)，并且能長期保持完整的人機(jī)交互的記錄，提供反復(fù)觀察和分析的可能。其缺點(diǎn)是錄像記錄一般都長達(dá)23小時，分析起來非常費(fèi)事。因為用錄像設(shè)備很費(fèi)錢費(fèi)時，錄像帶的重放檢驗也是一個很乏味的工作，所以只有在想要發(fā)現(xiàn)特別的偶然事件時才在關(guān)鍵階段使用。圖8.11為行為觀察場景。圖8.11 場景觀察 目前，我們主要采用荷蘭Noldus Observer XT行為分析系統(tǒng)對產(chǎn)品和界面進(jìn)行測試和評估。荷蘭Noldus公司的Observer XT行為分

15、析軟件（包括三種型號：Observer XT Basic，Observer XT Mobile和Observer XT Video），對人的思維動態(tài)及行為過程進(jìn)行科學(xué)的數(shù)據(jù)化的分析，使研究更目的化、條理化和科學(xué)化。廣泛應(yīng)用于研究兒童教育、兒童心理、犯罪心理、昆蟲行為、動物行為、人的行為等方面。在工業(yè)設(shè)計、用戶體驗設(shè)計、人機(jī)交互設(shè)計領(lǐng)域，它可以用來測量用戶的操作行為，包括操作時間、路徑等，用以評估對產(chǎn)品（包括硬件產(chǎn)品和軟件產(chǎn)品）設(shè)計的感性意象，評測產(chǎn)品設(shè)計的特性。圖8.12和圖8.13分別為行為分析的場景和數(shù)據(jù)分析。圖8.12 行為分析的場景 圖8.13 行為分析的數(shù)據(jù)分析行為分析系統(tǒng)可用來記錄

16、分析被研究對象的動作、姿勢、運(yùn)動、位置、表情、情緒、社會交往以及人機(jī)交互等各種活動；記錄被研究對象各種行為發(fā)生的時刻、發(fā)生的次數(shù)和持續(xù)的時間，然后進(jìn)行統(tǒng)計處理，得到分析報告。8.5.4 腦電信號評價方法一般認(rèn)為，腦電信號（Electroencephalogram，EEG）是由大腦皮質(zhì)神經(jīng)元突觸后電位總和而形成，主要通過波幅、潛伏期和電位或電流的空間頻率等指標(biāo)來提供大腦工作過程的信息。腦電可以直接反映神經(jīng)的電活動，有極高的時間分辨率。因此，它受到研究者的重視，成為一種比較成熟的認(rèn)知神經(jīng)科學(xué)手段。人體的腦電信號的幅值十分微?。╒），加上人體又是電的不良導(dǎo)體（內(nèi)阻在1M數(shù)量級），腦電信號源的輸出阻抗

17、很高，這對腦電放大器和腦電電極以及安置方法等各方面都提出了很高要求。腦電信號通過對頭皮電極采集，記錄腦電信號，通過放大器對信號進(jìn)行濾波、放大與模數(shù)轉(zhuǎn)換傳遞并儲存到電腦中。研究者通過后期分析軟件提取和分析其中的有用信息，并做后期數(shù)據(jù)信號濾波、疊加、平、輸出圖形報告和腦電信號源定位，主要應(yīng)用于心理學(xué)、認(rèn)知科學(xué)和產(chǎn)品設(shè)計領(lǐng)域。通過對腦電信號的分析，研究者可以探索大腦的認(rèn)知加工過程和受試者的心理狀況。圖8.14所示為美國EGI公司的GES300（Geodesic EEG System 300）128通道腦電（事件相關(guān)電位）系統(tǒng)（EGI research catalog，2008）。圖8.14 GES3

18、00系統(tǒng) 在實(shí)驗過程中，需要將電極帽佩戴在頭上，如圖8.15所示。圖8.15 GES300系統(tǒng)在做實(shí)驗的情景 圖8.16 GES300系統(tǒng)在作駕駛實(shí)驗的情景GES300系統(tǒng)采用新一代源分析軟件GeorSource，它整合了目前最佳的線性逆解方法（LORETA和LAURA）。它將大腦進(jìn)行三維分割，得到2400多個體素，用戶只需通過簡單的設(shè)定即可獲得每一個體素的信號強(qiáng)度，得到大腦活動時所有腦皮層的完整特征描述。由于所有計算均由計算機(jī)自動完成，沒有源定位經(jīng)驗的用戶也能夠輕松掌握。另外，GES300系統(tǒng)具備有限差分模型（FDM），第一次對公共頭模（Atlas Man）進(jìn)行精確重建，得到了精確的大腦幾何

19、構(gòu)造，可以生成更為精確的源定位結(jié)果。GeorSource源分析軟件可以將EEG數(shù)據(jù)與信號源影像學(xué)數(shù)據(jù)（MRI切片圖）精確同步顯示回放，從而揭示了在某一特定時間點(diǎn)（毫秒）上信號源活動與頭皮電位（EEG）的關(guān)系。 圖8.17 GES300系統(tǒng)數(shù)據(jù)采集與分析圖8.18 GES300系統(tǒng)數(shù)據(jù)分析熱圖當(dāng)然，腦電技術(shù)也存在一定的缺陷，例如：（1）在空間分辨率上存在著局限性，因而對某些認(rèn)知過程腦區(qū)的定位并不是非常準(zhǔn)確；（2）在許多相似的實(shí)驗研究中，由于研究者采用了不同的實(shí)驗材料和方法等，導(dǎo)致實(shí)驗結(jié)果存在諸多差異；（3）由于采集、記錄時間的滯后性，腦電所記錄的并不一定是被試者當(dāng)下所想到的。8.5.5 用戶體驗問卷調(diào)查表用戶體驗設(shè)計評價有很多種方法，編寫用戶體驗問卷調(diào)查表是一種費(fèi)用少、管理人員和用戶雙方都能接受的方法