《人機交互技術(shù)》課程實驗指導(dǎo)書

1、人機交互技術(shù)實驗指導(dǎo)書 山東大學(xué)計算機科學(xué)技術(shù)學(xué)院，軟件學(xué)院第 PAGE 18 頁 共 NUMPAGES 18 頁人機交互技術(shù)課程實驗指導(dǎo)書山東大學(xué)計算機科學(xué)技術(shù)學(xué)院軟件學(xué)院人機交互技術(shù)課程實驗教學(xué)大綱課 程 名 稱：人機交互技術(shù)英 文 名 稱：Human-computer Interaction Technology課 程 編 號：0303202210 課 程 負(fù) 責(zé) 人：王璐大 綱 主 撰 人：王璐課程總學(xué)時：32 實驗學(xué)時： 16 課程總學(xué)分：3適用專業(yè)及年級: 計算機科學(xué)與技術(shù)/軟件工程系/數(shù)字媒體，三年級本科生一實驗教學(xué)的目的通過人機交互技術(shù)實驗課程的實踐，使學(xué)生了解人機交互技術(shù)與計

2、算機圖形、程序設(shè)計、認(rèn)知心理學(xué)以及計算機硬件的發(fā)展等領(lǐng)域密切相關(guān)，并加深學(xué)生對人機交互知識的理解，增強學(xué)生的實際運用能力和開發(fā)高可用性的交互界面的能力。 二實驗教學(xué)的任務(wù)通過案例學(xué)習(xí)，讓學(xué)生了解不同的人機交互模型設(shè)計類型，以及成功與失敗案例所帶來的啟示。通過原型設(shè)計使學(xué)生了解原型的作用，并了解用戶需求對設(shè)計一個良好人機交互界面的重要性。通過原型和界面評估，使學(xué)生掌握針對交互系統(tǒng)的評估方法。三具體實驗題目名稱和學(xué)時分配、適用專業(yè)及實驗性質(zhì)（設(shè)計性、綜合性、驗證性）序號實驗項目名稱學(xué)時適用專業(yè)實驗性質(zhì)必開/選開備注1用微軟的語音合成軟件與識別軟件做一個具有語音提示功能的界面，要求設(shè)計交互模型，根據(jù)

3、實際應(yīng)用情況來確定是否要用語音。4計算機科學(xué)技術(shù)/軟件工程設(shè)計性選開MS Speech SDK，在公共PC機房，要求配有語音卡、耳麥、揚聲器等多媒體設(shè)備2人機交互系統(tǒng)的評估4計算機科學(xué)技術(shù)/軟件工程/數(shù)字媒體綜合性選開提交所評估的系統(tǒng)評估報告3（1）基于三維運動捕捉設(shè)備的人體骨架信息的獲得與處理（2）基于三維運動捕捉設(shè)備采集三維運動數(shù)據(jù)4數(shù)字媒體演示性必開數(shù)字媒體專業(yè)實驗室4基于Web3D的虛擬漫游交互學(xué)習(xí)系統(tǒng)：利用Web3D構(gòu)建一個如圖所示的虛擬場景，結(jié)合某個主題創(chuàng)建一個知識學(xué)習(xí)體系，豐富場景中多媒體展示形式，支持多用戶漫游和虛擬環(huán)境中的人人交互、人物交互等。6計算機科學(xué)技術(shù)/軟件工程/數(shù)字

4、媒體綜合性必開在普通PC機房進行，要求環(huán)境，建模工具Maya，游戲引擎Web3D，游戲開發(fā)環(huán)境Aptana Studio5設(shè)計人機交互課程PC端及移動設(shè)備上的自定制網(wǎng)頁界面。要求：遵循HCI的web界面設(shè)計原則，靈活使用各種界面元素，統(tǒng)一界面風(fēng)格。2數(shù)字媒體/軟件工程設(shè)計性選開在公共PC機房6基于android的二維/三維交互游戲：利用android2.1以上系統(tǒng)，搭建二維或三維游戲平臺，充分利用觸摸屏、感應(yīng)器、聲音等交互方式，實現(xiàn)綜合養(yǎng)成、解謎、休閑、角色扮演和移動應(yīng)用的游戲。例如：3D推箱子，3D桌球，憤怒的小鳥等。8計算機科學(xué)技術(shù)/軟件工程/數(shù)字媒體綜合性必開在普通PC機房進行，要求環(huán)境

5、，eclipse，android2.1以上平臺7基于android2.1以上系統(tǒng)，搭建“清明上河圖交互漫游系統(tǒng)”，通過觸摸屏、感應(yīng)器、話筒實現(xiàn)人機互動。載入清明上河圖圖片，通過指點拖動瀏覽，并且針對不同的對象場景預(yù)設(shè)風(fēng)聲、流水聲、鳥聲、喧鬧人群聲、討價還價聲、彈唱戲曲聲等。當(dāng)用戶漫游至相應(yīng)場景時，加載聲音并合成。例如，用戶遠(yuǎn)觀整個街市場景時，合成喧鬧人群聲和自然聲；當(dāng)用戶zoom in到圖片某細(xì)節(jié)處，可能聽到清晰的討價還價聲。為增強交互功能，使用重力感應(yīng)器，感應(yīng)手機位移和用戶動作，以控制流水流速和方向等，反饋不同的聲覺效果給用戶。6計算機科學(xué)技術(shù)/軟件工程/數(shù)字媒體綜合性選開在普通PC機房進行

6、，要求環(huán)境，eclipse，android2.1以上平臺四單項實驗的內(nèi)容、要求1.實驗環(huán)境與設(shè)備及案例的學(xué)習(xí)通過對實驗設(shè)備與環(huán)境及案例的學(xué)習(xí)，了解各種人機交互界面類型，加深學(xué)生對人機交互系統(tǒng)的理解。2.按要求設(shè)計、制作交互系統(tǒng)原型（工具不限原型）掌握原型設(shè)計方法，并運用原型開發(fā)工具設(shè)計原型。在原型制作之前，力爭全面了解實驗需求。了解交互系統(tǒng)與交互界面設(shè)計的開發(fā)環(huán)境，掌握相關(guān)開發(fā)工具的使用方法。3.評價并改進原型了解評價原型的方法，通過評估來發(fā)現(xiàn)原型中存在的可用性問題，并改進原型。按照改進的原型設(shè)計交互界面系統(tǒng)。4評估掌握人機交互系統(tǒng)與界面的評估方法。五實驗教材或講義名稱見山東大學(xué)人機交互技術(shù)實

7、驗指導(dǎo)書六實驗考核標(biāo)準(zhǔn)1優(yōu)秀能按實驗指導(dǎo)書獨立完成實驗，正確使用儀器設(shè)備，能靈活、熟練地運用相關(guān)知識，實驗數(shù)據(jù)及計算結(jié)果準(zhǔn)確，實驗報告（含圖表）清晰無誤。 良好能按實驗指導(dǎo)書基本獨立完成實驗，正確使用儀器設(shè)備，能比較熟練地運用相關(guān)知識，實驗數(shù)據(jù)及計算結(jié)果基本準(zhǔn)確，實驗報告（含圖表）質(zhì)量較好。中等能在教師指導(dǎo)下順利完成實驗，會使用儀器設(shè)備，尚能運用相關(guān)知識，實驗數(shù)據(jù)及計算結(jié)果有明顯錯誤，實驗報告（含圖表）質(zhì)量一般。及格能在教師指導(dǎo)下完成實驗，會使用儀器設(shè)備，運用相關(guān)知識能力較差，實驗數(shù)據(jù)及計算結(jié)果有較大錯誤，基本達(dá)到實驗最低要求。不及格不能完成實驗，或抄襲他人實驗報告，或?qū)嶒灁?shù)據(jù)及計算結(jié)果有多處

8、重大錯誤。七與其他課程的聯(lián)系與分工本實驗課前續(xù)先修課為：計算機程序設(shè)計，如Visual c+ programming,或Java;計算機圖形學(xué)Web技術(shù)多媒體技術(shù)八要求掌握的開發(fā)工具Visual C+, Java, OpenGL,Web3D，Android語言等輔助開發(fā)工具。九為達(dá)到本課程的目的和要求所采取的措施1要求實驗室配備本實驗所需的設(shè)備和器材。每人配備計算機一臺，要求具有CPU是P4以上，內(nèi)存1GB以上，硬盤20GB以上，并配備網(wǎng)卡、光驅(qū)，實驗室中具有集線器、網(wǎng)線等，并配備相應(yīng)的軟件光盤。2承擔(dān)實驗教學(xué)的教師和實驗員提前作好實驗準(zhǔn)備。3實驗之前，要求學(xué)生對每個實驗的內(nèi)容進行預(yù)習(xí)。4要求

9、學(xué)生按時上機，交實驗報告。5指導(dǎo)實驗的教師和實驗員要耐心輔導(dǎo)，幫助學(xué)生解決實驗中出現(xiàn)的問題，認(rèn)真批改實驗報告。十編制依據(jù)本實驗教學(xué)大綱的編寫 按照人機交互技術(shù)課程教學(xué)大綱對實驗環(huán)節(jié)的要求編寫。參加本大綱制訂編寫人員：屠長河，王璐，劉力,蔣志方,程敏本課程所在實驗室：人機交互與虛擬現(xiàn)實實驗室制定時間： 2012年4月實驗1 帶有語音提示功能的界面設(shè)計與開發(fā) （一）實驗?zāi)康? 通過開發(fā)一個簡單的具有語音提示功能的人機交互系統(tǒng)，使同學(xué)了解多通道交互系統(tǒng)的優(yōu)點和交互模型的構(gòu)建方法。2理解語音合成技術(shù)的基本原理。3了解和掌握Microsoft speech sdk的使用方法。（二）實驗器材1配有語音卡、

10、耳麥、揚聲器等多媒體設(shè)備的PC機2.Windows操作系統(tǒng)3.MS Speech SDK （三）實驗說明1MS Speech SDK簡介：為解決語音引擎之間不兼容的問題，微軟推出了一套語音應(yīng)用程序開發(fā)的軟件開發(fā)資源包Speech SDK，方便開發(fā)人員使用資源包開發(fā)語音識別和語音合成的應(yīng)用程序，隔離了應(yīng)用軟件與語音引擎之間的聯(lián)系，使得語音引擎的更換不會影響到應(yīng)用程序的設(shè)計。2Speech SDK基本工作原理作為應(yīng)用程序開發(fā)者，只需調(diào)用speech sdk中的函數(shù)，即可實現(xiàn)語音合成與語音識別功能。3下載安裝從Microsoft官方下載站點搜索Speech SDK 5.1并下載安裝，中文語言包可選擇

11、安裝。安裝好Speech SDK后，語音控制程序?qū)⒈惶砑拥?“控制面板”-“語音”選項中。利用下圖對話框可以設(shè)置語音識別和文字-語音轉(zhuǎn)換的各項屬性，包括語言、語調(diào)、語速和輸入設(shè)備等。（四）實驗內(nèi)容和步驟在visual c+或.net環(huán)境下，用微軟的Speech SDK實現(xiàn)一個具有語音提示功能的界面，要求設(shè)計交互模型，并根據(jù)實際應(yīng)用情況來確定是否要用語音。調(diào)用Speech sdk的方法簡述如下：首先在visual c+主窗口的菜單欄中選擇“工程”“設(shè)置”。在彈出對話框中選擇“c/c+”選項卡，在分類中選擇“preprocessor”,在附加包含路徑中，輸入speech sdk安裝路徑下的incl

12、ude目錄，如：C:Program FilesMicrosoft Speech SDK 5.1Include然后選擇“l(fā)ink”選項卡，在分類中選擇“Input”,在附加庫路徑中，輸入speech sdk安裝路徑下的lib目錄，如：C:Program FilesMicrosoft Speech SDK 5.1Libi386程序中的關(guān)鍵代碼如下：#include #include /引入頭文件，以調(diào)用SDK中的API UpdateData(); ISpVoice * pVoice = NULL; if (FAILED(CoInitialize(NULL) AfxMessageBox(Error

13、to intiliaze COM); return; /初始化COMHRESULT hr = CoCreateInstance(CLSID_SpVoice, NULL, CLSCTX_ALL, IID_ISpVoice, (void *)&pVoice);if( SUCCEEDED( hr ) )hr = pVoice-SetVolume(80);/音量控制0100hr = pVoice-SetRate(0);/語速控制-55hr = pVoice-Speak(L“hello world”, SPF_DEFAULT, NULL);/語音的內(nèi)容ISpObjectToken * spToken =

14、 NULL;if (SUCCEEDED(SpFindBestToken(SPCAT_VOICES, Llanguage=804, NULL, &SpToken)pVoice-SetVoice(SpToken);/切換至中文語音模式，language=804代表中文，409代表英文pVoice-Speak(L世界你好, SPF_DEFAULT, NULL);SpToken-Release();if (SUCCEEDED(SpFindBestToken(SPCAT_VOICES, Llanguage=409, LName=Microsoft Mike, &SpToken)/說話人控制pVoice-

15、SetVoice(SpToken); pVoice-Speak(LThis is Mike speaking, SPF_DEFAULT, NULL);SpToken-Release();pVoice-Speak(L你好 , SPF_IS_XML, NULL);/也可直接寫成xml標(biāo)簽的格式 pVoice-Speak(LThis sounds normal but the pitch drops half way through, SPF_IS_XML, NULL ); /聲調(diào)控制，-代表低音，+代表高音 pVoice-Release();pVoice = NULL;CoUninitialize

16、();Speech sdk還有很多功能，詳見安裝目錄下的幫助文檔。實驗步驟：1熟悉Text-To-Speech（TTS）基本函數(shù)的調(diào)用方法，編程實現(xiàn)最簡單的語音合成原型系統(tǒng)。2體會交互過程和實現(xiàn)方法。3設(shè)計一個完整的人機交互界面，在適當(dāng)?shù)沫h(huán)節(jié)嵌入語音合成模塊，實現(xiàn)語音提示功能。（五）實驗報告要求1.整理實驗結(jié)果，填入相應(yīng)表格中，并寫出邏輯表達(dá)式。 2.小結(jié)實驗心得體會。3.回答思考題。實驗2 人機交互系統(tǒng)的評估 （一）實驗?zāi)康? 了解人機交互系統(tǒng)的評估方法2 掌握人機交互系統(tǒng)評估的步驟(二)實驗硬件軟件環(huán)境普通PC機 Windows XP操作系統(tǒng)IE 瀏覽器 (三)實驗說明利用教材上介紹的可用

17、性分析方法選擇一個感興趣的網(wǎng)站、教學(xué)系統(tǒng)的可用性分析。請同學(xué)擔(dān)當(dāng)用戶進行測試，并設(shè)計一個用戶調(diào)查問卷進行分析。 (四)實驗內(nèi)容和步驟1選擇一個自己感興趣的網(wǎng)站，進行人機交互方面的分析和評估2設(shè)計用戶調(diào)查問卷3通過用戶調(diào)查問卷采集用戶數(shù)據(jù)4對所采集的數(shù)據(jù)進行統(tǒng)計5根據(jù)所得統(tǒng)計的數(shù)據(jù)對此網(wǎng)站系統(tǒng)進行綜合分析和評估（1）網(wǎng)站簡介，描述一下網(wǎng)站的行業(yè)，分類，客戶群分析等（2）網(wǎng)站基本架構(gòu)和設(shè)計思路 （3）.網(wǎng)站的欄目設(shè)計分析 （4）網(wǎng)站的布局設(shè)計分析 （5）網(wǎng)站的色彩運用分析 （6）網(wǎng)站的字體運用分析 （7）網(wǎng)站的圖片和動畫運用分析 （8）網(wǎng)站的總體特色 （9）網(wǎng)站的導(dǎo)航設(shè)計 （10）.附錄 網(wǎng)站可用

18、性調(diào)查表（如果有的話）6給出對此網(wǎng)站系統(tǒng)的改進意見(五)實驗報告要求參考教材第5章 可用性分析與評估的一些指標(biāo)表達(dá)自己的觀點。篇幅在50006000文字，頁碼在1020P左右。1.整理實驗結(jié)果。 2.小結(jié)實驗心得體會。實驗4基于Web3D的虛擬漫游交互學(xué)習(xí)系統(tǒng) （一）實驗?zāi)康? 通過建立一個簡單的基于IE和Web3D 的人機交互虛擬漫游系統(tǒng)，使同學(xué)了解基于Web3D的簡單人機交互系統(tǒng)的基本特征和基本構(gòu)建方法。2了解和掌握Web3D的使用方法和場景構(gòu)建技術(shù)。3掌握在網(wǎng)絡(luò)環(huán)境下基于Web3D的人機交互的實現(xiàn)技術(shù)。（二）實驗硬件軟件環(huán)境普通PC機 Windows XP操作系統(tǒng)Firefox瀏覽器 （三）實驗內(nèi)容利用Web3D構(gòu)建一個如圖所示的虛擬場景（模型可以使用各種建模工具建模，然后導(dǎo)入Web3D），結(jié)合某個主題創(chuàng)建一個知識學(xué)習(xí)體系，豐富場景中多媒體展示形式，支持多用戶漫游和虛擬環(huán)境中的人人交互、人物交互等。 (五)實驗步驟1使用Aptana Studio編寫該系統(tǒng)的代碼，設(shè)計場景和對象模型，進行人機交互操作的代碼設(shè)計2體會交互過程和實現(xiàn)方法，實現(xiàn)用戶替身（虛擬人）的交互漫游功能；用戶替身和物體之間的諸如模型拾取、刪除、平移、旋轉(zhuǎn)等交互功