增強(qiáng)現(xiàn)實(shí)技術(shù)與應(yīng)用

增強(qiáng)現(xiàn)實(shí)技術(shù)與應(yīng)用教學(xué)大綱大綱版本：課程名稱（中/英）：增強(qiáng)現(xiàn)實(shí)技術(shù)與應(yīng)用學(xué)分：2總學(xué)時(shí)：48理論學(xué)時(shí)：32實(shí)驗(yàn)學(xué)時(shí)：16課程類別：選修開課學(xué)期：秋適用專業(yè)：計(jì)算機(jī)、軟件工程、數(shù)字媒體等課程性質(zhì)：專業(yè)方向類課程先修課程：C++程序設(shè)計(jì)，計(jì)算機(jī)圖形學(xué)一、課程簡介本課程是計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、數(shù)字媒體等專業(yè)的選修課程。本課程主要講述增強(qiáng)現(xiàn)實(shí)的原理、方法、技術(shù)和應(yīng)用，核心是高真實(shí)感虛實(shí)融合中所需要的關(guān)鍵技術(shù)，包括即時(shí)定位與地圖構(gòu)建SLAM、光照一致性、人機(jī)交互等原理、方法和實(shí)現(xiàn)技術(shù)，深入理解增強(qiáng)現(xiàn)實(shí)方法，體驗(yàn)系統(tǒng)軟件的開發(fā)過程，進(jìn)一步提升計(jì)算機(jī)科學(xué)與技術(shù)的專業(yè)素養(yǎng)。增強(qiáng)現(xiàn)實(shí)技術(shù)涉及人機(jī)交互、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、多媒體以及心理學(xué)、控制學(xué)等多個(gè)學(xué)科，具有較強(qiáng)的學(xué)科交叉性，已經(jīng)成為可以拉動(dòng)多學(xué)科發(fā)展，并不斷產(chǎn)生新思想、新技術(shù)和新經(jīng)濟(jì)生長點(diǎn)的重要領(lǐng)域。同時(shí)，增強(qiáng)現(xiàn)實(shí)與實(shí)際應(yīng)用緊密銜接，可向不同領(lǐng)域輻射，已成為影響各行業(yè)運(yùn)行質(zhì)量和效率的研究方向。二、課程目標(biāo)本課程的教學(xué)目標(biāo)是：使學(xué)生掌握增強(qiáng)現(xiàn)實(shí)的基本理論、技術(shù)、方法，并從典型增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)研發(fā)的角度，綜合選擇、運(yùn)用合適的增強(qiáng)現(xiàn)實(shí)技術(shù)，解決具有中等復(fù)雜度的增強(qiáng)現(xiàn)實(shí)仿真系統(tǒng)設(shè)計(jì)和開發(fā)等實(shí)際問題，對(duì)于提高學(xué)生綜合運(yùn)用知識(shí)的能力和未來在增強(qiáng)現(xiàn)實(shí)相關(guān)行業(yè)從事創(chuàng)新性工作等方面有著積極的作用。（一）課程具體目標(biāo)理解現(xiàn)有增強(qiáng)現(xiàn)實(shí)系統(tǒng)中各模塊的功能和實(shí)現(xiàn)方法，能夠針對(duì)真實(shí)生活中的具體需求場景設(shè)計(jì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，能夠以團(tuán)隊(duì)合作形式完成從需求分析、功能設(shè)計(jì)、代碼實(shí)現(xiàn)、系統(tǒng)搭建全流程（畢業(yè)要求3-2:針對(duì)軟件工程及相關(guān)領(lǐng)域的復(fù)雜工程問題，設(shè)計(jì)滿足特定需求的軟件系統(tǒng)和軟件模塊的能力，能夠選擇和利用合適的平臺(tái)、開發(fā)工具和程序設(shè)計(jì)語言，實(shí)現(xiàn)滿足設(shè)計(jì)要求的軟件系統(tǒng)，并能夠分析系統(tǒng)的主要性能、存在問題以及進(jìn)行進(jìn)一步優(yōu)化的方案）。理解高真實(shí)感虛實(shí)融合中所需要的關(guān)鍵技術(shù)，包括即時(shí)定位與地圖構(gòu)建SLAM、光照一致性、人機(jī)交互等原理、方法和實(shí)現(xiàn)技術(shù)，能夠?qū)Σ煌到y(tǒng)和方法的優(yōu)劣進(jìn)行對(duì)比和分析（畢業(yè)要求5-3:針對(duì)軟件工程及相關(guān)領(lǐng)域的復(fù)雜工程問題，能夠選擇和利用恰當(dāng)?shù)墓ぞ撸瑢?duì)問題進(jìn)行預(yù)測和模擬，并理解其局限性的能力。在必要時(shí)，具備獨(dú)立開發(fā)專用軟件技術(shù)工具的能力）。理解增強(qiáng)現(xiàn)實(shí)系統(tǒng)的復(fù)雜性，包括二維UI界面設(shè)計(jì)、三維數(shù)字資產(chǎn)建模、核心算法研究、前后端平臺(tái)開發(fā)等，能夠組建合理的團(tuán)隊(duì)共同完成項(xiàng)目（畢業(yè)要求9-1:理解多學(xué)科背景下個(gè)人和團(tuán)隊(duì)的協(xié)作關(guān)系，良好的團(tuán)隊(duì)合作意識(shí)和能力，并能完成所承擔(dān)角色的任務(wù)）。（二）課程目標(biāo)與畢業(yè)要求的關(guān)系本課程目標(biāo)主要支撐的畢業(yè)要求指標(biāo)點(diǎn)如表1所示。除表1所列舉指標(biāo)點(diǎn)外，根據(jù)學(xué)生特點(diǎn)、本課程教學(xué)特色，教學(xué)目標(biāo)還涉及對(duì)畢業(yè)要求5（選擇和使用現(xiàn)代工具）和10（溝通能力）等能力培養(yǎng)，為弱支撐，不在表1中列舉。表1本課程對(duì)專業(yè)畢業(yè)要求指標(biāo)點(diǎn)的支撐課程目標(biāo)支撐的畢業(yè)要求指標(biāo)點(diǎn)3.25.39.1課程目標(biāo)1?課程目標(biāo)2?課程目標(biāo)3?三、教學(xué)內(nèi)容及基本要求《增強(qiáng)現(xiàn)實(shí)技術(shù)與應(yīng)用》課程是面向高年級(jí)本科生開設(shè)的一門專業(yè)方向選修課，48學(xué)時(shí)。本課程將從介紹增強(qiáng)現(xiàn)實(shí)技術(shù)的起源和發(fā)展過程開始，通過講述增強(qiáng)現(xiàn)實(shí)技術(shù)在各個(gè)行業(yè)中的應(yīng)用情況和典型增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)流程，逐步分析增強(qiáng)現(xiàn)實(shí)在發(fā)展過程中所面臨的需求與挑戰(zhàn)，以及背后所蘊(yùn)含的技術(shù)問題，著重結(jié)合各種具體應(yīng)用來講授背后的共性技術(shù)原理和算法。在此基礎(chǔ)上，重點(diǎn)講授增強(qiáng)現(xiàn)實(shí)系統(tǒng)常見的空間定位、圖像顯示、輸入輸出、協(xié)同交互等關(guān)鍵技術(shù)。由于本門課程具有專業(yè)性、前沿性，因此也組織學(xué)生開展初步的學(xué)術(shù)論文調(diào)研、閱讀和匯報(bào)，幫助學(xué)生了解本領(lǐng)域的前沿技術(shù)熱點(diǎn)和進(jìn)展。由于本門課程是一門實(shí)踐性很強(qiáng)的課程，因此課程主要考核方式以團(tuán)隊(duì)項(xiàng)目制進(jìn)行。指導(dǎo)學(xué)生結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)在醫(yī)療、教育、培訓(xùn)等領(lǐng)域的應(yīng)用情況，選擇難度適中的開發(fā)項(xiàng)目，供學(xué)生自由組隊(duì)完成，使得學(xué)生能夠結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用場景來學(xué)習(xí)以及加深對(duì)相關(guān)技術(shù)的理解、掌握以及應(yīng)用，并借此培養(yǎng)學(xué)生的創(chuàng)新意識(shí)與專業(yè)技能。本課程的教學(xué)內(nèi)容，以課程具體目標(biāo)為總體指導(dǎo)進(jìn)行制定。通過增強(qiáng)現(xiàn)實(shí)的基本概念和技術(shù)組成等教學(xué)內(nèi)容，傳授基于華為AREngine的增強(qiáng)現(xiàn)實(shí)系統(tǒng)原理和基本組成，包括各個(gè)組成的基本原理等知識(shí)，從而有針對(duì)性地培養(yǎng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的模塊組成（課程目標(biāo)1）和關(guān)鍵技術(shù)（課程目標(biāo)2）。教學(xué)內(nèi)容中除安排課內(nèi)講授知識(shí)外，還組織學(xué)生以團(tuán)隊(duì)項(xiàng)目形式進(jìn)行實(shí)踐（支持課程目標(biāo)3），旨在鞏固課堂傳授知識(shí)點(diǎn)，使學(xué)生在面對(duì)計(jì)算機(jī)復(fù)雜工程問題時(shí)，能將增強(qiáng)現(xiàn)實(shí)技術(shù)合理運(yùn)用于該類工程的設(shè)計(jì)實(shí)現(xiàn)之中（課程目標(biāo)2），進(jìn)行解決方案的分析和改進(jìn)，并進(jìn)行合理的需求分析、功能分析和驗(yàn)證。本課程的教學(xué)內(nèi)容不僅完全覆蓋課程擬達(dá)成的具體目標(biāo)，同時(shí)，根據(jù)計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程和數(shù)字媒體專業(yè)人才培養(yǎng)總體目標(biāo)，以及課程所面向?qū)W生特點(diǎn)，課程內(nèi)容還涉及計(jì)算機(jī)體系結(jié)構(gòu)、計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、人機(jī)交互、項(xiàng)目管理等內(nèi)容，旨在培養(yǎng)知識(shí)交叉應(yīng)用、溝通交流等綜合工程能力。（一） 增強(qiáng)現(xiàn)實(shí)的基本概念（4學(xué)時(shí)）主要內(nèi)容：（重點(diǎn)覆蓋課程目標(biāo)1）⑴增強(qiáng)現(xiàn)實(shí)的定義。⑵增強(qiáng)現(xiàn)實(shí)的發(fā)展歷史和發(fā)展趨勢。⑶增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)之間的異同點(diǎn)。⑷增強(qiáng)現(xiàn)實(shí)的主流軟硬件平臺(tái)。⑸增強(qiáng)現(xiàn)實(shí)的應(yīng)用領(lǐng)域?；疽螈帕私庠鰪?qiáng)現(xiàn)實(shí)的技術(shù)發(fā)展歷史和趨勢。⑵掌握增強(qiáng)現(xiàn)實(shí)的主流軟硬件平臺(tái)。⑶掌握增強(qiáng)現(xiàn)實(shí)的技術(shù)應(yīng)用場景。重點(diǎn)、難點(diǎn)重點(diǎn)：增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)之間的區(qū)別。難點(diǎn)：增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)之間的區(qū)別。作業(yè)及課外學(xué)習(xí)要求作業(yè)：了解市場主流的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，分析其核心功能和開發(fā)生態(tài)中的熱點(diǎn)產(chǎn)品。（二） 增強(qiáng)現(xiàn)實(shí)的空間定位方法（4學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、2）主要內(nèi)容：⑴三維空間基礎(chǔ)知識(shí)。⑵坐標(biāo)系統(tǒng)變換。⑶人工標(biāo)識(shí)、自然標(biāo)識(shí)與位姿。⑷SLAM技術(shù)簡介。⑸視覺里程計(jì)、視覺慣性里程計(jì)。⑹輔助定位技術(shù)。基本b要求⑴掌握增強(qiáng)現(xiàn)實(shí)場景下的不同坐標(biāo)系及相互之間的變換方法。⑵了解增強(qiáng)現(xiàn)實(shí)場景下的不同人工及自然標(biāo)識(shí)。⑶了解增強(qiáng)現(xiàn)實(shí)場景下的SLAM典型方法和流程。⑷掌握視覺里程計(jì)、視覺慣性里程計(jì)的原理和代表性方法。重點(diǎn)、難點(diǎn)重點(diǎn)：坐標(biāo)系統(tǒng)變換、視覺里程計(jì)、視覺慣性里程計(jì)。難點(diǎn)：視覺里程計(jì)、視覺慣性里程計(jì)。作業(yè)及課外學(xué)習(xí)要求作業(yè)：運(yùn)行一個(gè)開源的視覺里程計(jì)或視覺慣性里程計(jì)算法代碼。課外學(xué)習(xí)要求：上網(wǎng)查閱資料，了解多種不同的視覺里程計(jì)、視覺慣性里程計(jì)方法。（三） 增強(qiáng)現(xiàn)實(shí)的環(huán)境感知方法（4學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、2）主要內(nèi)容：⑴物體識(shí)別方法。⑵物體分割方法。⑶手勢識(shí)別方法。⑷姿態(tài)識(shí)別方法。⑸三維重建方法。⑹顯著性分析方法。基本要求⑴了解各環(huán)境感知方法的目的和關(guān)鍵評(píng)價(jià)指標(biāo)。⑵掌握至少一種環(huán)境感知方法的代表性方法思路。⑶掌握至少一種環(huán)境感知方法的開源算法實(shí)現(xiàn)和分析。重點(diǎn)、難點(diǎn)重點(diǎn)：環(huán)境感知方法的代表性方法思路分析和開源算法實(shí)現(xiàn)。難點(diǎn)：環(huán)境感知方法的代表性方法的開源算法實(shí)現(xiàn)。作業(yè)及課外學(xué)習(xí)要求作業(yè)：選擇一個(gè)環(huán)境感知任務(wù)，調(diào)研現(xiàn)有的主流方法，能對(duì)各方法進(jìn)行橫向比較、判斷和分析。課外學(xué)習(xí)要求：通過完成作業(yè)和實(shí)驗(yàn)，進(jìn)一步掌握不同環(huán)境感知方法的目標(biāo)、思路，了解各種不同的環(huán)境感知方法的異同。（四） 增強(qiáng)現(xiàn)實(shí)的多模態(tài)輸入方法（3學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、2）主要內(nèi)容：⑴鍵盤輸入。⑵語音輸入。⑶體感輸入。⑷眼神輸入。⑸多模態(tài)輸入?；疽螈耪莆崭鞣N模態(tài)輸入的相關(guān)概念及評(píng)價(jià)性指標(biāo)。⑵掌握各種模態(tài)輸入的技術(shù)發(fā)展現(xiàn)狀及優(yōu)缺點(diǎn)。⑶掌握多模態(tài)融合輸入的相關(guān)方法和技術(shù)。重點(diǎn)、難點(diǎn)重點(diǎn)：各種模態(tài)輸入的技術(shù)發(fā)展現(xiàn)狀及優(yōu)缺點(diǎn)。難點(diǎn)：多模態(tài)融合輸入的相關(guān)方法和技術(shù)。作業(yè)及課外學(xué)習(xí)要求作業(yè)：選擇某特定的模態(tài)輸入方法進(jìn)行文獻(xiàn)調(diào)研，對(duì)比主流方法。課外學(xué)習(xí)要求：對(duì)某特定的模態(tài)輸入方法進(jìn)行文獻(xiàn)調(diào)研后，選擇一個(gè)開源算法框架進(jìn)行分析和實(shí)現(xiàn)。（五） 增強(qiáng)現(xiàn)實(shí)的圖像反饋技術(shù)（4學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、2）主要內(nèi)容：⑴人類視覺機(jī)制。⑵頭戴式增強(qiáng)現(xiàn)實(shí)成像技術(shù)。⑶增強(qiáng)現(xiàn)實(shí)關(guān)鍵渲染技術(shù)?；疽螈帕私馊祟愐曈X成像的機(jī)制。⑵掌握頭戴式增強(qiáng)現(xiàn)實(shí)成像的不同技術(shù)分類。⑶掌握增強(qiáng)現(xiàn)實(shí)關(guān)鍵渲染技術(shù)的難點(diǎn)。重點(diǎn)、難點(diǎn)重點(diǎn)：增強(qiáng)現(xiàn)實(shí)關(guān)鍵渲染技術(shù)中實(shí)時(shí)渲染、光照一致性等內(nèi)容。難點(diǎn)：增強(qiáng)現(xiàn)實(shí)關(guān)鍵渲染技術(shù)中實(shí)時(shí)渲染、光照一致性等內(nèi)容。作業(yè)及課外學(xué)習(xí)要求作業(yè)：增強(qiáng)現(xiàn)實(shí)關(guān)鍵渲染技術(shù)中實(shí)時(shí)渲染、光照一致性等內(nèi)容。課外學(xué)習(xí)要求：熟悉增強(qiáng)現(xiàn)實(shí)關(guān)鍵渲染技術(shù)中實(shí)時(shí)渲染、光照一致性的代表性方法，選擇其中一個(gè)開源算法進(jìn)行分析調(diào)試程序。（六） 增強(qiáng)現(xiàn)實(shí)多模態(tài)反饋技術(shù)（3學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、2）主要內(nèi)容：⑴聽覺機(jī)制及增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的聲音輸出。⑵觸覺機(jī)制及增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的觸覺輸出。⑶嗅覺機(jī)制及增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的嗅覺輸出。⑷味覺機(jī)制及增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的味覺輸出。基本要求⑴掌握各種模態(tài)輸出的相關(guān)概念及評(píng)價(jià)性指標(biāo)。⑵掌握各種模態(tài)輸出的技術(shù)發(fā)展現(xiàn)狀及優(yōu)缺點(diǎn)。⑶掌握多模態(tài)融合輸出的相關(guān)方法和技術(shù)。重點(diǎn)、難點(diǎn)重點(diǎn)：各種模態(tài)輸出的技術(shù)發(fā)展現(xiàn)狀及優(yōu)缺點(diǎn)。難點(diǎn)：多模態(tài)融合輸出的相關(guān)方法和技術(shù)。作業(yè)及課外學(xué)習(xí)要求作業(yè)：選擇某特定的模態(tài)輸出方法進(jìn)行文獻(xiàn)調(diào)研，對(duì)比主流方法。課外學(xué)習(xí)要求：對(duì)某特定的模態(tài)輸出方法進(jìn)行文獻(xiàn)調(diào)研后，選擇一個(gè)開源算法框架進(jìn)行分析和實(shí)現(xiàn)。（七） 增強(qiáng)現(xiàn)實(shí)的協(xié)同交互技術(shù)（2學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、2）主要內(nèi)容：⑴主流增強(qiáng)現(xiàn)實(shí)軟件中的協(xié)同交互。⑵基于移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)協(xié)同交互。⑶協(xié)同交互的核心特點(diǎn)和特征?；疽螈帕私庵髁髟鰪?qiáng)現(xiàn)實(shí)軟件中的協(xié)同交互。⑵掌握基于移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)協(xié)同交互。⑶掌握協(xié)同交互的核心特點(diǎn)和特征。重點(diǎn)、難點(diǎn)重點(diǎn)：協(xié)同交互的核心特點(diǎn)和特征。難點(diǎn)：多人共享物理空間條件下的注冊(cè)和跟蹤技術(shù)。作業(yè)及課外學(xué)習(xí)要求作業(yè)：了解和對(duì)比基于移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)協(xié)同交互主流技術(shù)，形成調(diào)研報(bào)告。課外學(xué)習(xí)要求：通過文獻(xiàn)調(diào)研，了解多人共享物理空間條件下的注冊(cè)和跟蹤技術(shù)現(xiàn)狀。（八） 增強(qiáng)現(xiàn)實(shí)的應(yīng)用架構(gòu)（3學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1、4）主要內(nèi)容：⑴應(yīng)用架構(gòu)概述。⑵增強(qiáng)現(xiàn)實(shí)應(yīng)用的主要功能。⑶服務(wù)器端概念架構(gòu)。⑷客戶端概念架構(gòu)。⑸以華為AREngine為例的架構(gòu)分析?；疽螈帕私庖粋€(gè)典型增強(qiáng)現(xiàn)實(shí)應(yīng)用的軟件架構(gòu)。⑵熟悉服務(wù)器端、客戶端的組成模塊。⑶掌握核心的主流框架技術(shù)。重點(diǎn)、難點(diǎn)重點(diǎn)：搭建一個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用的服務(wù)器-客戶端架構(gòu)。難點(diǎn)：搭建一個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用的服務(wù)器-客戶端架構(gòu)。作業(yè)及課外學(xué)習(xí)要求作業(yè)：搭建一個(gè)增強(qiáng)現(xiàn)實(shí)應(yīng)用的服務(wù)器-客戶端架構(gòu)。課外學(xué)習(xí)要求：上網(wǎng)查閱一個(gè)主流的增強(qiáng)現(xiàn)實(shí)應(yīng)用，并分析它的架構(gòu)搭建方案。（九）增強(qiáng)現(xiàn)實(shí)的未來發(fā)展（2學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)1）主要內(nèi)容：⑴增強(qiáng)現(xiàn)實(shí)與5G通信。⑵增強(qiáng)現(xiàn)實(shí)與物聯(lián)網(wǎng)。⑶增強(qiáng)現(xiàn)實(shí)與人工智能?；疽螈帕私庠鰪?qiáng)現(xiàn)實(shí)與前沿技術(shù)之間的聯(lián)系和支撐關(guān)系。⑵熟悉增強(qiáng)現(xiàn)實(shí)在未來場景中可以發(fā)揮的技術(shù)作用。重點(diǎn)、難點(diǎn)重點(diǎn)：增強(qiáng)現(xiàn)實(shí)與前沿技術(shù)之間的聯(lián)系和支撐關(guān)系。作業(yè)及課外學(xué)習(xí)要求作業(yè)：圍繞增強(qiáng)現(xiàn)實(shí)在未來落地場景的應(yīng)用設(shè)想，完成一份課程報(bào)告。課外學(xué)習(xí)要求：調(diào)研增強(qiáng)現(xiàn)實(shí)與前沿技術(shù)之間的最新結(jié)合成果。（十）課程實(shí)驗(yàn)、論文匯報(bào)、項(xiàng)目、企業(yè)專家匯報(bào)內(nèi)容一：AREngine環(huán)境配置實(shí)驗(yàn)（2學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)2）主要介紹華為AREngine的基本功能，開發(fā)環(huán)境安裝配置等。內(nèi)容二：項(xiàng)目開發(fā)實(shí)驗(yàn)（8學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)2、3）學(xué)生根據(jù)項(xiàng)目目標(biāo)、計(jì)劃和任務(wù)書，以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目開發(fā)。內(nèi)容三：學(xué)術(shù)論文報(bào)告（4學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)2）從增強(qiáng)現(xiàn)實(shí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議（InternationalSymposiumonMixedandAugmentedReality、IEEEVirtualReality等）以及學(xué)術(shù)期刊（IEEETransactionsonVisualizationandComputerGraphics等）近兩年發(fā)表的文獻(xiàn)中選擇一篇進(jìn)行匯報(bào)。內(nèi)容四：學(xué)生項(xiàng)目匯報(bào)（6學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)2、3）以團(tuán)隊(duì)形式匯報(bào)項(xiàng)目的選題、中期進(jìn)展和最終項(xiàng)目成果。從針對(duì)真實(shí)生活場景中的一個(gè)需求，提出增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用背景，闡述相關(guān)技術(shù)現(xiàn)狀，明確系統(tǒng)開發(fā)的功能需求清單、人員分工，到持續(xù)性的功能實(shí)現(xiàn)，最后完整呈現(xiàn)項(xiàng)目成果。實(shí)驗(yàn)五：企業(yè)專家匯報(bào)（2學(xué)時(shí)）（重點(diǎn)覆蓋課程目標(biāo)2）企業(yè)團(tuán)隊(duì)入校進(jìn)行交流，主要介紹其公司技術(shù)的核心功能，包括環(huán)境跟蹤、運(yùn)動(dòng)跟蹤和人體人臉跟蹤，與學(xué)生互動(dòng)。四、教學(xué)安排及教學(xué)方式總學(xué)時(shí)48學(xué)時(shí)，其中，講授32學(xué)時(shí)，實(shí)驗(yàn)（上機(jī)）16學(xué)時(shí)。以下以單周進(jìn)行一次理論課及一次實(shí)驗(yàn)課、雙周進(jìn)行一次理論課的方式進(jìn)行教學(xué)安排。講授環(huán)節(jié)主要采用教師講解、演示、互動(dòng)的教學(xué)形式。教師講解知識(shí)點(diǎn)、演示程序代碼，使學(xué)生對(duì)知識(shí)點(diǎn)形成直觀印象，并通過課堂教學(xué)雙方互相提問，與學(xué)生互動(dòng)，鼓勵(lì)學(xué)生在課堂上發(fā)表自己的見解，加深對(duì)知識(shí)點(diǎn)的理解，達(dá)到課程目標(biāo)。上機(jī)環(huán)節(jié)主要采用教師安排任務(wù)、學(xué)生自主上機(jī)練習(xí)，教師現(xiàn)場指導(dǎo)、答疑的形式。上機(jī)練習(xí)可利用實(shí)驗(yàn)室電腦或?qū)W生個(gè)人電腦編程，通過安裝在本地的編譯環(huán)境進(jìn)行上機(jī)練習(xí)。周次教學(xué)內(nèi)容基本要求及重點(diǎn)和難點(diǎn)學(xué)時(shí)教學(xué)方式1增強(qiáng)現(xiàn)實(shí)概述主要介紹增強(qiáng)現(xiàn)實(shí)的基本概念；產(chǎn)生背景；主要技術(shù)特點(diǎn)；增強(qiáng)顯示、混合現(xiàn)實(shí)的基本概念、虛擬現(xiàn)實(shí)頭盔與增強(qiáng)現(xiàn)實(shí)頭盔的基本原理、虛實(shí)融合技術(shù)、典型增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)等；目前的典型的應(yīng)用方向和大型系統(tǒng)。2課堂講授1華為AREngine弓|擎入門主要介紹華為AREngine的基本功能，開發(fā)環(huán)境安裝配置等。2上機(jī)實(shí)踐

2硬件及系統(tǒng)結(jié)構(gòu)主要介紹增強(qiáng)現(xiàn)實(shí)系統(tǒng)的主要軟硬件構(gòu)成要素、增強(qiáng)現(xiàn)實(shí)的常用硬件，包括三維獲取設(shè)備（位置、姿態(tài)、幾何數(shù)據(jù)等）；三維顯示設(shè)備（立體眼鏡、投影墻、頭盔、三維顯示器等）；人機(jī)交互設(shè)備（數(shù)據(jù)手套、觸力覺設(shè)備、Kinect等）；圖形計(jì)算系統(tǒng)（工作站、高端顯卡等）；增強(qiáng)現(xiàn)實(shí)的系統(tǒng)結(jié)構(gòu)分類，包括桌面式、手持式和頭戴式等。2課堂講授3軟件及計(jì)算架構(gòu)主要介紹繪制流水線、基于PC的圖形體系結(jié)構(gòu)、基于Cluster的并行圖形繪制、并行圖形繪制系統(tǒng)的分類、并行圖形繪制的研究內(nèi)容、基于端邊云融合的計(jì)算架構(gòu)等。2課堂講授3項(xiàng)目開題匯報(bào)學(xué)生以團(tuán)隊(duì)進(jìn)行項(xiàng)目的開題匯報(bào)。2課堂講授、學(xué)生演示匯報(bào)4位置跟蹤技術(shù)主要介紹離散型/基于事件觸發(fā)的輸入設(shè)備，連續(xù)型/基于采樣的輸入設(shè)備，混合型輸入設(shè)備，語音、手勢、運(yùn)動(dòng)輸入設(shè)備，6自由度跟蹤技術(shù)與系統(tǒng)。2課堂講授5環(huán)境感知技術(shù)主要介紹依托傳感器，特別是攝像機(jī)，對(duì)外部環(huán)境的分析和理解。主要介紹計(jì)算機(jī)視覺的相關(guān)任務(wù)，包括圖像分類、目標(biāo)定位、目標(biāo)檢測、圖像分割等。2課堂講授5項(xiàng)目開發(fā)學(xué)生根據(jù)項(xiàng)目目標(biāo)、計(jì)劃和任務(wù)書，以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目開發(fā)，教師提供支持和輔導(dǎo)。2上機(jī)實(shí)踐6顯示技術(shù)主要介紹視覺感知原理、視景生成技術(shù)、立體顯示技術(shù)、虛擬物體建模等。2課堂講授7企業(yè)團(tuán)隊(duì)現(xiàn)場交流企業(yè)團(tuán)隊(duì)入校進(jìn)行交流，主要介紹核心功能，包括環(huán)境跟蹤、運(yùn)動(dòng)跟蹤和人體人臉跟蹤，與學(xué)生互動(dòng)。2課堂講授7項(xiàng)目中期匯報(bào)學(xué)生進(jìn)行項(xiàng)目的中期匯報(bào)。2課堂講授、學(xué)生

演示匯報(bào)8真實(shí)感繪制技術(shù)主要講授局部與全局光照模型、光線跟蹤、輻射度傳遞、陰影、紋理映射等，以及基于可編程流水線的實(shí)時(shí)真實(shí)感繪制技術(shù)。2課堂講授9前沿學(xué)術(shù)論文匯報(bào)安排學(xué)生以個(gè)人/團(tuán)隊(duì)形式進(jìn)行一次前沿文獻(xiàn)調(diào)研報(bào)告，從增強(qiáng)現(xiàn)實(shí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議以及學(xué)術(shù)期刊近兩年發(fā)表的文獻(xiàn)中選擇一篇進(jìn)行匯報(bào)。2課堂講授、學(xué)生演示匯報(bào)9項(xiàng)目開發(fā)學(xué)生根據(jù)項(xiàng)目目標(biāo)、計(jì)劃和任務(wù)書，以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目開發(fā)，教師提供支持和輔導(dǎo)。2上機(jī)實(shí)踐10建模技術(shù)主要介紹幾何建模、運(yùn)動(dòng)建模、物理建模、行為建模、場景管理等方面的概念、方法和常用技術(shù)。2課堂講授11多模態(tài)輸入技術(shù)介紹鍵盤、手柄、手勢、語音、眼神等輸入模態(tài)，以及利用攝像機(jī)、麥克、觸摸屏等多種交互媒介。2課堂講授11項(xiàng)目開發(fā)學(xué)生根據(jù)項(xiàng)目目標(biāo)、計(jì)劃和任務(wù)書，以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目開發(fā)，教師提供支持和輔導(dǎo)。2上機(jī)實(shí)踐12前沿學(xué)術(shù)論文匯報(bào)安排學(xué)生以個(gè)人或團(tuán)隊(duì)形式進(jìn)行一次前沿文獻(xiàn)調(diào)研報(bào)告，從增強(qiáng)現(xiàn)實(shí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議以及學(xué)術(shù)期刊近兩年發(fā)表的文獻(xiàn)中選擇一篇進(jìn)行匯報(bào)。2課堂講授、學(xué)生演示匯報(bào)13多模態(tài)輸出技術(shù)介紹除了視覺以外的增強(qiáng)現(xiàn)實(shí)系統(tǒng)輸出，主要包括聽覺、嗅覺、觸覺、味覺等模態(tài)，以及融合多模態(tài)融合輸出的新一代交互手段。2課堂講授13項(xiàng)目開發(fā)學(xué)生根據(jù)項(xiàng)目目標(biāo)、計(jì)劃和任務(wù)書，以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目開發(fā)，教師提供支持和輔導(dǎo)。2上機(jī)實(shí)踐14協(xié)同交互技術(shù)主要介紹允許多人在不同的時(shí)間、空間背景下，共同完成一個(gè)任務(wù)的協(xié)同技術(shù)，包含遠(yuǎn)程協(xié)作、異地協(xié)作、實(shí)時(shí)多用戶協(xié)作、獨(dú)立視圖協(xié)作。2課堂講授15未來展望主要介紹元宇宙、虛擬人、人工智能、物聯(lián)網(wǎng)、人工生命等方面。2課堂講授15項(xiàng)目開發(fā)學(xué)生根據(jù)項(xiàng)目目標(biāo)、計(jì)劃和任務(wù)書，以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目開發(fā)，教師提供支持和輔導(dǎo)。2上機(jī)實(shí)踐16項(xiàng)目終期匯報(bào)學(xué)生進(jìn)行課程項(xiàng)目的終期匯報(bào)。2課堂講授、學(xué)生演示匯報(bào)五、考核方式與成績?cè)u(píng)定辦法以增強(qiáng)現(xiàn)實(shí)技術(shù)及應(yīng)用課程對(duì)軟件工程專業(yè)的畢業(yè)要求支撐為基礎(chǔ)，通過項(xiàng)目制考核學(xué)生的綜合表現(xiàn)，包括團(tuán)隊(duì)合作、項(xiàng)目管理、工程、現(xiàn)場演示等。本課程實(shí)踐性強(qiáng)，在專業(yè)通過工程教育認(rèn)證的背景下，本課程以產(chǎn)出為導(dǎo)向，培養(yǎng)學(xué)生的工程實(shí)踐能力。課程不再采取傳統(tǒng)的卷面考核，采用“過程考核+項(xiàng)目考核”，注重學(xué)生團(tuán)隊(duì)合作能力的考查。本課程以更合理的考核機(jī)制更好地督促學(xué)生學(xué)習(xí)知識(shí)，掌握技能，達(dá)到課程目標(biāo)以及該課程支撐的畢業(yè)要求。最終成績由課程參與、論文匯報(bào)、課程項(xiàng)目等綜合而成。其中課程項(xiàng)目分為開題報(bào)告（15%）、中期報(bào)告（15%）、終期報(bào)告（40%）組成。各部分所占比例如下。課程參與：10%，主要通過考勤、課堂互動(dòng)、課后交流的形式對(duì)學(xué)生的課程參與進(jìn)行評(píng)估。論文匯報(bào)：20%，安排學(xué)生以個(gè)人或團(tuán)隊(duì)形式進(jìn)行一次前沿文獻(xiàn)調(diào)研報(bào)告，從增強(qiáng)現(xiàn)實(shí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議以及學(xué)術(shù)期刊等。近兩年發(fā)表的文獻(xiàn)中選擇一篇進(jìn)行匯報(bào)。匯報(bào)時(shí)間10分鐘，并預(yù)留3分鐘進(jìn)行提問交流。主要考核學(xué)生對(duì)于前沿科研成果的思路和方法的學(xué)習(xí)能力。開題報(bào)告：15%。以團(tuán)隊(duì)形式匯報(bào)項(xiàng)目的選題。針對(duì)真實(shí)生活場景中的一個(gè)需求，提出增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用背景，闡述相關(guān)技術(shù)現(xiàn)狀，明確系統(tǒng)開發(fā)的功能需求清單、人員分工和項(xiàng)目預(yù)期進(jìn)展。匯報(bào)時(shí)間10分鐘，并預(yù)留3分鐘進(jìn)行提問交流。主要考核學(xué)生分析、解決問題的能力，以及團(tuán)隊(duì)組織和合作的能力。中期報(bào)告：15%。以團(tuán)隊(duì)形式匯報(bào)項(xiàng)目的進(jìn)展，重點(diǎn)匯報(bào)系統(tǒng)已實(shí)現(xiàn)的功能，采用的核心算法，遇到的困難，預(yù)期采用的技術(shù)路線，以及接下來的工作計(jì)劃。匯報(bào)時(shí)間10分鐘，并預(yù)留3分鐘進(jìn)行提問交流。主要考核學(xué)生軟件開發(fā)以及算法設(shè)計(jì)與實(shí)現(xiàn)能力。學(xué)生應(yīng)能夠通過搭建相應(yīng)的開發(fā)環(huán)境，以團(tuán)隊(duì)合作的形式完成合適的系統(tǒng)開發(fā)工作量。終期報(bào)告：40%。以團(tuán)隊(duì)形式進(jìn)行項(xiàng)目的最終報(bào)告，并要求提交一份文字版本項(xiàng)目報(bào)告。重點(diǎn)匯報(bào)系統(tǒng)已實(shí)現(xiàn)的功能，采用的核心算法，與預(yù)期計(jì)劃的變動(dòng)，人員分工，項(xiàng)目整體開發(fā)體會(huì)和經(jīng)驗(yàn)。匯報(bào)時(shí)間10分鐘，并預(yù)留3分鐘進(jìn)行提問交流。文字版本項(xiàng)目報(bào)告要求包含上述內(nèi)容，但宜言簡意賅，建議正文宋體小四、1.5倍行距格式下控制在5頁紙內(nèi)（需附封面、參考文獻(xiàn)，但不計(jì)入頁數(shù)）。全方位考核對(duì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基礎(chǔ)知識(shí)、方法和技術(shù)的掌握程度，團(tuán)隊(duì)配合程度以及解決問題的能力。課程目標(biāo)達(dá)成考核與評(píng)價(jià)方式，以及成績?cè)u(píng)定對(duì)照表。課程目標(biāo)畢業(yè)要求考核與評(píng)價(jià)方式及成績比例（％）成績比例（%）課程參與論文報(bào)告課程項(xiàng)目13.2510254025.3510254039.12020合計(jì)102070100（二）考核與評(píng)價(jià)方式及成績?cè)u(píng)定考核與評(píng)價(jià)標(biāo)準(zhǔn)1.課程參與考核與評(píng)價(jià)標(biāo)準(zhǔn)課程參與課程目標(biāo)評(píng)價(jià)標(biāo)準(zhǔn)成績比例（%）優(yōu)秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)課程目標(biāo)1能夠獨(dú)立思考，對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)有全面深入的理解，能夠在課堂內(nèi)外提出有價(jià)值問題能夠獨(dú)立思考，對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)有較為完整的理解，課堂上積極交流對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)有基本的理解，課堂上能夠在老師引導(dǎo)下交流對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)有基本的理解對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)理解不清楚，或者思路不清楚50課程目標(biāo)2能夠?qū)o定的應(yīng)用問題提出相應(yīng)的算法，并在課堂內(nèi)外與老師主動(dòng)交流能夠?qū)o定的應(yīng)用問題構(gòu)建設(shè)計(jì)合理的算法能夠?qū)o定的應(yīng)用問題設(shè)計(jì)部分算法基本能夠?qū)o定的問題設(shè)計(jì)部分算法不能對(duì)給定的模型設(shè)計(jì)算法50注：該表格比例為課程參與部分的成績比例。2.論文報(bào)告考核與評(píng)價(jià)標(biāo)準(zhǔn)

論文報(bào)告課程目標(biāo)評(píng)價(jià)標(biāo)準(zhǔn)成績比例(%)優(yōu)秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)課程目標(biāo)1能夠?qū)λx擇的學(xué)術(shù)文獻(xiàn)進(jìn)行深入閱讀，對(duì)論文選題、方法、結(jié)果、討論部分結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行清晰講解，能夠提出自己的獨(dú)到觀點(diǎn)。能夠?qū)λx擇的學(xué)術(shù)文獻(xiàn)進(jìn)行較為深入閱讀，對(duì)論文選題、方法、結(jié)果、討論部分結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行清晰講解。能夠?qū)λx擇的學(xué)術(shù)文獻(xiàn)進(jìn)行閱讀，對(duì)論文選題、方法、結(jié)果、討論部分進(jìn)行講解。能夠?qū)λx擇的學(xué)術(shù)文獻(xiàn)進(jìn)行閱讀，對(duì)論文選題、方法、結(jié)果、討論中的一部分內(nèi)容進(jìn)行講解。無法完成學(xué)術(shù)論文的閱讀和講解。50課程目標(biāo)2能夠圍繞所選學(xué)術(shù)論文的核心技術(shù)主題開展更多文獻(xiàn)，能夠?qū)Σ煌到y(tǒng)和方法的優(yōu)劣進(jìn)行對(duì)比和分析能夠圍繞所選學(xué)術(shù)論文的核心技術(shù)主題文獻(xiàn)開展部分調(diào)研工作，能夠簡單分析主流方法的優(yōu)缺點(diǎn)。