人機(jī)交互顯示KINECT課件

人機(jī)交互顯示技術(shù)-Kinect原理與應(yīng)用報(bào)告人：彭偉金組員：

夏銳文潘國(guó)豪目錄什么是KinectKinect使用原理Kinect的應(yīng)用前言-體感游戲KinectforXbox360，簡(jiǎn)稱(chēng)Kinect，是由微軟開(kāi)發(fā)，應(yīng)用于Xbox360主機(jī)的周邊設(shè)備。它讓玩家不需要手持或踩踏控制器，而是使用語(yǔ)音指令或手勢(shì)來(lái)操作Xbox360的系統(tǒng)界面。它也能捕捉玩家全身上下的動(dòng)作，用身體來(lái)進(jìn)行游戲，帶給玩家“免控制器的游戲與娛樂(lè)體驗(yàn)”。第一代kinect2010年11月4日于美國(guó)上市，建議售價(jià)為149美金。什么是Kinect？Kinect的構(gòu)造1.麥克風(fēng)陣列：聲音從4個(gè)麥克風(fēng)采集，同時(shí)通過(guò)，過(guò)濾背景噪聲，可以定位聲源2.紅外投影機(jī)：主動(dòng)投射近紅外光譜，照射到粗糙物體，或是穿透毛玻璃后，光譜發(fā)生扭曲，會(huì)形成隨機(jī)的反射斑點(diǎn)（稱(chēng)為散斑），進(jìn)而能被紅外攝像頭讀取。3.紅外攝像頭：分析紅外光譜，創(chuàng)建可視范圍的人體，物體的深度圖像4.仰角控制馬達(dá)：可編程控制仰角的馬達(dá)，用于獲得最佳視角5.彩色攝像頭：用于拍攝視角范圍內(nèi)的彩色視頻圖像Kinect的關(guān)鍵部位及組成附：美國(guó)材料檢測(cè)協(xié)會(huì)（ASTM）將近紅外光譜區(qū)定義為780-2526nm的區(qū)域Kinect處理信息流程Kinect核心—PS1080Figure2-9.PrimeSensePS1080systemonchip(imagecourtesyofPrimeSense)Kinect的“心臟”是PrimeSense的PS1080系統(tǒng)級(jí)芯片（SoC）。PS1080SoC擁有超強(qiáng)的并行計(jì)算邏輯，可控制近紅外光源，進(jìn)行圖像編碼并主動(dòng)投射近紅外光譜。同時(shí)，通過(guò)一個(gè)標(biāo)準(zhǔn)的CMOS圖像傳感器接收投影的LightCoding?紅外光譜并且將編碼后的反射斑點(diǎn)圖像傳輸給PS1080，PS1080對(duì)此進(jìn)行處理并生成深度圖像。四元線性麥克風(fēng)陣列技術(shù)KinectforXbox360視野范圍等高線的啟發(fā)把地圖上海拔高度相等的點(diǎn)連成閉合曲線，垂直投影到一個(gè)標(biāo)準(zhǔn)面上，并按比例的縮小在圖紙上，就可以得到等高線。另外用一個(gè)色分辨度代表一米的高度，可以表達(dá)更為精細(xì)的距離變化，就可以得到彩色的地形圖深度圖像的獲取Kinect系統(tǒng)有點(diǎn)不同。而不是投射可見(jiàn)光條紋，Kinect的IR投影儀發(fā)出紅外光束的圖案（通過(guò)PrimeSense稱(chēng)為IR編碼圖像），其在物體上反射，并由標(biāo)準(zhǔn)CMOS圖像傳感器捕獲。FigureKinnectIRcodingimage(detail)深度圖像的獲取這個(gè)捕獲的圖像傳遞到板載PrimeSense芯片，以轉(zhuǎn)換為深度圖像Figure2-8.Depthmap(left)reconstitutedfromthelightcodinginfraredpattern(right)下圖所示是借鑒彩色等高線圖繪制的Kinect深度圖像，距離由遠(yuǎn)而近漸變的效果使得圖像更有層次感。Kinect所采用的紅外攝像頭基于飛行時(shí)間（TimeofFlight簡(jiǎn)稱(chēng)ToF）原理的攝像頭，它通過(guò)測(cè)量光脈沖之間的傳輸延遲時(shí)間來(lái)計(jì)算深度信息。結(jié)構(gòu)光測(cè)量，基于光編碼，投射已知的紅外模式到場(chǎng)景中，通過(guò)另外一個(gè)紅外CMOS成像器所捕獲到的該模式的變形，從而最終來(lái)確定深度信息的攝像頭SR4500（from：SwissRanger）深度圖像成像原理Kinect有發(fā)射、捕捉、計(jì)算視覺(jué)重現(xiàn)的類(lèi)似過(guò)程。嚴(yán)格說(shuō)來(lái)，Kinect的“深度眼睛”是由一個(gè)紅外投影機(jī)和紅外攝像頭組合而成的，投影和接收互為重疊圖：Kinect紅外攝像頭視角結(jié)構(gòu)光測(cè)量技術(shù)結(jié)構(gòu)光是指具有特定模式的光，其模式圖案可以是點(diǎn)，線，面等。結(jié)構(gòu)光掃描法是首先將結(jié)構(gòu)光投射到物體表面，再用攝像機(jī)接收該物體表面反射的結(jié)構(gòu)光圖案，再根據(jù)接受到圖案的形變程度來(lái)計(jì)算表面的空間信息。圖：pinpointimpression上面密密麻麻的為類(lèi)似大頭針一樣的東西，不過(guò)兩端都是圓頭的LightCording技術(shù)利用光源照明給需要的空間編上碼其光源稱(chēng)為“激光散斑”——激光照射到粗糙物體或毛玻璃后隨機(jī)形成的衍射斑點(diǎn)，具有高度的隨機(jī)性，而且會(huì)隨距離的不同而變換圖案。只要在空間中打上這樣結(jié)構(gòu)的光，整個(gè)空間就全部被標(biāo)記LightCording技術(shù)技術(shù)對(duì)比1）和傳統(tǒng)的TOF、結(jié)構(gòu)光的光源不同，使用“LightCoding”技術(shù)的PrimeSense的PS1080系統(tǒng)級(jí)芯片負(fù)責(zé)對(duì)紅外光源進(jìn)行控制，投射出具有三維縱深的“立體編碼”。2）不需要特制的感光芯片，只需要普通的CMOS感光芯片。3）LightCoding技術(shù)不是通過(guò)空間幾何關(guān)系求解的，它的測(cè)量精度只和標(biāo)定時(shí)取的參考面的密度有關(guān)，參考面越密測(cè)量越精確。從人體部位識(shí)別關(guān)節(jié)從圖中可以看出，人體的關(guān)節(jié)連著軀干，四肢，頭顱等，包括指關(guān)節(jié)，腕關(guān)節(jié)，手肘關(guān)節(jié)，膝關(guān)節(jié)，髖關(guān)節(jié)，肩關(guān)節(jié)，胸鎖關(guān)節(jié)，下頜關(guān)節(jié)，趾關(guān)節(jié)。Kinect主要是根據(jù)找到這些關(guān)節(jié)進(jìn)行人體骨骼進(jìn)行識(shí)別?？紤]到人體部位的重疊，分別從正面、側(cè)面、復(fù)試角度去分析、機(jī)器學(xué)習(xí)，根據(jù)每一個(gè)可能的像素來(lái)確定關(guān)節(jié)點(diǎn)。Kinect骨骼跟蹤的機(jī)器學(xué)習(xí)技術(shù)Kinect通過(guò)紅外攝像頭看到三維世界后，將這部分深度數(shù)據(jù)傳輸給“Kinect大腦”去處理，接著深度圖像的每一個(gè)像素都會(huì)被進(jìn)行分析評(píng)估，其特征變量會(huì)被分類(lèi)，在一個(gè)為“隨機(jī)決策庫(kù)”里面進(jìn)行搜索。同一個(gè)人、同一支手的不同深度圖Kinect的“學(xué)習(xí)過(guò)程”機(jī)器學(xué)習(xí)需要大量的輸入數(shù)據(jù)，故需要不同身高、體型、著裝、膚色、文化背景的志愿者參與進(jìn)來(lái)，提供了大量的訓(xùn)練數(shù)據(jù)給微軟后續(xù)計(jì)算和提煉。圖3-43基本特點(diǎn)人群的建模左圖為KinectLab里處理訓(xùn)練照片的服務(wù)器群。右圖就是用來(lái)訓(xùn)練和測(cè)試Exemplar的數(shù)據(jù)之一微軟GameStudio開(kāi)發(fā)這一套人工智能被稱(chēng)為Exemplar（模型）系統(tǒng)。數(shù)以TB計(jì)的數(shù)據(jù)被輸入到集群系統(tǒng)中，Kinect以像素級(jí)的“眼光”來(lái)辨認(rèn)手、腳以及它看到的其他身體部位。數(shù)TB的數(shù)據(jù)Kinect的“決策樹(shù)”圖：機(jī)器學(xué)習(xí)”產(chǎn)出的“決策樹(shù)”大量經(jīng)過(guò)分析結(jié)果被編排成能夠迅速?zèng)Q策識(shí)別人體各部位的樹(shù)狀圖，如右圖所示。一旦樹(shù)狀圖構(gòu)建完畢，便可以根據(jù)Kinect采集到的深度數(shù)據(jù)進(jìn)行像素掃描，從而識(shí)別出32組人體部位。我們能利用Kinect制作什么?利用單片機(jī)制作能模仿你動(dòng)作的安卓機(jī)器人Figure.Drawingrobotinaction參考資料Kinect的開(kāi)發(fā)與實(shí)戰(zhàn).余濤Human–ComputerInteraction.AlanDixBeginning-Kinect-Programming-with-the-Microsoft-Kinect-sdk近紅外光譜分析技術(shù)在奶制品檢測(cè)中的應(yīng)用.彭攀KinectDepthSensorEvaluationforComputerVisionApplicationsKinectforWindowsSDKProgrammingGuide開(kāi)放的自然交互學(xué)習(xí)網(wǎng)址（HTTP：///）推薦讀物附加信息愛(ài)看不看附注近紅外光譜(NearInfraRedSpectrum,NIRS)是指介于可見(jiàn)光和中紅外的電磁波，其波長(zhǎng)范圍為780nm～2526nm[1]深度是從對(duì)象到相機(jī)的激光平面，而不是從對(duì)象到傳感器的實(shí)際距離的距離的估計(jì)值。[1]StarkE,LuchterKandMargoshesM.ApplSpectroseRev,1986,22(4):335.貝葉斯分類(lèi)算法—?jiǎng)h繁就簡(jiǎn)機(jī)器學(xué)習(xí)和貝葉斯曲線華碩Xtion是OpenNI和有限兼容，這意味著某些項(xiàng)目，也可以使用華碩XtionPro現(xiàn)場(chǎng)攝像機(jī)實(shí)現(xiàn)！ASUSXtionFigure2-10.ASUSXtionPROLIVE(imagecourtesyofASUS)一代Kinect識(shí)別范圍一個(gè)玩家：2.26兩個(gè)玩家：2.5LightCording技術(shù)LightCoding就是以紅外線發(fā)出對(duì)人體無(wú)害的一類(lèi)激光，透過(guò)鏡頭前的diffuser（光柵、擴(kuò)散片）將激光均勻分布投射在測(cè)量空間中，再透過(guò)紅外線攝影機(jī)記錄下空間中的每個(gè)散斑，獲取原始資料（光源標(biāo)定）后，再透過(guò)芯片計(jì)算成具有3D深度的圖像。

人臉識(shí)別幾何特征識(shí)別神經(jīng)網(wǎng)絡(luò)彈性圖匹配線段Hausdorff距離等激光散斑關(guān)于深度的正確理解Norman’smodel諾曼交互模式Establishingthegoal.建立目標(biāo)Formingtheintention.組成意圖Specifyingtheactionsequence.明確行動(dòng)順序Executingtheaction