電氣工程前沿科技總結(jié)報(bào)告

《電氣工程前沿科技》總結(jié)報(bào)告姓名：學(xué)號(hào)：專業(yè)：碩士eq\o\ac(□,√)/博士□（劃√）成果：一、調(diào)研報(bào)告（50分）基于動(dòng)作捕獲的牽引供電設(shè)備虛擬交互技術(shù)探討1探討的背景和意義目前，隨著三維虛擬顯示技術(shù)的發(fā)展，牽引供電所對(duì)人員的培訓(xùn)不再僅僅局限于傳統(tǒng)鼠標(biāo)鍵盤的人機(jī)交互，而是希望可以實(shí)現(xiàn)手勢交互，沉醉式般的進(jìn)行培訓(xùn)。虛擬現(xiàn)實(shí)在2015年已被炒到風(fēng)口，各大互聯(lián)網(wǎng)公司紛紛布局虛擬現(xiàn)實(shí)，更多的人認(rèn)為2016年是虛擬現(xiàn)實(shí)元年，所以開發(fā)一套牽引供電設(shè)備虛擬交互系統(tǒng)無論是在牽引供電培訓(xùn)本身的需求上還是時(shí)代潮流的驅(qū)逐下，都是特別有必要的。跟蹤和制作人體運(yùn)動(dòng)動(dòng)畫是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺的一個(gè)基本問題。一個(gè)特殊重要的問題是如何精確地重建人手的形態(tài)和清楚度。手部運(yùn)動(dòng)是非言語溝通的重要組成部分，扮演人形替身動(dòng)畫的重要作用，是眾多的人機(jī)界面中心。微軟在2011年發(fā)布了Xbox360轟動(dòng)業(yè)界，隨后Intel和微軟又發(fā)布了CreativeSenze3D和Kinect二代。這兩款產(chǎn)品在精度上都做了很大的改進(jìn)，為手勢跟蹤奠定了硬件基礎(chǔ)。牽引變電所是牽引供電系統(tǒng)的重要組成部分，對(duì)于保證接觸網(wǎng)和機(jī)車的平安穩(wěn)定運(yùn)行起到重要作用。正常運(yùn)行中的牽引變電所設(shè)備操作須要嚴(yán)格的執(zhí)行相關(guān)的流程和作業(yè)標(biāo)準(zhǔn)，而且由于牽引負(fù)荷的特殊性，牽引變電所的日常工作也比較困難，對(duì)操作人員的技能水平要求較高。隨著牽引變電所設(shè)備的種類與數(shù)量的增多，傳統(tǒng)的培訓(xùn)方法目前具有越來越多的局限性。隨著三維虛擬顯示技術(shù)的發(fā)展，目前牽引供電系統(tǒng)已逐步出現(xiàn)了基于三維虛擬場景的牽引變電所工作人員業(yè)務(wù)培訓(xùn)系統(tǒng)。但由于人機(jī)交互技術(shù)的限制，培訓(xùn)人員還是好用傳統(tǒng)的鼠標(biāo)鍵盤進(jìn)行操作，直觀性不強(qiáng)，交互實(shí)力有限。因此，研發(fā)一套適合于牽引供電系統(tǒng)的虛擬人機(jī)動(dòng)作捕獲交互系統(tǒng)勢在必行。2國內(nèi)外探討現(xiàn)狀手勢捕獲在人機(jī)交互領(lǐng)域始終受到關(guān)注和探討，但是由于人手的高度鉸接以及人手的高度自由度和困難的手指動(dòng)作，人手捕獲依舊是具有很大的挑戰(zhàn)性的課題。精確的實(shí)時(shí)人體跟蹤和人臉跟蹤系統(tǒng)近來已經(jīng)提出。作為實(shí)現(xiàn)對(duì)桌面環(huán)境的在線人際溝通的完整體系下一個(gè)自然的一步，手勢跟蹤在探討團(tuán)體中獲得巨大牽引力。虛擬環(huán)境互動(dòng)系統(tǒng)的最新行業(yè)趨勢已經(jīng)導(dǎo)致用于RGBD（彩色數(shù)據(jù)和深度數(shù)據(jù)）數(shù)據(jù)的處理（閉源）軟件包開發(fā)，如英特爾RealSenseSDK和微軟的Kinect二代或特地設(shè)計(jì)的硬件，如LeapMotion和Nimblesensors。手勢跟蹤在近幾年來獲得較大的進(jìn)步，但是仍舊有很大的局限性。文獻(xiàn)[1]提出了一種基于PSO算法的實(shí)時(shí)手勢捕獲系統(tǒng)，但是捕獲魯棒性差，不能從失敗中快速復(fù)原。文獻(xiàn)[2]是微軟探討院提出的基于單一深度相機(jī)實(shí)時(shí)手勢跟蹤系統(tǒng)，該系統(tǒng)能精確重建多種困難手姿態(tài)，可以快速從捕獲失敗中復(fù)原，但是僅僅局限于單手。文獻(xiàn)[3]提出了基于結(jié)合ICP和PSO算法的球形實(shí)時(shí)手勢跟蹤系統(tǒng)，但系統(tǒng)沒有采納GPU加速，捕獲速度較慢，而且限于單手捕獲。文獻(xiàn)[4]提出了基于鉸接式ICP算法的實(shí)時(shí)手勢跟蹤系統(tǒng)，并且開源了系統(tǒng)代碼，系統(tǒng)的捕獲速度很快，采納了GPU加速，并且可以快速從捕獲失敗中快速復(fù)原，但是要帶一塊藍(lán)色的護(hù)腕在手上，不是裸手操作。文獻(xiàn)[5]在同時(shí)考慮邊、光流和碰撞的基礎(chǔ)上引入微目標(biāo)函數(shù)，可以實(shí)現(xiàn)雙手的捕獲，一只手不會(huì)對(duì)另一只手的捕獲造成影響，但是每秒的幀數(shù)比較慢同時(shí)受限于緩慢的局部優(yōu)化，不能實(shí)現(xiàn)實(shí)時(shí)系統(tǒng)。文獻(xiàn)[6]在給定人手的同步序列，可以復(fù)原其三維位置，方向和全關(guān)節(jié)運(yùn)動(dòng)參數(shù)，所采納的手模型是基于適當(dāng)選擇并組裝的三維幾何圖元，但是須要一個(gè)具有高速并行運(yùn)算實(shí)力GPU（GraphicProcessingUnit）對(duì)目標(biāo)函數(shù)進(jìn)行加速，而且這些優(yōu)化的方式都是完全局部的，不能從跟蹤失敗中自動(dòng)復(fù)原。一些全局搜尋的方法[7]通過搜尋一個(gè)浩大的參數(shù)空間來避開陷入局部最優(yōu)，但是由于搜尋空間過大往往導(dǎo)致搜尋結(jié)果緩慢且不精確。文獻(xiàn)[8]提出一種基于區(qū)域生長與Meanshift算法相結(jié)合的動(dòng)態(tài)變形手勢跟蹤算法,但捕獲有時(shí)不精確。文獻(xiàn)[9]利用隨機(jī)決策森林（RDF）基于手型對(duì)手型進(jìn)行分類，能夠?qū)崟r(shí)跟蹤但是只可以識(shí)別特殊的手勢，運(yùn)用范圍狹小?；谕庥^的手勢跟蹤。在過去的幾年中，很多基于外觀的方法已被開發(fā)用于手勢跟蹤。但是基于最鄰近搜尋，決策樹木，或卷積網(wǎng)絡(luò)已經(jīng)證明基于外觀的方法可勝利用于實(shí)時(shí)手勢跟蹤的。這些方法的優(yōu)點(diǎn)是推斷手勢的實(shí)力從一個(gè)單一的幀的姿態(tài)，而無需依靠于時(shí)間相干性，從而避開了漂移。然而，這樣的基于外觀方法緊密連接到訓(xùn)練數(shù)據(jù)，常常不能概括好以前看不到的手的姿態(tài)，也就是那些不包含在訓(xùn)練數(shù)據(jù)庫中姿態(tài)。出于這個(gè)緣由，大多數(shù)這些方法假設(shè)一個(gè)單一的的手在隔離的區(qū)域，以避開數(shù)據(jù)爆炸。而且往往不能達(dá)到的基于模型的方法的精確性。(b)基于模型的手勢跟蹤一種流行的方式來手部動(dòng)作捕獲是運(yùn)用基于標(biāo)記的系統(tǒng)（Vicon,OptiTrack）。一個(gè)三維的手模型可以被擬合到跟蹤標(biāo)記，以獲得最終的手姿態(tài)。標(biāo)記物的一小部分已被證明足以用于重構(gòu)三維的手姿態(tài)通過逆運(yùn)動(dòng)學(xué)技術(shù)。然而，由于標(biāo)記的頻繁遮擋，運(yùn)用基于標(biāo)記的系統(tǒng)獲得的運(yùn)動(dòng)序列常常須要一個(gè)大量人工清掃。為了克服這個(gè)問題，文獻(xiàn)[5]提出給一個(gè)基于標(biāo)記的系統(tǒng)補(bǔ)充RGBD數(shù)據(jù)，以捕獲手的移動(dòng)，即使在顯著自遮擋的狀況下。近日，精確的基于模型的跟蹤已在多個(gè)攝像頭設(shè)置實(shí)現(xiàn),其中多個(gè)有利位置幫助解決具有挑戰(zhàn)性的遮擋。多個(gè)攝像機(jī)的系統(tǒng)也已勝利地用于精確的手手和手對(duì)象交互建模。全部上述方法都須要一個(gè)困難的采集設(shè)定和手動(dòng)校準(zhǔn)，這使得它們不太適合的那種主要針對(duì)消費(fèi)類級(jí)應(yīng)用程序，這正是本文的工作。粒子群優(yōu)化（PSO）的方法實(shí)現(xiàn)互動(dòng)（15fps）的具有一個(gè)單一的RGBD相機(jī)跟蹤。PSO技術(shù)也被勝利地應(yīng)用于兩只手之間具有挑戰(zhàn)性的互動(dòng)模式以4fps的速率降低為代價(jià)。粒子群是一個(gè)不運(yùn)用所考慮的優(yōu)化問題的梯度信息進(jìn)行優(yōu)化的而是運(yùn)用采樣的啟發(fā)式策略。為此粒子群算法的精確度和效率在很大程度上依靠于所用的樣本數(shù)。Oikonomidis等的[1]引入了一個(gè)提高跟蹤的效率但不影響質(zhì)量的更先進(jìn)的抽樣策略。然而，基于梯度的優(yōu)化方法比PSO收斂更快，更精確地，當(dāng)接近解的時(shí)候，并且因此特別適合于實(shí)時(shí)應(yīng)用。為了穩(wěn)健性，而不是訴諸于重新初始化，可以制定可能手姿態(tài)的子空間的優(yōu)化。因?yàn)檩^少的優(yōu)化變量的個(gè)數(shù)導(dǎo)致有效的計(jì)算，所以跟蹤精度可以通過將減小子空間導(dǎo)致的姿態(tài)的困難性而得到限制。3關(guān)鍵技術(shù)及發(fā)展趨勢虛擬交互的系統(tǒng)關(guān)鍵技術(shù)在于手勢捕獲。精確的捕獲到手的姿態(tài)成為關(guān)鍵問題。上述提到的文獻(xiàn)或者須要數(shù)據(jù)手套或者采納特定的標(biāo)記或者運(yùn)用多臺(tái)攝像機(jī)，均是因?yàn)槭謩莶东@的困難性造成的。須要在特定的狀況下才可以做到實(shí)時(shí)跟蹤和精確捕獲。跟蹤算法主要可以分為兩類：即基于外觀的方法、基于模型的方法?；谕庥^的方法訓(xùn)練分類器或回來矩陣為映射圖像特征到手姿態(tài)。因此，雖然這些系統(tǒng)能夠穩(wěn)健地推斷一只手姿態(tài)從一個(gè)單一的幀，但是基于外觀方法是在只須要一個(gè)粗略的估計(jì)姿態(tài)或判別的特征可以明顯提取狀況下優(yōu)化。相反地，基于模型的技術(shù)靠近跟蹤作為對(duì)準(zhǔn)優(yōu)化，其中該目標(biāo)函數(shù)典型地測量從模型合成的數(shù)據(jù)和數(shù)據(jù)由傳感器觀測之間的差異。而基于模型的方法可能遭遇丟失跟蹤的影響，正規(guī)化先驗(yàn)概率可被用來推斷出高品質(zhì)的跟蹤即使當(dāng)傳感器數(shù)據(jù)是不完整的或損壞的。運(yùn)用非侵入性檢測設(shè)備實(shí)現(xiàn)精確的實(shí)時(shí)手勢跟蹤是一個(gè)具有挑戰(zhàn)性的科學(xué)問題。人的手是高度鉸接的，因此須要有足夠多的自由度的模型來充分地描述其相應(yīng)的運(yùn)動(dòng)空間。由于手指間的困難聯(lián)系的模式，手的運(yùn)動(dòng)往往快并且表現(xiàn)出錯(cuò)綜困難幾何結(jié)構(gòu)。通過單相機(jī)RGBD設(shè)置，都面臨著不完整的數(shù)據(jù)由于自遮擋和高水平的噪音。目前，在硬件方面，各大公司生產(chǎn)出的深度相機(jī)的質(zhì)量不一，Kinect二代雖然比一代做了很多的改進(jìn)，但是提取出的深度圖依舊噪聲很大，這樣在數(shù)據(jù)源頭上就為算法帶去了肯定的干擾。Intel的CreativeSenze3D能夠清楚的提取出深度輪廓，但是低質(zhì)量的深度測量，導(dǎo)致點(diǎn)云有嚴(yán)峻的噪聲。算法基于一個(gè)實(shí)時(shí)注冊(cè)過程,它能夠精確重建手勢通過擬合三維鉸接手模型到深度圖像。該算法運(yùn)用深度、輪廓和時(shí)間上的信息登記手板模型。為了有效地映射低質(zhì)量的深度圖到現(xiàn)實(shí)手的姿態(tài)，利用運(yùn)動(dòng)學(xué)和時(shí)域上的先驗(yàn)值正規(guī)化注冊(cè)過程以及采納一個(gè)事先建立的來自現(xiàn)實(shí)的手姿態(tài)的數(shù)據(jù)庫的數(shù)據(jù)驅(qū)動(dòng)。文獻(xiàn)[4]提出一個(gè)將先驗(yàn)概率集成到算法的注冊(cè)優(yōu)化，能夠供應(yīng)牢靠的跟蹤，而不嚴(yán)格限制運(yùn)動(dòng)自由度的原則性方法。單相機(jī)的深度采集產(chǎn)量數(shù)據(jù)不完整，因此姿態(tài)重建問題本質(zhì)上是病態(tài)的。當(dāng)沒有足夠的數(shù)據(jù)因遮擋或快速運(yùn)動(dòng)取得如以上說明的跟蹤誤差可能在某些狀況下會(huì)發(fā)生。同樣，在傳感器極限辨別率限制了跟蹤精度。當(dāng)幾何特征變得不加區(qū)分，上述的注冊(cè)方法失敗。集成顏色和底紋的信息可能會(huì)解決這個(gè)問題。關(guān)于手勢跟蹤，隨著深度學(xué)習(xí)的發(fā)展，應(yīng)當(dāng)會(huì)出現(xiàn)基于深度學(xué)習(xí)的學(xué)習(xí)的手勢跟蹤系統(tǒng)。微軟在holens中運(yùn)用的手勢跟蹤系統(tǒng)采納了卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別手勢，在結(jié)合Kinect二代的深度信息對(duì)手勢建模，但是CNN只是對(duì)二維圖片進(jìn)行處理。但是也可以將卷積神經(jīng)網(wǎng)絡(luò)的思想應(yīng)當(dāng)用到三維點(diǎn)云手勢識(shí)別上，此種方法須要提前標(biāo)定點(diǎn)云，但是可以實(shí)現(xiàn)端對(duì)端的訓(xùn)練，同時(shí)可以提高精確度。手勢交互式下一代人機(jī)交互方式，這一點(diǎn)已經(jīng)無可否認(rèn)，是增加現(xiàn)實(shí)（AR）的優(yōu)選交互方式。在鐵路上，牽引變電所的虛擬化是必定趨勢。4參考文獻(xiàn)[1]Oikonomidis,I.,Kyriazis,N.,andArgyros,A.Efficientmodel-based3DtrackingofhandarticulationsusingKinect.InProc.BMVC(2011),1–11.[2]TobySharpy,CemKeskiny,DuncanRobertsony,JonathanTaylory,JamieShottony,DavidKim,ChristophRhemann,IdoLeichter,AlonVinnikov,YichenWei,DanielFreedman,PushmeetKohli,EyalKrupka,AndrewFitzgibbon,ShahramIzadi.Accurate,Robust,andFlexibleRealtimeHandTracking.CHI'15

Proceedingsofthe33rdAnnualACMConferenceonHumanFactorsinComputingSystems:3633-3642[3]孫驍.基于深度圖像的實(shí)時(shí)魯棒手勢跟蹤探討.華南理工高校,2014[4]AndreaTagliasacchi，MatthiasSchr?der，AnastasiaTkach，SofienBouaziz，MarioBotsch，MarkPauly.RobustArticulated-ICPforReal-TimeHandTracking.EurographicsSymposiumonGeometryProcessing2015.2015,34(5):1-2[5]L.Ballan,A.Taneja,J.Gall,L.V.Gool,andM.Pollefeys.Motioncaptureofhandsinactionusingdiscriminativesalientpoints.InECCV,2012.[6]I.Oikonomidis,N.Kyriazis,andA.A.Argyros.Markerlessandefficient26-dofhandposerecovery.InACCV,2010.[7]V.AthitsosandS.Sclaroff.Estimating3dhandposefromaclutteredimage.InCVPR,2003.[8]張秋余,

胡建強(qiáng),

張墨逸.基于區(qū)域生長的Meanshift動(dòng)態(tài)變形手勢跟蹤算法.模式識(shí)別與人工智能，2010,23(4):1[9]C.Keskin,F.Kirac,Y.E.Kara,andL.Akarun.Handposeestimationandhandshapeclassificationusingmulti-layeredrandomizeddecisionforests.InECCV,2012二、課程設(shè)計(jì)（20分）《電氣工程與限制工程前沿科技》通過教授授課的方式進(jìn)行，按周通過講座的方式開展，講座內(nèi)容主要針對(duì)電氣工程和限制工程不同探討領(lǐng)域的發(fā)展動(dòng)態(tài)和前沿技術(shù)，使同學(xué)們對(duì)專業(yè)探討有一個(gè)全方位的了解和相識(shí)。假設(shè)你來開設(shè)本課程，你如何開設(shè)？假如是我開設(shè)這門課程，我也會(huì)采納類似的方式：請(qǐng)各個(gè)學(xué)校在電氣領(lǐng)域頗有建樹的教授采納講座的方式進(jìn)行。《電氣工程與限制工程前沿科技》作為一門介紹前沿科技性質(zhì)的課程，而且電氣工程與限制工程涵蓋的領(lǐng)域比較多，所以僅僅由一位老師來講是不太現(xiàn)實(shí)的。采納各個(gè)領(lǐng)域比較出名的老師來進(jìn)行講座的方式一方面可以拓展視野，另一方面，也便利學(xué)生了解老師，從而進(jìn)行更深一步或者私下里面的溝通，給了學(xué)生相識(shí)更多老師的機(jī)會(huì)。采納何種方式？主體上會(huì)采納講座的方式，并且會(huì)把課程支配給大家提前說明，并且但是會(huì)在第一堂課布置一道比較新奇的題目給學(xué)生（或者學(xué)生自選題目，最好可以做出實(shí)物的），學(xué)生自由結(jié)組完成，并且在期中和期末的時(shí)