人體動作辨識技術(shù)多媒體教學(xué)研究

1、人體動作辨識技術(shù)多媒體教學(xué)研究 摘要：本文介紹了一種基于體感識別技術(shù)的多媒體教學(xué)控制系統(tǒng)，是一種結(jié)合計算機控制技術(shù)、體感識別技術(shù)的產(chǎn)物。硬件局部以計算機為控制中心；KINECT2.0為人體檢測識別模塊?？梢缘竭_(dá)使用者在不接觸鼠標(biāo)鍵盤等計算機輸入局部就可以到達(dá)控制計算機的目的。主要用于教學(xué)，演講，路演等多種需要使用多媒體設(shè)備的場合，提高控制多媒體控制的適用性，靈活性和美觀度。關(guān)鍵詞：多媒體教學(xué)；KINECT2.0；體感識別；無線串口WIFI；人機交互自然性多媒體教育控制系統(tǒng)是以多媒體教學(xué)為平臺，教學(xué)為主要控制對象，利用綜合布線技術(shù)、自動控制技術(shù)、音視頻技術(shù)將教學(xué)有關(guān)的設(shè)施進(jìn)行高效集成，構(gòu)建高效的

2、電子教學(xué)設(shè)施與教學(xué)內(nèi)容的控制管理系統(tǒng)。現(xiàn)在的多媒體教學(xué)中，多采用鼠標(biāo)、鍵盤直接控制和紅外線遙控器控制等多種方法，隨著科技的開展，尤其體感技術(shù)的逐漸成熟，對于多媒體的控制又有了新的開展空間，我們認(rèn)為體感技術(shù)與多媒體控制技術(shù)相結(jié)合會增強控制的靈活性和適用性，同時給使用者帶來了全新的教學(xué)方法和教學(xué)體驗。同時通過這套控制系統(tǒng)無線控制非計算機的教學(xué)設(shè)備。1設(shè)計來源在多媒體教學(xué)中，目前可以采用鍵盤、鼠標(biāo)直接控制計算機，以到達(dá)對多媒體的控制，此種方法控制直接，但教師或其他使用者不能脫離計算機一定范圍，并且在教學(xué)過程中還要保持日常使用計算機的姿態(tài)，給使用者帶來了不便。隨著多媒體教學(xué)的普及，出現(xiàn)了用外線遙控器來

3、控制多媒體，這種方法解決了前者帶來的問題，這也是現(xiàn)在教學(xué)中常用的多媒體控制方案。隨著科技的開展，尤其體感技術(shù)的逐漸成熟，對于多媒體的控制又有了新的開展空間，所以以上幾種方式都有一個共同的缺乏，就是都要通過手與控制終端接觸做出一定的操作控制，而很多時候我們的手跟控制器的協(xié)調(diào)達(dá)不到一致，不需要肢體與控制器接觸就能控制會更加方便、靈活，以自然的方式進(jìn)行人機交互也逐漸成為了開展趨勢。2設(shè)計所使用的相關(guān)技術(shù)隨著科學(xué)技術(shù)的高速開展，更高層次的人機交互理念對交互方式提出了巨大的需求，眾多科研人員開始對新的交互技術(shù)的多通道界面展開研究，目前的研究內(nèi)容主要是集中在手勢輸入、語音識別及感覺反響等方面。而Kinec

4、t體感技術(shù)的出現(xiàn)為促進(jìn)人機交互的開展具有重要意義，Kinect作為新一代的體感設(shè)備，可以依靠實時捕捉使用者的動作、面部識別及語音識別就可以到達(dá)輸入功能。這一特性很好地填補了現(xiàn)有人機交互技術(shù)的缺陷，并且促使Kinect體感技術(shù)成為人機交互領(lǐng)域的一個研究熱點。與傳統(tǒng)輸入設(shè)備不同的是，Kinect設(shè)備可以實現(xiàn)直接用使用者的身體來控制終端，用這種最自然的方式與終端進(jìn)行交互的特點貼近了人機交互對自然性的要求，Kinect體感技術(shù)對人機交互理念的實現(xiàn)起到了重要的促進(jìn)作用。因此研究Kinect體感技術(shù)在人機交互領(lǐng)域中的應(yīng)用對其今后的開展具有很大的必要性。自從Kinect發(fā)布到現(xiàn)在，它以其方便的人際交互性，被

5、多個行業(yè)和領(lǐng)域廣泛應(yīng)用：虛擬應(yīng)用：可以將Kinect應(yīng)用在虛擬樂器，虛擬實驗，虛擬娛樂等方面。3本設(shè)計的主要內(nèi)容本系統(tǒng)設(shè)計旨在設(shè)計一個根據(jù)人體動作來控制信息設(shè)備的多媒體教學(xué)控制系統(tǒng)。該系統(tǒng)由上位機子系統(tǒng)和下位機子系統(tǒng)兩個局部組成。具體又包括體感識別模塊、無線數(shù)據(jù)傳輸模塊和電教設(shè)備遙控模塊。體感識別模塊會把攝像頭捕捉到的人體姿勢傳到模塊，體感識別模塊會對其做出相應(yīng)的解讀，并將其傳給電腦。電腦通過上位機傳送數(shù)據(jù)，WIFI模塊通過局域網(wǎng)和電腦連接，WIFI模塊接收到電腦傳過來的數(shù)據(jù)后，通過串口把數(shù)據(jù)傳輸給單片機。單片機通過WIFI模塊接收到電腦傳送過來的數(shù)據(jù)依據(jù)下位機程序做出相應(yīng)的反響，從而控制對應(yīng)

6、的電器工作。用戶可根據(jù)上位機界面查看人體動作。程序調(diào)試主要采用先將各局部的程序分開調(diào)試，再將各個程序整合到一起的思想。本設(shè)計的程序主要包含對人體動作識別的程序、無線數(shù)據(jù)傳輸程序、多媒體控制技術(shù)和上位機界面的編寫程序，其中人體動作識別程序和無線數(shù)據(jù)傳輸?shù)某绦蛞彩潜驹O(shè)計的重點程序。最終將人體動作識別的程序整合到無線數(shù)據(jù)傳輸程序和計算機多媒體控制中去，以構(gòu)本錢設(shè)計的完整程序。4系統(tǒng)總體結(jié)構(gòu)本系統(tǒng)工作原理如下：利用和結(jié)合Kinect3D體感攝影機實時捕捉人的三維動態(tài)信息，并對其進(jìn)行解讀，然后把其發(fā)送給電腦，電腦通過上位機傳送數(shù)據(jù)，WIFI模塊通過局域網(wǎng)和電腦連接，WIFI模塊接收到電腦傳過來的數(shù)據(jù)后，

7、通過串口把數(shù)據(jù)傳輸給單片機。單片機通過WIFI模塊接收到電腦傳送過來的數(shù)據(jù)依據(jù)下位機程序做出相應(yīng)的反響，從而控制對應(yīng)的電器工作。本次設(shè)計的查詢平臺由上位機子系統(tǒng)和下位機子系統(tǒng)兩個局部組成。上位機子系統(tǒng)由Kinect傳感器模塊、電源模塊、串口通信模塊、計算機等組成；下位機子系統(tǒng)由控制芯片STM32單片機、串口通信模塊、電源模塊、信息設(shè)備控制模塊。Kinect設(shè)備識別人體動作后，通過USB傳輸線把Kinect接收到的信息發(fā)送給計算機，經(jīng)過處理器對數(shù)據(jù)進(jìn)行處理，然后通過串口通信將人體動作數(shù)據(jù)表達(dá)的控制指令傳給計算機，此時用戶可通過上位機的可視化界面觀看人體動作。 姜巖松 劉洋 單位：東北石油大學(xué)電氣信息工程學(xué)院參考文獻(xiàn)【1】李廣弟等.單片機根底.北京：北京航空航天出版