基于Kinect與虛擬現(xiàn)實的社區(qū)家庭康復(fù)系統(tǒng)的研制

劉燕楊藝李中基于Kinect與虛擬現(xiàn)實的社區(qū)家庭康復(fù)前端系統(tǒng)的研制中山大學(xué)中山醫(yī)學(xué)院生物醫(yī)學(xué)工程系2014年中華醫(yī)院信息網(wǎng)絡(luò)大會目錄21.康復(fù)醫(yī)療相關(guān)現(xiàn)狀及醫(yī)療健康服務(wù)的需求2.系統(tǒng)目標規(guī)劃3.前端機系統(tǒng)基本架構(gòu)與實施4.前端系統(tǒng)的實驗測試5.未來社區(qū)醫(yī)療康復(fù)服務(wù)的設(shè)想現(xiàn)狀及需求_

3社會、工作、環(huán)境社會工作節(jié)奏加快，科技、環(huán)境、生活壓力等原因?qū)е赂鞣N疾病患病率上升，尤其城市各類人群中有相當大的一部分人處于亞健康狀態(tài)。患病率↑現(xiàn)狀及需求_1

4人口現(xiàn)狀人口老齡化，老年人群增長，慢性病和老年?。ǜ哐獕?、腦卒中、老年癡呆等）成為醫(yī)療服務(wù)的重要關(guān)注點年齡（歲）2040年占人口總比例或人數(shù)（預(yù)計）≥65>20％≥807400多萬（增長速度：每年5％）人口高齡化20世紀90年代以來中國的老齡化進程加快。65歲及以上老年人口占總?cè)丝诘谋壤?.57%上升為6.96%。據(jù)統(tǒng)計：2012年，老年人1.94億，達14.3%；2013年，老年人2.02億，達14.8%；目前中國人口已進入老年型。如何獲得更好的醫(yī)療服務(wù)，提高生活生存質(zhì)量？現(xiàn)狀及需求_2

5醫(yī)院和醫(yī)療衛(wèi)生信息化的現(xiàn)況醫(yī)院醫(yī)療業(yè)務(wù)流程在數(shù)字化醫(yī)療平臺上以一種及時、全面匯總和高效利用信息的方式展現(xiàn)和實施，向病患者提供全方位的治療服務(wù)?，F(xiàn)代的醫(yī)療模式預(yù)防+治療+康復(fù)現(xiàn)狀及需求_2

6醫(yī)院和醫(yī)療衛(wèi)生信息化的現(xiàn)況遠程預(yù)約、遠程醫(yī)療、慢病監(jiān)控、移動醫(yī)療、醫(yī)療云等大數(shù)據(jù)綜合解決方案改變了現(xiàn)有的醫(yī)療健康服務(wù)模式?，F(xiàn)代的醫(yī)療模式預(yù)防+治療+康復(fù)醫(yī)院的資源有限，高齡、慢病人群日趨增多，如何提供醫(yī)療保健服務(wù)？院外的醫(yī)療服務(wù)？養(yǎng)老院、家庭迫切需要社區(qū)醫(yī)療提供近身跟蹤和健康保健服務(wù)?？祻?fù)醫(yī)療相關(guān)現(xiàn)狀及需求---37醫(yī)院和康復(fù)中心內(nèi)的康復(fù)資源與病人面臨“僧多粥少”的局面。

某些疾病患者在經(jīng)過醫(yī)院的治療后希望進行一些社區(qū)和家庭式的康復(fù)訓(xùn)練來提高康復(fù)效果腦卒中患者在進行前期基本康復(fù)治療后特別需要后期康復(fù)訓(xùn)練荷蘭可視化虛擬康復(fù)系統(tǒng)（瑞安市任命醫(yī)院康復(fù)醫(yī)學(xué)中心已使用）8解決小型輕便的傳感器+電腦（虛擬現(xiàn)實）康復(fù)訓(xùn)練（一定范圍的空間內(nèi)，趣味性的）。遠程網(wǎng)絡(luò)技術(shù)（信息交互與進度更新）系統(tǒng)目標1.將訓(xùn)練適量“搬運”到患者家中并把結(jié)果定期反饋回醫(yī)院以制定下一步治療計劃，不僅能減輕康復(fù)醫(yī)師的工作，也可為患者提供更輕松自在的訓(xùn)練環(huán)境和完善的后期治療。2.“讓有限數(shù)量的治療師面對更多數(shù)量的患者”。將Kinect與計算機技術(shù)結(jié)合運用于康復(fù)領(lǐng)域所研制的社區(qū)家庭康復(fù)系統(tǒng)，可以有效從“質(zhì)”（康復(fù)效果）和“量”（患者數(shù)量）上提高我國的康復(fù)水平，它具有非常廣闊的前景。小型輕便的Kinect傳感器9Kinect是一種“姿態(tài)檢測”設(shè)備，它的三維攝像頭可以自動捕捉鏡頭前的人，并將人體等效成一個“由20個點組成的三維點空間模型”，從而準確地實現(xiàn)姿態(tài)檢測。用戶不需要再佩戴任何其他的裝備利用KinectForXBOX傳感器捕捉用戶運動軌跡，空間識別精確率達到了4mm，其關(guān)鍵技術(shù)特性歸納為四點：骨骼跟蹤、動作識別、人臉識別、語音識別。本系統(tǒng)主要利用的技術(shù)特性即為Kinect的“骨骼跟蹤”。已有的應(yīng)用10目前關(guān)于Kinect的應(yīng)用多在教育與娛樂方面。目前，雖國內(nèi)外的科技人員已開發(fā)了一些康復(fù)訓(xùn)練系統(tǒng)，但大部分都需在專門的實驗室環(huán)境內(nèi)進行康復(fù)訓(xùn)練。臺灣中央大學(xué)用Kinect開發(fā)出針對醫(yī)學(xué)場景應(yīng)用程序的單位，其應(yīng)用程序旨在幫助有肢體功能障礙的病人進行運動康復(fù)。美國公司開發(fā)的用于心血管病人的術(shù)后運動回復(fù)程序。中興公司開發(fā)的康復(fù)游戲訓(xùn)練軟件姿態(tài)檢測+生理參數(shù)采集+語音與視頻通訊Kinect全新的交互傳感方式正逐漸滲透到生活的各個領(lǐng)域家庭康復(fù)系統(tǒng)前端機基本結(jié)構(gòu)11前端機硬件組成Kinect傳感器+計算機（+電視機）軟件模塊傳感器數(shù)據(jù)采集處理模塊：數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換；后臺實時數(shù)據(jù)處理模塊：數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)輸出；虛擬老師標準動作模塊：提供患者訓(xùn)練模式及動作選擇功能和動作指導(dǎo)功能服務(wù)；患者動態(tài)形象虛擬化模塊：患者虛擬化服務(wù)與實現(xiàn)；網(wǎng)絡(luò)交流模塊：患者數(shù)據(jù)上傳、醫(yī)師數(shù)據(jù)下載；前端機系統(tǒng)基本邏輯架構(gòu)12康復(fù)前端網(wǎng)絡(luò)部分1）患者訓(xùn)練客戶端：提供康復(fù)訓(xùn)練服務(wù)及數(shù)據(jù)維護；2）患者網(wǎng)絡(luò)服務(wù)客戶端：數(shù)據(jù)上傳與醫(yī)師建議下載；3）醫(yī)師網(wǎng)絡(luò)服務(wù)客戶端：數(shù)據(jù)查看及個人建議上傳；WINFORM系統(tǒng)規(guī)劃與部署13外網(wǎng)服務(wù)網(wǎng)站外網(wǎng)服務(wù)網(wǎng)站W(wǎng)PFASP.NET康復(fù)服務(wù)端文檔保存更新評分康復(fù)訓(xùn)練網(wǎng)絡(luò)服務(wù)端信息交互量表統(tǒng)計數(shù)據(jù)更新自動分析后期在VisualStudio2010集成開發(fā)環(huán)境,使用C#編寫患者訓(xùn)練客戶端的Windows窗體應(yīng)用程序與WPF應(yīng)用程序；調(diào)用KinectforWindowsSDKv1.6的API函數(shù)庫進行傳感器操作。采用ASP.NET設(shè)計網(wǎng)絡(luò)服務(wù)客戶端的

WEB應(yīng)用程序。前端機系統(tǒng)中的一些關(guān)鍵技術(shù)14用戶運動軌跡采集Kinect由紅外投影機、彩色攝像頭、紅外深度投影頭和PrimeSense的PS1080SoC芯片組成，空間判斷精確度為4mm。

Kinect傳感器將數(shù)據(jù)采集和處理結(jié)合一體，提供三大類原始數(shù)據(jù)信息：深度數(shù)據(jù)流、彩色視頻流和原始音頻流，如圖2所示，其獨特骨骼追蹤技術(shù)將用戶全身虛擬化為20個關(guān)節(jié)點，如圖3所示。通過WindowLoaded()函數(shù)實現(xiàn)傳感器的初始化，數(shù)據(jù)流操作，釋放資源并關(guān)閉。設(shè)置Kinect采集數(shù)據(jù)幀率為每秒30幀。圖2Kinect傳感器數(shù)據(jù)流圖3Kinect維特魯威人20關(guān)節(jié)點圖前端機系統(tǒng)中的一些關(guān)鍵技術(shù)15患者動態(tài)形象虛擬利用SensorSkeletonFrameReady()函數(shù)對骨骼數(shù)據(jù)進行處理和繪圖，過程如圖4所示。①獲取數(shù)據(jù)流，重新分配存放緩沖區(qū)；②獲得數(shù)據(jù)流中每一幀的新數(shù)據(jù)，并釋放緩沖區(qū)；③判斷骨骼追蹤狀態(tài)之后選擇相應(yīng)的執(zhí)行方式。構(gòu)造DrawBone()函數(shù)，對應(yīng)連接20個關(guān)節(jié)點，完成火柴人的繪制。代碼如下：drawingContext.DrawLine(drawPen,this.SkeletonPointToScreen(joint0.Position),this.SkeletonPointToScreen(joint1.Position));圖4患者動態(tài)形象虛擬流程前端機系統(tǒng)中的一些關(guān)鍵技術(shù)16后臺評分數(shù)據(jù)處理模塊訓(xùn)練評分：對每幀數(shù)據(jù)都實施每個動作對應(yīng)算法的計算。計算出相應(yīng)關(guān)節(jié)連線的夾角，根據(jù)關(guān)節(jié)點的具體位置進行相關(guān)動作得分的評判。提取患者關(guān)節(jié)點數(shù)據(jù)的語句為：wex=skeleton.Joints[JointType.WristRight].Position.X-skeleton.Joints[JointType.ElbowRight].Position.X;自動生成評判結(jié)果的TXT文檔。顯示評價和患者動作細節(jié)記錄。數(shù)據(jù)上傳網(wǎng)絡(luò)。網(wǎng)絡(luò)部分（初期）利用康復(fù)部分生成的訓(xùn)練信息txt；兩部分WEB應(yīng)用，患者登陸頁與醫(yī)生登陸頁；主要功能：上傳本地文檔，查閱相關(guān)文檔；圖5患者網(wǎng)絡(luò)服務(wù)網(wǎng)頁應(yīng)用程序運行界面系統(tǒng)流程測試實驗17患者基本信息康復(fù)應(yīng)用選擇模式自主訓(xùn)練模式默認訓(xùn)練模式特點：4個動作，不可變動選擇動作訓(xùn)練結(jié)束顯示評分結(jié)果，生成訓(xùn)練信息txt到本地訓(xùn)練鏡像，看自己，增加趣味性指導(dǎo)，看老師，調(diào)整不同測試結(jié)果18測試系統(tǒng)的穩(wěn)定性，編程并選取粗大動作—肘關(guān)節(jié)屈曲80°—90°進行了測試。實驗環(huán)境如圖所示，實驗記錄如表1所列。實驗室測試虛擬老師測試者用戶火柴人表1實驗數(shù)據(jù)記錄20實驗編號肘?關(guān)節(jié)最小夾角分數(shù)歷史訓(xùn)練細節(jié)與鼓勵語（測試版）118.5182.35很不錯哦，不過動作有些太大了235.2884.03很不錯哦，不過動作有些太大了351.1285.61很不錯哦，不過動作有些太大了479.65100太棒了！您的動作完全符合要求587.32100太棒了！您的動作完全符合要求692.45100太棒了！您的動作完全符合要求798．6688.80需要繼續(xù)努力，請把手臂再抬高一些吧8105.4384.76需要繼續(xù)努力，請把手臂再抬高一些吧9170.6575離要求還有些距離，請再努力一些吧！10136.7375離要求還有些距離，請再努力一些吧！第1幀第2幀第3幀第4幀第5幀第6幀第7幀第8幀168.65169.88168.47167.86167.35166.70165.66166.61第9幀第10幀第11幀第12幀第13幀第14幀第15幀第16幀166.88166.57165.52166.73165.83166.09168.69167.37第17幀第18幀第19幀第20幀第21幀第22幀第23幀第24幀168.65166.35167.28167.45166.46166.53165.26164.57第25幀第26幀第27幀第28幀第29幀第30幀第31幀第32幀164.47165.32164.20164.60164.48164.12164.51164.39第33幀第34幀第35幀第36幀第37幀第38幀第39幀第40幀164.50163.21163.50166.04166.54166.30166.29165.57第41幀第42幀第43幀第44幀第45幀第46幀第47幀第48幀165.86166.05166.75166.99167.14167.24167.45167.29第49幀第50幀第51幀第52幀第53幀第54幀第55幀第…幀167.85168.37169.56170.36170.45169.82169.93…“手肘”部位夾角（實驗輸出）電視筆記本傳感器用戶訓(xùn)練時未來社區(qū)醫(yī)療康復(fù)服務(wù)的設(shè)想24基于Kinect傳感構(gòu)建的家庭式康復(fù)訓(xùn)練的前端機以其輕便、簡易使用、適用性強的優(yōu)勢將會被更多患者接受。利用虛擬現(xiàn)實技術(shù)與康復(fù)治療結(jié)合能有效減輕康復(fù)醫(yī)護人員工作壓力，增加可治療患者數(shù)量，提升康復(fù)效果，最終達到雙贏的局面。系統(tǒng)后期的設(shè)想將與醫(yī)院神經(jīng)內(nèi)科與康復(fù)中心的服務(wù)相接，利用與醫(yī)院信息系統(tǒng)的交