教案往年15級(jí)全部

經(jīng)成果，也不包含為獲得重慶郵電大學(xué)而使用過的材料。與我一同工作 對本年月日書本人完全了 重慶郵電大 重慶郵電大 可以公布。（的在經(jīng)成果，也不包含為獲得重慶郵電大學(xué)而使用過的材料。與我一同工作 對本年月日書本人完全了 重慶郵電大 重慶郵電大 可以公布。（的在書。年月日年月日摘強(qiáng)現(xiàn)實(shí)技術(shù) 決定了最終的虛實(shí)融合效果常用行KAZE：增強(qiáng)現(xiàn)實(shí)I摘強(qiáng)現(xiàn)實(shí)技術(shù) 決定了最終的虛實(shí)融合效果常用行KAZE：增強(qiáng)現(xiàn)實(shí)IAugmentedrealitytechnologycanfusevirtualinformationwithrealscenesandpeopleimmersivehefieldofhomedecoration,physicalfurniturecanosandtheplacementoffurnitureAugmentedrealitytechnologycanfusevirtualinformationwithrealscenesandpeopleimmersivehefieldofhomedecoration,physicalfurniturecanosandtheplacementoffurniturecanbecompletedthroughthebyusingaugmentedrealitytechnology.ThisapproachimprovestheefficiencyofdecorationandenablesuserstofeelthetruehomefurnishingAtpresent,therearefewaugmentedrealityapplicationsforhomemarket,andtheapplicationsaregenerally dbythefurniturecompanies.Thereisproblemoflowdegreeofandpoorheseapplications.Asthecoreaugmentedrealitytechnology,trackingregistrationalgorithmdeterminesthefinaleffect.Thecommonlyusedtrackingregistrationalgorithmistime-consumingandcausestheaccuracytodecreaseduetoimageblurringduringthemovement.Basedonthis,prstudiesthetrackingregistrationalgorithm, stheimprovedalgorithmtoaugmentedrealitysystem,anddesignsandimplementsanon-marker-basedvirtualhomelayoutsystem.ofall,thisthesisinvestigatesthedevelopment usofaugmentedtechnologyathomeandabroad,yzesitsapplicationfields.Throughofvarioustrackingregistrationmethods,combinedwiththeapplicationscenariooflayout,theoverallsystemdesignwasdesigned.Accordingtorequirements,thesystemothreelayers,includinguserlayer,businesslogiclayer,andnetworkThekeytrackingmatchingmoduleandvirtualrealitymoduleinaugmentedaresedatthebusinesslogicThen,thisyzesandstudiesthetrackingregistrationalgorithm.Inordersolvetheproblemofimageedgeinformation heestablishmentoflinearspace,KAZEalgorithmyzedinthisthesis.Throughtheimprovementofalgorithm,itsolvesthecomplexandtime-consumingproblemsofthealgorithm.Atsametime,correspondingoptimizationsaremadeformobiletoimproveoperatingefficiencyofthesoftware.Throughtheresearchofturemethod,theaccurateofvirtualinformationandrealscenesoperatingefficiencyofthesoftware.Throughtheresearchofturemethod,theaccurateofvirtualinformationandrealscenesisFinally,thedesignand ionofvariouspartsofthesystem.descriptionoftheplatformconstructionwasgiven.eddesignionofvariousfunctionalmoduleswerecarriedout,includingtheandmatchingmodule,thevirtualmodule,thecommunitysharingmodule,egrationmodule,theusereractivecommunicationmoduleanddatastoragemodule.Inordertoverifytheperformanceofthehomefurnishingsystem,reasonabletestplanwasdesignedandthesystemwastestedyzed.Thetestttheworkhisthesissatisfiestheexpected目摘 目 圖 表 注釋目摘 目 圖 表 注釋 1緒 的背景和意 增強(qiáng)現(xiàn)實(shí)的應(yīng)用領(lǐng)域及國內(nèi)外發(fā)展現(xiàn) 增強(qiáng)現(xiàn)實(shí)應(yīng)用領(lǐng) 國內(nèi)外發(fā)展現(xiàn) 2內(nèi) 組織結(jié) 系統(tǒng)總體設(shè)計(jì)方 系統(tǒng)需求分 增強(qiáng)現(xiàn)實(shí)關(guān)鍵問題分 系統(tǒng)功能需求分 系統(tǒng)性能需求分 系統(tǒng)總體設(shè)計(jì)方 系統(tǒng)拓?fù)浣Y(jié)構(gòu)設(shè) 系統(tǒng)軟件總體結(jié)構(gòu)設(shè) 系統(tǒng)軟件總體數(shù)據(jù)流 開發(fā)工具的分析與選 移動(dòng)操作系 圖像處理 2.4.23D渲染引 V3本章小 ...................................................................方 方 方 KAZE匹配算 KAZE特征檢測算法分3本章小 ...................................................................方 方 方 KAZE匹配算 KAZE特征檢測算法分 KAZE算法的改 算法改進(jìn)前后性能對 針對移動(dòng)端的算法優(yōu) 攝像機(jī)姿態(tài)定位及計(jì) 本章小 系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí) 系統(tǒng)總體設(shè) 44.2搭 搭建NDK編譯環(huán) 原圖像格式處 匹配模塊設(shè) 自然特征點(diǎn)類結(jié)構(gòu)設(shè) 移動(dòng) 匹 虛實(shí)融合模 模型導(dǎo) 模型動(dòng)態(tài)加 模型交 家具布置軟件的設(shè)計(jì)與實(shí) 增強(qiáng)現(xiàn)實(shí)效 用戶管 社 交互通信模 模 數(shù)據(jù)庫的總體設(shè) 數(shù)據(jù)庫操 5本章小 系統(tǒng)測試與結(jié)果分模 數(shù)據(jù)庫的總體設(shè) 數(shù)據(jù)庫操 5本章小 系統(tǒng)測試與結(jié)果分 測試方案分析與選 測試方法選 測試流程設(shè) 測試環(huán)境搭 功能測 5.3.1家具模型加 模型交 用戶管理模 模 性能測 效果測 模型擺放效果測 系統(tǒng)流暢度測 5.5本章小 6總結(jié)與展 全文總 問題與展 參考文 致 攻 學(xué)位期間從事的科研工作及取得的成 圖1.1 圖1.2AR教 1.3.................................................................................................................圖圖1.1 圖1.2AR教 1.3.................................................................................................................圖1.4AR醫(yī) 圖1.5AR導(dǎo)航及生活服 圖1.6增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí) 圖1.7PTAM算法和DTAM算法定位效 圓明園數(shù)字重 系統(tǒng)用例 系統(tǒng)拓?fù)浣Y(jié)構(gòu) 系統(tǒng)結(jié)構(gòu) 系統(tǒng)數(shù)據(jù)流 流 效 流 自然特征點(diǎn)描 空間的區(qū) 圖3.6KAZE檢測流 圖3.7KAZE構(gòu)造非線性尺度空 圖3.8尺度空間中的特征點(diǎn)檢 圖3.9檢測的特征點(diǎn)效 特征描述向 不同灰度分布的圖像 改進(jìn)后算法的特征描 改進(jìn)后算法匹配效 消除誤匹配后匹配結(jié) 測試圖像匹配效 改進(jìn)前后算法效率對 不同特征點(diǎn)個(gè)數(shù)運(yùn)行時(shí)間變測試圖像匹配效 改進(jìn)前后算法效率對 不同特征點(diǎn)個(gè)數(shù)運(yùn)行時(shí)間變 不同特征點(diǎn)的匹配 各坐標(biāo)系之間變換關(guān) 棋盤格標(biāo)定 效 圖4.1系統(tǒng)總體框 圖4.2移動(dòng)端增強(qiáng)現(xiàn)實(shí)流 圖4.3KAZE算法類結(jié) 匹配流 識(shí)別序列 圖4.6Unity3D開發(fā)界 圖4.7模型加載流 圖4.8Unity3D工程導(dǎo) 圖4.9生成標(biāo)志圖像流 場景初始 界面操作序列 幫助信 用戶管理流程 社 流程 線通 測試環(huán)境網(wǎng)絡(luò)拓?fù)浣Y(jié) 不同家具模型顯示效 不同平面模型加 模型交 用戶登錄測 賬 測 修改測 X圖5.8裝扮信息上傳測 圖5.9圖5.8裝扮信息上傳測 圖5.9社區(qū)瀏覽測 不同區(qū)域匹配結(jié)果測 效 模型最大移動(dòng)距 模型失真和位置偏 圖5.14Android流暢度測 圖5.15CPU占用 表方法對 表方法對 系統(tǒng)性能要 匹配性能要 體系架構(gòu)比 圖像處理函數(shù)庫對 表2.63D渲染引擎對 算法改進(jìn)前后匹配效 干擾條件下匹配 不同尺 匹配結(jié) 交互方式描 觸摸事件定 虛擬家居布置系統(tǒng)數(shù)據(jù)庫表匯 表4.5ARhome_Users表結(jié)構(gòu)說 表4.6ARhome_Furniture表結(jié)構(gòu)說 表4.7ARhome_scheme表結(jié)構(gòu)說 表4.8ARhome_Picture表結(jié)構(gòu)說 表4.9DBHandler類的具體設(shè) 兩種測試方法分析與對 測試環(huán) 匹配效果測試數(shù) 模型顯示效 用戶最大移動(dòng)距 模型穩(wěn)定性測 系統(tǒng)運(yùn)行時(shí) 注釋AugmentedRealitySimultaneousLocalizationandParallelTrackingandDenseTracking注釋AugmentedRealitySimultaneousLocalizationandParallelTrackingandDenseTrackingand itioningSystemCScale-invariantfeaturetransformSpeededUpRobustFeaturesAdditiveOperatorSplittingFastExplicitRandomSampleConsensus，隨機(jī)抽樣一致算法LocalDifferenceBinary，局部差分二進(jìn)制K-NearestNeighbor，KCentralsingNativeDevelopmentKit，本地開發(fā)工具包Kanade-Lucas-TomasiTracking111.1過，111.1過，1.的戶1.1(a)ARAR(a)AR(b)AR圖1.12.AR1.的戶1.1(a)ARAR(a)AR(b)AR圖1.12.AR教211.2ARARAR識(shí)字。在對幼兒進(jìn)行傳統(tǒng)教(b)AR1.2AR3.11.2ARARAR識(shí)字。在對幼兒進(jìn)行傳統(tǒng)教(b)AR1.2AR3.1.3(a)2016(a)Pokemon1.34.AR醫(yī)31出1.4AR5.AR導(dǎo)航及生活A(yù)R地1出1.4AR5.AR導(dǎo)航及生活A(yù)R地AR1.5(a)所示，AR(a)AR(b)AR1.5AR411.2.21968Sutheland教授就研制出了第一臺(tái)增強(qiáng)現(xiàn)實(shí)設(shè)備[5]了“增強(qiáng)現(xiàn)實(shí)”概念[6]1996[7]1.611.2.21968Sutheland教授就研制出了第一臺(tái)增強(qiáng)現(xiàn)實(shí)設(shè)備[5]了“增強(qiáng)現(xiàn)實(shí)”概念[6]1996[7]1.6 理工大學(xué)的[8]2003SLAM基礎(chǔ)上 大學(xué)的Klein和PTAM算法[9]SLAMPTAM算法在室內(nèi)小范圍場景內(nèi)對相機(jī)的定位效果比SLAMDTAM算法[10]be和Davison511.7PTAM算法和DTAM后就可以欣賞到圓明園11.7PTAM算法和DTAM后就可以欣賞到圓明園雄偉壯觀的景象。電子科技大學(xué) [12]等人實(shí)現(xiàn)了基和1.861阿里、360， 在自己的地圖產(chǎn)品中提供了AR導(dǎo)航服務(wù)用戶在使公司都在增強(qiáng)現(xiàn)實(shí)領(lǐng)域嶄露頭角，像亮風(fēng)臺(tái)推出了HiAREasyAR開 ，利用這些開1.32.1阿里、360， 在自己的地圖產(chǎn)品中提供了AR導(dǎo)航服務(wù)用戶在使公司都在增強(qiáng)現(xiàn)實(shí)領(lǐng)域嶄露頭角，像亮風(fēng)臺(tái)推出了HiAREasyAR開 ，利用這些開1.32.3.KAZE4.5.71 KAZE，81 KAZE，822總體設(shè)計(jì)方方本必須要解決增強(qiáng)現(xiàn)實(shí)中關(guān)鍵的三 [13]問題。三技術(shù)[14]的注2.1922總體設(shè)計(jì)方方本必須要解決增強(qiáng)現(xiàn)實(shí)中關(guān)鍵的三 [13]問題。三技術(shù)[14]的注2.19 22.學(xué)度不高，必須結(jié)合其他數(shù)據(jù)才能實(shí)現(xiàn)精準(zhǔn)定位。10方，2.1.222.學(xué)度不高，必須結(jié)合其他數(shù)據(jù)才能實(shí)現(xiàn)精準(zhǔn)定位。10方，場景獲特征匹<<包含<<包含匹<<包含室內(nèi)增強(qiáng)現(xiàn)實(shí)<<包含目<<包含虛實(shí)融<<包含家具模型渲染<<包含移<<包含登<<包含<<包含<<包含家具模型控制用戶管<<包含旋<<包含縮22.1場景獲特征匹<<包含<<包含匹<<包含室內(nèi)增強(qiáng)現(xiàn)實(shí)<<包含目<<包含虛實(shí)融<<包含家具模型渲染<<包含移<<包含登<<包含<<包含<<包含家具模型控制用戶管<<包含旋<<包含縮修布置信息瀏覽<<包含<<包含<<包含社布置信息上傳布置信2.1，用戶管理功能是為了實(shí)現(xiàn)用戶的個(gè)性化操作，加入登 功能對用戶信2AR2.1.31.良好的用戶體，2.系統(tǒng)流暢2.22.2匹配準(zhǔn)確2AR2.1.31.良好的用戶體，2.系統(tǒng)流暢2.22.2匹配準(zhǔn)確22.34.良好的家具模型的B/SC/S2.42.422.34.良好的家具模型的B/SC/S2.42.4B/SB/S低的問題難以滿足增強(qiáng)現(xiàn)實(shí)軟件的性能要求[17]C/S架構(gòu)進(jìn)2.2所示。框缺優(yōu)2Web服務(wù) 數(shù)據(jù)庫服務(wù)4G信WifI信2.2的2Web服務(wù) 數(shù)據(jù)庫服務(wù)4G信WifI信2.2的2.3.221.UIUIARAR2.21.UIUIARAR2. 通網(wǎng)絡(luò) 業(yè)務(wù)邏輯數(shù)數(shù)用戶23.Messenger信使完成線程之間的數(shù)據(jù)傳遞，同時(shí)，UIMessenger2.42.423.Messenger信使完成線程之間的數(shù)據(jù)傳遞，同時(shí)，UIMessenger2.42.42YUV420SPRGB2YUV420SPRGB 看到IOSAndroid兩大操作系統(tǒng)。AndroidAndroidJava語言開發(fā)，而CC++編寫，在開發(fā)時(shí)無法直接調(diào)用。但是可JNI技術(shù)實(shí)現(xiàn)對底層算法的間接調(diào)用。發(fā)者提供了大量的工具包和手冊。IOSObjective-Android效率高。IOS的缺點(diǎn)就是開發(fā)周期長，難度大并且開發(fā)成本高。Android22.5OpenCV[20]OpenCV對圖像進(jìn)行處理。OpenCV強(qiáng)大的計(jì)算機(jī)視覺算法庫并且具有良好的 性，雖然主要采用C和C++語進(jìn)行開發(fā)，但也有很多其他語言的接口。在OpenCVAPIJNI2.4.23D22.5OpenCV[20]OpenCV對圖像進(jìn)行處理。OpenCV強(qiáng)大的計(jì)算機(jī)視覺算法庫并且具有良好的 性，雖然主要采用C和C++語進(jìn)行開發(fā)，但也有很多其他語言的接口。在OpenCVAPIJNI2.4.23DOpenGL適的渲染工具能夠完整的保留模型的細(xì)節(jié)，提高顯示質(zhì)量[21]2.52.63D跨渲染效果極跨C和C++CWindows支持好2采用Unity3DUnity3D2.52采用Unity3DUnity3D2.52233布置算流的每幀圖像進(jìn)行實(shí)時(shí)的處理在實(shí)際使用 場景環(huán)境往與算法進(jìn) 3.1[22]然算法復(fù)雜，但是準(zhǔn)確率高并且穩(wěn)定性好[23]，不易受光照和遮擋等環(huán) 的注3.1.133布置算流的每幀圖像進(jìn)行實(shí)時(shí)的處理在實(shí)際使用 場景環(huán)境往與算法進(jìn) 3.1[22]然算法復(fù)雜，但是準(zhǔn)確率高并且穩(wěn)定性好[23]，不易受光照和遮擋等環(huán) 的注圖圖像二值角點(diǎn)提輪廓識(shí)圖像匹3.1現(xiàn)實(shí)增矩陣變33.23.333.23.33自然場景圖像特征點(diǎn)提特征點(diǎn)處理特征點(diǎn)描述圖像匹3.3 都可以進(jìn)行特征提取。SIFT和SURF是兩種典型的基于自然特征注特SIFT，改進(jìn)后的運(yùn)行速度快于SURFSIFT相似，但在特征提取和描述的方式上有區(qū)別。SURF算3自然場景圖像特征點(diǎn)提特征點(diǎn)處理特征點(diǎn)描述圖像匹3.3 都可以進(jìn)行特征提取。SIFT和SURF是兩種典型的基于自然特征注特SIFT，改進(jìn)后的運(yùn)行速度快于SURFSIFT相似，但在特征提取和描述的方式上有區(qū)別。SURF算法擁有更好的性能在生成描述向量時(shí)向量的維數(shù)低于SIFT，因此計(jì)算量較少。SURFSIFT性[28]3.4(a)3.4(b)SIFTSURF（a）SIFT（b）SURF3.4現(xiàn)實(shí)增矩陣變33.2KAZE3.2.1KAZE眼睛在觀測場景時(shí)的真實(shí)情況，圖像像素會(huì)根據(jù)尺度的增大而降低[29]SIFTSURFOL33.2KAZE3.2.1KAZE眼睛在觀測場景時(shí)的真實(shí)情況，圖像像素會(huì)根據(jù)尺度的增大而降低[29]SIFTSURFOL2012KAZE[31]3.533.5KAZE片信息，解決了構(gòu) 尺度空間時(shí)圖像精度缺失的問題。KAZE算法相比SURFKAZE3.6開結(jié)3.6KAZEKAZE33.5KAZE片信息，解決了構(gòu) 尺度空間時(shí)圖像精度缺失的問題。KAZE算法相比SURFKAZE3.6開結(jié)3.6KAZEKAZE算法中最重要的內(nèi)容就是非線性尺度空間的建立[32]致圖像分辨率逐層降低。KAZE3.7KAZE構(gòu)造非線性尺度空間的計(jì)算一階微分的斯確定主方獲取特征極大值尺度空間3開結(jié)3.7KAZEKAZE算法采用各向異性擴(kuò)散的方式建立尺度空間[33]近邊緣處擴(kuò)散的較慢，因此可以充分保留圖像的邊緣信息。KAZEHessianHessian上進(jìn)行歸一化處理，在33的特征點(diǎn)。Hessian陣是一個(gè)多元函數(shù)的二階偏導(dǎo) 的方陣，描述了函數(shù)的局部曲率[34] =2(3開結(jié)3.7KAZEKAZE算法采用各向異性擴(kuò)散的方式建立尺度空間[33]近邊緣處擴(kuò)散的較慢，因此可以充分保留圖像的邊緣信息。KAZEHessianHessian上進(jìn)行歸一化處理，在33的特征點(diǎn)。Hessian陣是一個(gè)多元函數(shù)的二階偏導(dǎo) 的方陣，描述了函數(shù)的局部曲率[34] =2(LLL2xx 其中,——各尺度參數(shù)iLxy——Lxx——Lyy——(3.2)2LL(x) KAZE算法的極值點(diǎn)查找一般在大小為33的窗口內(nèi)進(jìn)行[35]39927求解非線性偏微分方程得到尺度空間的所有圖像直方圖輸入圖33.83.9KAZE33.83.9KAZE3.9KAZE算法中，特征點(diǎn)主方向根據(jù)局部圖像結(jié)構(gòu)確定[36]。如果特征點(diǎn)的尺度參數(shù)為i半徑為6i的圓內(nèi)確定方向內(nèi)確定特征方向通過計(jì)算圓內(nèi)特征點(diǎn)的一階微分值Ly3成一個(gè)向量，方向由圓心向外。再使用一個(gè)60°.2KAZEKAZE能直接拿來使用 對算法的檢測階段描述階段和匹配階段進(jìn)行相應(yīng)的改進(jìn)1示擴(kuò)3成一個(gè)向量，方向由圓心向外。再使用一個(gè)60°.2KAZEKAZE能直接拿來使用 對算法的檢測階段描述階段和匹配階段進(jìn)行相應(yīng)的改進(jìn)1示擴(kuò)AOSGreWeIligWeicket2013FED數(shù)值化方法[37]。通過快速顯示擴(kuò)Ldiv(c(x,y,t)——3L——t——c(x,yt)——c(x,yt3.4c(x,y,t)g(L(x,y,3L——t——c(x,yt)——c(x,yt3.4c(x,y,t)g(L(x,y,t)L——g——gg1g2/1式中，——FEDNm2j1j2cos24m式中，max——迭代FED方法將偏微分方程(3.3)A(L 式中，——A(Li)——圖像的傳導(dǎo)矩陣3jj,n-I3jj,n-Ii(o,s) 在傳導(dǎo)擴(kuò)散 以時(shí)間t進(jìn)行迭代，每次迭代時(shí)長 濾波的標(biāo)準(zhǔn)差卷積時(shí)，標(biāo)準(zhǔn)差跟時(shí)間t的關(guān)系為t2/2數(shù)i與時(shí)間t1t 2ii2根據(jù)式(3.10)的濾波后，通過對同組中其它層圖像進(jìn)行濾波。修改對比度因子，就可以依次OS2KAZESURFSURFLDB01這兩個(gè)數(shù)值描述特征向量[39]。相比于LDB33.11分這三種圖像塊。LDB xpyqI(x,x,p——33.11分這三種圖像塊。LDB xpyqI(x,x,p——q——x,y)——I(x,y)——C(m10,m01m00假設(shè)特征點(diǎn)的位置為G，則將描述子的主方向定義為向量GC的方向，yI(x,y)tan(m,m)tan1x,xI(x,y) x,3.1233.123匹33.123匹KAZELDBLDB01KNN算法對匹配結(jié)果進(jìn)行優(yōu)化。KNN算法是數(shù)據(jù)挖掘中的一種簡單方法，用來對數(shù)據(jù)分類果[41]，匹配時(shí)，K取2，對每一個(gè)匹配點(diǎn)33.134匹對RANSAC算法[42]33.134匹對RANSAC算法[42]CPU為CPU為英特爾i5-65003.20GHz顯卡為NVIDIAGeForceGTX1060存為8.00GB的PC上運(yùn)行得到。操作系統(tǒng)為Windows10，開發(fā)工具為VS2015IDE，并采用Opencv2.4.12圖像處理庫。KAZE3.153.1533.13.16匹配33.13.16匹配 本文算 實(shí)驗(yàn)次abKAZE耗時(shí)AKAZE耗時(shí)耗時(shí)33.163.16可以看出，經(jīng)過改進(jìn)和優(yōu)化，算法能很好的進(jìn)行特征點(diǎn)檢測與匹KAZEAKAZE算法均有下降，但穩(wěn)定性較AKAZEAKZE算法更短。63.16可以看出，經(jīng)過改進(jìn)和優(yōu)化，算法能很好的進(jìn)行特征點(diǎn)檢測與匹KAZEAKAZE算法均有下降，但穩(wěn)定性較AKAZEAKZE算法更短。3.23.221 0 33.33.3 3.3KAZE1s1M。用33.33.3 3.3KAZE1s1M。用10中為100,200,3003.17原 大耗時(shí)33.17300的提取時(shí)間比特征點(diǎn)數(shù)目為100多了將近500ms3.23.1833.17300的提取時(shí)間比特征點(diǎn)數(shù)目為100多了將近500ms820090%匹配總運(yùn)行時(shí)間 100特征 200特征 300特征 實(shí)驗(yàn)次0位置 位置 位置 32002.(2)ptr(3)CPU3.4過32002.(2)ptr(3)CPU3.4過就能實(shí)現(xiàn)從世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換了[43]3.193.19剛體變世界坐標(biāo)攝像機(jī)坐標(biāo)系二次轉(zhuǎn)圖像坐標(biāo)像素坐標(biāo)3(xyz(u,v)f0u0 wx TywKTyw3(xyz(u,v)f0u0 wx TywKTywPywSvfv011dwwwy111 10K——f——相機(jī)的焦u0v0光學(xué)中dx——udy——vS——K的值只跟攝像機(jī)焦距，光心等內(nèi)部參數(shù)有關(guān)，也稱為攝像機(jī)內(nèi)參。知道了攝像機(jī)的內(nèi)參就可以根據(jù)圖像變換求解P，求得參數(shù)P就能實(shí)現(xiàn)對任意目標(biāo)實(shí)現(xiàn)K的過程，稱為相機(jī)的標(biāo)定。本文使用 使用方形棋盤格作為標(biāo)3.20KAZEKAZEKAZEKAZE3344的詳細(xì)設(shè)計(jì)與實(shí)4.14.1增強(qiáng)現(xiàn)實(shí)幀目標(biāo)圖像（續(xù)幀否融否數(shù)要是家具模信用戶信是數(shù)據(jù)庫服4.1AR標(biāo)志圖44的詳細(xì)設(shè)計(jì)與實(shí)4.14.1增強(qiáng)現(xiàn)實(shí)幀目標(biāo)圖像（續(xù)幀否融否數(shù)要是家具模信用戶信是數(shù)據(jù)庫服4.1AR標(biāo)志圖匹成KAZEKAZE模型渲其它功能模44.2本AndroidAndroid4.2.1搭建NDKCC++Java44.2本AndroidAndroid4.2.1搭建NDKCC++JavaAndroidNDKNDKAndroidC/C++eclipseNDK1.NDKndk-build2.EclipseNDKWindow->NDKNDKLocationNDK-C++JavanativejavahJava類的.hNDKC++代碼編譯生成.soJavaSystem.loadLibrary方法載入動(dòng)態(tài)庫。JavaC++4.2.2AndroidNDK:CouldnotfindapplicationprojectdirectoryAndroidNDK:PleasedefinetheNDK_PROJECT_PATHvariabletopo toit.E:\AndroidNDK\android-ndk-r9d\build/core/build-local.mk:148:***AndroidNDK:Aborting4AndroidYUV420SPRGBYUV420SP（R（G4AndroidYUV420SPRGBYUV420SP（R（GRY1.4075(VGY0.3455(U128)0.7169(VBY1.779(UV算時(shí)直接通過查表獲得結(jié)果。RB256*256*256YV4256*256RGBRGBY 匹配模塊完成下一步處理KAZEKAZE方式進(jìn)行目 難以滿足實(shí)時(shí)性要求[44]。因此，本文mCamera.setPreviewCallback(newPreviewCallback()){publicvoidonPreviewFrame(byte[] amera}4KLT4.2圖像疊加坐標(biāo)變換攝像機(jī)標(biāo)定KAZE4.3++convertPo4.3KAZE+convertPo KLT3D虛實(shí)配準(zhǔn)檢測關(guān)鍵點(diǎn)真實(shí)場景真4KLT4.2圖像疊加坐標(biāo)變換攝像機(jī)標(biāo)定KAZE4.3++convertPo4.3KAZE+convertPo KLT3D虛實(shí)配準(zhǔn)檢測關(guān)鍵點(diǎn)真實(shí)場景真 4kaze_functionsKAZE鍵。_functions進(jìn) 濾波，計(jì)算圖像的梯度直方圖等。kaze類對特征提取和描述的具實(shí)現(xiàn)進(jìn)行了封裝。kaze_featureskazeCVjavac++java實(shí)現(xiàn)?，F(xiàn)4.3.2KAZEKLT。4kaze_functionsKAZE鍵。_functions進(jìn) 濾波，計(jì)算圖像的梯度直方圖等。kaze類對特征提取和描述的具實(shí)現(xiàn)進(jìn)行了封裝。kaze_featureskazeCVjavac++java實(shí)現(xiàn)?，F(xiàn)4.3.2KAZEKLT。4.4所示是配 是失4，KLT當(dāng)4.5()initKLT((返回位置信息onPreviewFrame(update(返回RGBupdateCorners( sFrame(tracking(以上序列圖的具體流程為：ARActivity界面由其它界面跳轉(zhuǎn)進(jìn)入，并調(diào)用 4，KLT當(dāng)4.5()initKLT((返回位置信息onPreviewFrame(update(返回RGBupdateCorners( sFrame(tracking(以上序列圖的具體流程為：ARActivity界面由其它界面跳轉(zhuǎn)進(jìn)入，并調(diào)用 AR.cppAR.cpp4B()AndroidYUVRGBKAZE態(tài)值的變化對矩形框內(nèi)的圖像進(jìn)行光 。sFrame()E4B()AndroidYUVRGBKAZE態(tài)值的變化對矩形框內(nèi)的圖像進(jìn)行光 。sFrame()E狀態(tài)值返回，ARActivityARActivitySE知前臺(tái)界面完成顯示和模型渲染等工作。ARActivitysFrame()4.4下實(shí)現(xiàn)。Unity語言開發(fā)，C#語言的安全級(jí)很高，所有代碼全部要交給.NetFramwork Epro s_Image(ucharimgData[]){if(istracking==false){ s_1,descriptors_1); s_2,good_matches.push_back(matches[i]);//完成匹配istracking=true; }cv::calcOpticalFlowPyrLK(prevPyr,nextPyr,prev_keyPo s,curr_keyPo s,track_s err,cv::Size(21,21),3);estimateTransformToCamera(m_corners_3dcurr_cornersm_camera_matrix,m_dist_coeff,r,t);} returnWORKING;}4C#C++低，由于其可讀性高和使用簡單的優(yōu)點(diǎn)廣泛應(yīng)用在客戶端軟件開發(fā)中。本文在家具渲染時(shí)需要調(diào)用C++編譯生成的庫，C#C++。C++常用的基本數(shù)據(jù)類型4C#C++低，由于其可讀性高和使用簡單的優(yōu)點(diǎn)廣泛應(yīng)用在客戶端軟件開發(fā)中。本文在家具渲染時(shí)需要調(diào)用C++編譯生成的庫，C#C++。C++常用的基本數(shù)據(jù)類型C++CC#數(shù)。這些函數(shù) 時(shí)要用特殊結(jié)構(gòu)將4.4.1Unity3D3D運(yùn)行效率。并且由于其簡單易操作，可以快速的實(shí)現(xiàn)3D 置和狀態(tài)的變化4.64.6Unity3D4UnityScene模型。在導(dǎo)入 ，F(xiàn)BX能夠保留模型的貼圖信息和材質(zhì)球的屬性，充分保模型開始的特性。FBXUnity場景的方式十分簡單，只需將工程文件夾4.4.2R和平移向量T矩陣，T934UnityScene模型。在導(dǎo)入 ，F(xiàn)BX能夠保留模型的貼圖信息和材質(zhì)球的屬性，充分保模型開始的特性。FBXUnity場景的方式十分簡單，只需將工程文件夾4.4.2R和平移向量T矩陣，T93float收這兩個(gè)變量。Unity3D中，所有三維物體都有transform和 ion和兩個(gè)屬性4.7否開圖像處是否加結(jié)是4.7為了保持渲染的實(shí)時(shí)性，上述過程執(zhí)行在Update()方法內(nèi)。Update()0.02sC++Unity3DsFrame()R、Toutprivates icextern s_Image(byte[]img_Data，outfloat[]Ro ionT，outfloat[]顯示模設(shè)置模型參數(shù)44.4.3著較高的要求在進(jìn)行軟件設(shè)計(jì)時(shí)首先分析用戶的使 結(jié)合家具布置場景4.14.1Unity3DPhysics.Raycast()44.4.3著較高的要求在進(jìn)行軟件設(shè)計(jì)時(shí)首先分析用戶的使 結(jié)合家具布置場景4.14.1Unity3DPhysics.Raycast()RaycastHit進(jìn)行射線檢測時(shí)，必須給待檢測物體加上collider組件，即碰撞器。RaycastHit.colliderUnity3DTransform1.Translate()模型沿自身坐標(biāo)系 42. 3.localScalex，y，z4.ro ion屬性：定義模型的旋轉(zhuǎn)角度，可以改變模型與三個(gè)坐標(biāo)軸的夾角。Input42. 3.localScalex，y，z4.ro ion屬性：定義模型的旋轉(zhuǎn)角度，可以改變模型與三個(gè)坐標(biāo)軸的夾角。Input4.24.2置 4.2由于軟件最終要運(yùn)行在移動(dòng)端，所以需要將的工程移植到Unity4.84.8Unity3DInput.touchCount>特4.9開是生失否是結(jié)4.9息特4.9開是生失否是結(jié)4.9息否4完成對KAZE300ms，對前三幀圖像進(jìn)行特征檢測，總處理時(shí)間小于1sARAR特4.104完成對KAZE300ms，對前三幀圖像進(jìn)行特征檢測，總處理時(shí)間小于1sARAR特4.104.10從上圖可以看到，AR4顯示幫助面板顯示家具列表家具模型4.11鈕對應(yīng)的功能進(jìn)行描述，并顯示出控制家具擺放的不同手勢操作，效果如圖4.12所示。進(jìn)入AR界面之后，執(zhí)行initView方法完成按鈕圖標(biāo)的顯示。執(zhí)行showFurnitureList()方法顯示家具列表，選中后加載模型。點(diǎn)擊幫助按鈕，執(zhí)行方法完成截圖，并進(jìn)入界面。在界面點(diǎn)擊上傳按鈕，調(diào)用AR4顯示幫助面板顯示家具列表家具模型4.11鈕對應(yīng)的功能進(jìn)行描述，并顯示出控制家具擺放的不同手勢操作，效果如圖4.12所示。進(jìn)入AR界面之后，執(zhí)行initView方法完成按鈕圖標(biāo)的顯示。執(zhí)行showFurnitureList()方法顯示家具列表，選中后加載模型。點(diǎn)擊幫助按鈕，執(zhí)行方法完成截圖，并進(jìn)入界面。在界面點(diǎn)擊上傳按鈕，調(diào)用AR44.123碼判 44.123碼判 UserInfoActivitybundle.putString()oldpsd4開用戶是否登錄否是否信息核對通過是否結(jié)更新成功4.134開用戶登否成否是結(jié)更新頁數(shù)據(jù)保存成功4.14返回成功消息是進(jìn)入家具布置場景選擇對應(yīng)模型瀏覽布置信息布置方案上傳進(jìn)入社 界修 成修改登查看用戶信息4開用戶是否登錄否是否信息核對通過是否結(jié)更新成功4.134開用戶登否成否是結(jié)更新頁數(shù)據(jù)保存成功4.14返回成功消息是進(jìn)入家具布置場景選擇對應(yīng)模型瀏覽布置信息布置方案上傳進(jìn)入社 界修 成修改登查看用戶信息獲取用戶信息信息核進(jìn)入用戶中心用戶登4按HTTPjsonjsonID 得到的json數(shù)據(jù)轉(zhuǎn)換為URL地址，再從服務(wù)listviewlistviewIDIDURLHTTP，時(shí)，會(huì)自動(dòng)截取包含家具模型的場 ，并根據(jù)協(xié)議將家具轉(zhuǎn)換為對應(yīng)的4.61UIhandler4.15消息處子線程4按HTTPjsonjsonID 得到的json數(shù)據(jù)轉(zhuǎn)換為URL地址，再從服務(wù)listviewlistviewIDIDURLHTTP，時(shí)，會(huì)自動(dòng)截取包含家具模型的場 ，并根據(jù)協(xié)議將家具轉(zhuǎn)換為對應(yīng)的4.61UIhandler4.15消息處子線程主線程主線程4.154的handleMessage()通過essage()Message程的handleMessage()UI匹配和網(wǎng)絡(luò)連接都放在子 執(zhí)行通過UI2．客戶端與服務(wù)器通HTTPURL的請求來獲取或上傳數(shù)據(jù)。通信協(xié)議是客戶端與服務(wù)器通信的關(guān)4的handleMessage()通過essage()Message程的handleMessage()UI匹配和網(wǎng)絡(luò)連接都放在子 執(zhí)行通過UI2．客戶端與服務(wù)器通HTTPURL的請求來獲取或上傳數(shù)據(jù)。通信協(xié)議是客戶端與服務(wù)器通信的關(guān)4.3功能模請求類對應(yīng)消用戶管登錄請請 社獲 消息列獲取用戶裝扮上傳裝扮信 tMessage/”+資模 4.4ARhome_Users4.5ID 、用。4.5ARhome_UsersARhome_Furniture4.64.6ARhome_Furniture 4.4ARhome_Users4.5ID 、用。4.5ARhome_UsersARhome_Furniture4.64.6ARhome_Furniture 本 ARhome_本 ARhome本 ARhome本 44.7ARhome_schemeIDID4.8ARhome_Picture4.7.2JavaBaseConnectivity,JDBC)接口與數(shù)據(jù)庫建立連接對數(shù)據(jù)庫進(jìn) 和寫入操作ID，DBHandler、以及讀和寫操作。DBHandler4.94.9DBHandlerDBHandler_Connection(Stringurl,Stringuser,String44.7ARhome_schemeIDID4.8ARhome_Picture4.7.2JavaBaseConnectivity,JDBC)接口與數(shù)據(jù)庫建立連接對數(shù)據(jù)庫進(jìn) 和寫入操作ID，DBHandler、以及讀和寫操作。DBHandler4.94.9DBHandlerDBHandler_Connection(Stringurl,Stringuser,String4_Connection()truefalse2.getFurnitureInfor()方法：用于獲取家具的詳細(xì)信息。具體的需求需要根據(jù)sqlString類型的數(shù)據(jù)。3.getFurnitureAddr()4.getPictureAddr5.cture()6.saveSchemeTime()4_Connection()truefalse2.getFurnitureInfor()方法：用于獲取家具的詳細(xì)信息。具體的需求需要根據(jù)sqlString類型的數(shù)據(jù)。3.getFurnitureAddr()4.getPictureAddr5.cture()6.saveSchemeTime()。4.8 cture(String4455測試與結(jié)果了。5.1統(tǒng)軟件后期使用的可靠性和穩(wěn)定性[45]5.1能等55測試與結(jié)果了。5.1統(tǒng)軟件后期使用的可靠性和穩(wěn)定性[45]5.1能等容進(jìn)55.1.2對系統(tǒng)軟件各個(gè)功能模塊 對系統(tǒng)軟件界面 55.1.2對系統(tǒng)軟件各個(gè)功能模塊 對系統(tǒng)軟件界面 數(shù)據(jù)用客戶文件服務(wù)5.3AR5.3.11加到服務(wù)器 AR5.3.11加到服務(wù)器 5.21200WAndroid55.22.不同平面模型加55.22.不同平面模型加5.3同5.4同5.41.用戶登登錄和以游 登陸在使5.51.用戶登登錄和以游 登陸在使5.555.52行55.52行55.65.6修 55.65.6修 55.3.41.裝扮信按5.82.社區(qū)瀏 對應(yīng)ID55.3.41.裝扮信按5.82.社區(qū)瀏 對應(yīng)ID的家具模型。5。5.95.4進(jìn)1.匹配效果測5。5.95.4進(jìn)1.匹配效果測55.105.32.干擾條效5.11場特征點(diǎn)個(gè)匹55.105.32.干擾條效5.11場特征點(diǎn)個(gè)匹配abcd51005.40102010151005.40102010155.4.2 試測試的指標(biāo)主要有兩個(gè)用戶的移動(dòng)范圍和手勢操作時(shí)模型的穩(wěn)定性1.用戶移動(dòng)范55.4.2 試測試的指標(biāo)主要有兩個(gè)用戶的移動(dòng)范圍和手勢操作時(shí)模型的穩(wěn)定性1.用戶移動(dòng)范5.125方向和負(fù)方向5.55.5息，3.5m，2.模型的穩(wěn)定5.65.61122最大移動(dòng)距離 5方向和負(fù)方向5.55.5息，3.5m，2.模型的穩(wěn)定5.65.61122最大移動(dòng)距離 擬家具模型跟真實(shí)場景的融合當(dāng)系統(tǒng)卡頓時(shí)模型渲 一幀計(jì)算出的目標(biāo)擬家具模型跟真實(shí)場景的融合當(dāng)系統(tǒng)卡頓時(shí)模型渲 一幀計(jì)算出的目標(biāo)55.75.744.62ms，22，5.145.14Android55.75.744.62ms，22，5.145.14Android16160 0 未改進(jìn)KAZE算5s4512055ms16ms20，5s4512055ms16ms20，CPUCPU5.155.15CPU5.15CPU5.5CPU50357911131517192123252729313335373941434547 5566與展6.1，并將基于無標(biāo)志物 注1.2.KAZE蹤。KAZEKAZE。4.66與展6.1，并將基于無標(biāo)志物 注1.2.KAZE蹤。KAZEKAZE。4.。5.66.2經(jīng)驗(yàn)不足 時(shí)間1.SLAMSLAM增強(qiáng)現(xiàn)實(shí)的過程，3D66.2經(jīng)驗(yàn)不足 時(shí)間1.SLAMSLAM增強(qiáng)現(xiàn)實(shí)的過程，3D2.。參考文ComportAI,MarchandE,PressigoutM,etal.Real-TimeMarkerlessTrackingAugmentedReality:TheVirtualVisualServoingFramework[J].IEEEonVisualization&ComputerGraphics,2006,12(4):615-.[D].西安:電子科技大學(xué),參考文ComportAI,MarchandE,PressigoutM,etal.Real-TimeMarkerlessTrackingAugmentedReality:TheVirtualVisualServoingFramework[J].IEEEonVisualization&ComputerGraphics,2006,12(4):615-.[D].西安:電子科技大學(xué),Ruiz-RuizAJ,Lopez-De-TeruelPE,CanovasO.PracticalImage-EnhancedLBSARernationalConferenceonMobileandUbiquitousComputing,Networking,and.2013:460-.增強(qiáng)現(xiàn)實(shí)系統(tǒng) [D].西安:西安電子科技大學(xué),FiglM,BirkfellnerW,EdeC,etal.TheitforaHeadMountedMicroscopeUsedforAugmentedRealityVisualizationinComputerernationaliumonMixedandAugmentedReality.ComputerSociety,SollervallH.Augmentedrealityassupportfordesigningalearningactivityconcerningthemathematicalconceptofscale[J].2010.RohsM.Marker-BasederactionforHandheldAugmentedGames[J].JournalofVirtualReality&Broadcasting,2007,DavisonAJ,MayolWW,MurrayDW.Real-timelocalizationandwearableactive[C]//ernationaliumonMixedAugmentedReality.IEEEComputerSociety,KleinG,MurrayD.ParallelTrackingandforSmallARIEEEandernationaliumonMixedandAugmentedReality.ComputerSociety,2007:1- beRA,LovegroveSJ,DavisonAJ.DTAM:Densetrackingandinreal-time[C]//ernationalConferenceonComputer.,,等.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的圓明園景觀數(shù)字重現(xiàn)[J]..面向兒童讀物增強(qiáng)現(xiàn)實(shí)軟件系統(tǒng)設(shè)計(jì)與[D].成都:電子科技大[13]GuQ,JiangN.HybridVirtualandTrueRegistrationMethodBasedonFeature,,等.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的圓明園景觀數(shù)字重現(xiàn)[J]..面向兒童讀物增強(qiáng)現(xiàn)實(shí)軟件系統(tǒng)設(shè)計(jì)與[D].成都:電子科技大[13]GuQ,JiangN.HybridVirtualandTrueRegistrationMethodBasedonFeatureDetection[J].NaturalScienceJournalofHarbin[14]AppelM,NavabN.Registrationoftechnicaldrawingsandcalibratedforindustrialaugmentedreality[J].Machine&Applications,2002,報(bào)2000,20(5):544-大學(xué)HanQS,UniversityP.ResearchProgressonAndroidSecurity[J].JournalofSoftware,2016.ConwayJ,HillegassA,KeurC.iOSProgramming:TheBigNerdRanchGuideEdition)[M]//iOSProgramming:TheBigNerdRanchGuide.Addison-al,2016:365-[20]BradskiG.TheOpencvLibrary[J].DoctorJournal,2000,25(11):384-[21]陳文武.基于移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)家具布 [D].哈爾濱:哈爾濱理工學(xué)[J].電子學(xué)報(bào)2006,34(b12):2564-大學(xué), 才.基于人工標(biāo)識(shí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)配準(zhǔn)方法[J].現(xiàn)代電子技術(shù).基于移動(dòng)端的無標(biāo)識(shí)增強(qiáng)現(xiàn)實(shí)系 與開發(fā)[D]. : 交, , ,等..基于Android的增強(qiáng)現(xiàn)實(shí)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D].成都:.增強(qiáng)現(xiàn)實(shí)中三 算 [D]. : 技大學(xué),, .用于虛擬現(xiàn)實(shí)的 度電 系統(tǒng)[J]. 理工大學(xué)[25]ChenWJ,ChenCW,WangJ,etal.EffectiveRegistrationforMultipleUsersSystem[C]//ernationaliumonMixedandAug