Python圖像處理與機(jī)器視覺(jué)入門 課件 第22章 增強(qiáng)現(xiàn)實(shí)

圖像處理應(yīng)用技術(shù)李欽深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院科技樓1703D室1295254769@1增強(qiáng)現(xiàn)實(shí)增強(qiáng)現(xiàn)實(shí)技術(shù)是一種將虛擬信息融合到真實(shí)世界的技術(shù)，將計(jì)算機(jī)生成的文字、圖像、三維模型等虛擬信息模擬仿真后，應(yīng)用到真實(shí)世界中，兩種信息相互補(bǔ)充，從而實(shí)現(xiàn)對(duì)真實(shí)世界的效果增強(qiáng)。增強(qiáng)現(xiàn)實(shí)通過(guò)定位或者識(shí)別的方式來(lái)確定此刻觀察者的位置和視角，從而獲取相機(jī)的姿勢(shì)估計(jì)，通俗一點(diǎn)來(lái)說(shuō)就是確定觀察者的眼睛往哪個(gè)方向看。本項(xiàng)目主要關(guān)注基于標(biāo)記的增強(qiáng)現(xiàn)實(shí)背后用到的技術(shù)，來(lái)簡(jiǎn)單地實(shí)現(xiàn)在棋盤(pán)上的3D模型展示。2實(shí)驗(yàn)1相機(jī)矯正增強(qiáng)現(xiàn)實(shí)通常需要使用到攝像頭或者相機(jī)，而往往由于相機(jī)的內(nèi)源因素，鏡頭對(duì)平面上不同區(qū)域的放大率不同導(dǎo)致拍攝的圖像會(huì)出現(xiàn)幾何畸變，而這種畸變成都會(huì)從畫(huà)面中央往畫(huà)面邊緣逐漸遞增。由于畸變主要源自鏡頭本身的物理因素，所以在使用攝像頭之前首先對(duì)其進(jìn)行矯正是很有必要的。本實(shí)驗(yàn)旨在了解相機(jī)矯正的過(guò)程，并提供同一攝像頭下的照片作為實(shí)驗(yàn)素材，條件允許的話同學(xué)們也可以用其他攝像頭的數(shù)據(jù)完成實(shí)驗(yàn)。2實(shí)驗(yàn)1相機(jī)矯正步驟1讀取圖片 首先我們先讀取需要矯正的圖片，這里會(huì)用到Python自帶的glob模塊完成讀取一系列類似文件名的文件，同學(xué)們可以自行查看不同圖片。2實(shí)驗(yàn)1相機(jī)矯正步驟2設(shè)置目標(biāo)點(diǎn) 為了解決畸變模型，我們需要提供一些真實(shí)點(diǎn)以及其在圖片上的對(duì)應(yīng)點(diǎn)以便求解。由于三維時(shí)間真實(shí)點(diǎn)包含x,y,z軸，但是我們可以默認(rèn)所有棋盤(pán)上的真實(shí)點(diǎn)在一個(gè)平面上，只用考慮x,y軸的部分。通過(guò)mgrid來(lái)生成目標(biāo)點(diǎn)。2實(shí)驗(yàn)1相機(jī)矯正步驟3尋找圖像點(diǎn) 為了找到這些真實(shí)點(diǎn)對(duì)應(yīng)的圖像上的左邊點(diǎn)，我們需要用到OpenCV中的findChessboardCorners函數(shù)，指定網(wǎng)格的大小，從而獲得一個(gè)成功與否的返回值以及對(duì)應(yīng)的坐標(biāo)點(diǎn)。由于需要對(duì)每一張圖片進(jìn)行處理，且記錄是否存在合適的對(duì)應(yīng)網(wǎng)格點(diǎn)，這里需要用到for循環(huán)。另外我們也可以使用drawChessboardCorners來(lái)查看這些點(diǎn)的具體位置信息。2實(shí)驗(yàn)1相機(jī)矯正步驟4相機(jī)矯正矩陣 我們已經(jīng)獲取到足夠多的對(duì)應(yīng)點(diǎn)信息，這里可以用calibrateCamera直接完成相機(jī)的矯正，輸入真實(shí)點(diǎn)坐標(biāo)，圖像點(diǎn)的坐標(biāo)以及源圖像的大小。返回值我們主要關(guān)注相機(jī)矩陣mtx以及失真系數(shù)dist。步驟5矯正圖像 當(dāng)我們已經(jīng)獲取到相機(jī)的上述參數(shù)，便可以直接對(duì)該攝像頭下的畸變圖像進(jìn)行矯正了，這里需要使用undistort函數(shù)來(lái)輸入相機(jī)矩陣以及失真系數(shù)，最后可以看到明顯的差異，圖中的方格之間的連線明顯從曲線變?yōu)橹本€。大家可以嘗試對(duì)其他范例圖片進(jìn)行矯正。練習(xí)1實(shí)現(xiàn)相機(jī)矯正作答正常使用主觀題需2.0以上版本雨課堂主觀題10分2實(shí)驗(yàn)2姿勢(shì)估計(jì)在上一個(gè)實(shí)驗(yàn)中，我們已經(jīng)學(xué)習(xí)了如何對(duì)相機(jī)畸變進(jìn)行矯正，接下來(lái)我們需要完成姿態(tài)估計(jì)，即判斷目標(biāo)平面的位置以及方向，從而完成簡(jiǎn)單的投影過(guò)程。姿態(tài)估計(jì)同樣需要找到圖像的真實(shí)點(diǎn)以及對(duì)應(yīng)點(diǎn)，同時(shí)還需要在已知相機(jī)各種參數(shù)的情況下進(jìn)行，從而判斷圖像所處的姿態(tài)。本實(shí)驗(yàn)將使用上一個(gè)實(shí)驗(yàn)學(xué)習(xí)到的一些方法繼續(xù)完成姿態(tài)估計(jì)，并介紹一些簡(jiǎn)單的繪圖方法。2實(shí)驗(yàn)2姿勢(shì)估計(jì)步驟1獲取相機(jī)參數(shù) 由于處于同樣的攝像機(jī)下，所以參數(shù)條件需要保持一致，我們需要讀取上一個(gè)實(shí)驗(yàn)的相機(jī)矩陣參數(shù)以及失真系數(shù)。步驟2讀取圖像并尋找目標(biāo)點(diǎn) 類似相機(jī)矯正，我們需要真實(shí)點(diǎn)以及對(duì)應(yīng)的圖像點(diǎn)來(lái)幫助完成當(dāng)前圖像的姿態(tài)估計(jì)，這里用到的都是之前學(xué)到的函數(shù)。我們可以查看目標(biāo)點(diǎn)在圖像中的位置。2實(shí)驗(yàn)2姿勢(shì)估計(jì)步驟3姿態(tài)估計(jì) 這里我們將使用到solvePnPRansac函數(shù)來(lái)求解姿態(tài)，即尋找此時(shí)圖像的旋轉(zhuǎn)和平移參數(shù)。另外我們還需要使用到projectPoints找到一個(gè)小的坐標(biāo)軸對(duì)應(yīng)在此圖像中的投影點(diǎn),可以查看投影點(diǎn)的坐標(biāo)情況。步驟4繪出坐標(biāo)軸 最后我們使用OpenCV中自帶的畫(huà)圖功能來(lái)完成坐標(biāo)軸的繪制，這里會(huì)用到line函數(shù)繪出不同顏色的直線。注意這里并沒(méi)有對(duì)圖像進(jìn)行校正，當(dāng)然同學(xué)們可以自行嘗試在矯正后的圖像上繪出坐標(biāo)軸。2實(shí)驗(yàn)2姿勢(shì)估計(jì)步驟5繪出小方塊 當(dāng)然OpenCV的繪圖功能遠(yuǎn)不止直線，如果想嘗試?yán)L出更復(fù)雜一點(diǎn)的幾何體，需要更多的點(diǎn)和直線，以及使用drawContours來(lái)繪