數(shù)字媒體技術(shù)概論（融媒體版） 課件 3計(jì)算機(jī)視覺(jué)技術(shù)及應(yīng)用

第3講：計(jì)算機(jī)視覺(jué)技術(shù)及應(yīng)用數(shù)字媒體技術(shù)概論第3章：計(jì)算機(jī)視覺(jué)技術(shù)及應(yīng)用1計(jì)算機(jī)視覺(jué)的定義與發(fā)展2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用一、計(jì)算機(jī)視覺(jué)的定義§3.1計(jì)算機(jī)視覺(jué)的定義與發(fā)展計(jì)算機(jī)視覺(jué)是用計(jì)算機(jī)來(lái)看世界的科學(xué)。使用攝像機(jī)和計(jì)算機(jī)來(lái)代替人眼和人腦來(lái)觀察分析圖像和視頻，對(duì)其中的目標(biāo)進(jìn)行識(shí)別、跟蹤、測(cè)量。計(jì)算機(jī)視覺(jué)通過(guò)將圖像與其中的多維數(shù)據(jù)建立起聯(lián)系從而獲取更多的信息。計(jì)算機(jī)視覺(jué)是一門(mén)綜合性的工程學(xué)科，它包含了計(jì)算機(jī)科學(xué)、信號(hào)處理、物理學(xué)、應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、生物學(xué)、認(rèn)知科學(xué)等多種學(xué)科?！?.1計(jì)算機(jī)視覺(jué)的定義與發(fā)展二、計(jì)算機(jī)視覺(jué)的發(fā)展神經(jīng)生物學(xué)家DavidHubel和TorstenWiesel對(duì)視覺(jué)神經(jīng)的研究為計(jì)算機(jī)視覺(jué)奠定了基礎(chǔ)，Russell在同階段與其同學(xué)研制了第一臺(tái)數(shù)字圖像掃描儀，從此數(shù)字圖像處理迎來(lái)了開(kāi)端計(jì)算機(jī)視覺(jué)于這個(gè)階段正式投入了市場(chǎng)應(yīng)用20世紀(jì)50年代20世紀(jì)60年代麻省理工學(xué)院人工智能實(shí)驗(yàn)室提出了計(jì)算機(jī)視覺(jué)理論，成為了計(jì)算機(jī)視覺(jué)下一階段發(fā)展的重要框架理論20世紀(jì)70年代計(jì)算機(jī)視覺(jué)經(jīng)歷了漫長(zhǎng)的發(fā)展。從20世紀(jì)中期開(kāi)始，計(jì)算機(jī)視覺(jué)經(jīng)歷了從二維圖像到三維圖像再到視頻的不斷探知，算法也從簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)發(fā)展到深度學(xué)習(xí)。§3.1計(jì)算機(jī)視覺(jué)的定義與發(fā)展人們開(kāi)始致力于研究特征識(shí)別計(jì)算機(jī)視覺(jué)從理論走向了應(yīng)用20世紀(jì)80年代20世紀(jì)90年代21世紀(jì)初計(jì)算機(jī)視覺(jué)的發(fā)展走向了高潮21世紀(jì)10年代深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中被廣泛應(yīng)用三、計(jì)算機(jī)視覺(jué)相關(guān)學(xué)科§3.1計(jì)算機(jī)視覺(jué)的定義與發(fā)展圖像處理

指將圖像用計(jì)算機(jī)進(jìn)行分析，轉(zhuǎn)化為另一幅包含更多特征的圖像。模式識(shí)別（模式分類(lèi)）

指用計(jì)算機(jī)根據(jù)不同圖像中特征的不同進(jìn)行統(tǒng)計(jì)，劃分為不同的類(lèi)別。圖像理解指給計(jì)算機(jī)一張圖像，計(jì)算機(jī)不但能描述圖像本身，還可以對(duì)圖像內(nèi)的物體做出解釋?zhuān)芯繄D像中有哪些目標(biāo)，目標(biāo)之間有什么樣的關(guān)聯(lián)，圖像所處的場(chǎng)景是怎樣的。計(jì)算機(jī)視覺(jué)涉及的學(xué)科眾多，上述的幾種學(xué)科以及很多其他的學(xué)科都有著密切的關(guān)系，因此計(jì)算機(jī)視覺(jué)是一個(gè)極為復(fù)雜、研究領(lǐng)域極廣的學(xué)科。第3章：計(jì)算機(jī)視覺(jué)技術(shù)及應(yīng)用1計(jì)算機(jī)視覺(jué)的定義與發(fā)展2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)領(lǐng)域，它是通過(guò)對(duì)數(shù)據(jù)集或樣本庫(kù)進(jìn)行深層次的理解與學(xué)習(xí)，對(duì)圖像、視頻、文字、聲音等多個(gè)數(shù)據(jù)進(jìn)行研究。定義深度學(xué)習(xí)在搜索技術(shù)、機(jī)器翻譯、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、個(gè)性化推薦等多個(gè)領(lǐng)域的技術(shù)都發(fā)揮了極大的作用。應(yīng)用一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)研究?jī)?nèi)容基于卷積計(jì)算的神經(jīng)網(wǎng)絡(luò)系統(tǒng)（常稱(chēng)為卷積神經(jīng)網(wǎng)絡(luò)）基于多層神經(jīng)元的自編碼神經(jīng)網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)隨著對(duì)深度學(xué)習(xí)研究的深入化，科研人員逐漸將不同的方法和不同的訓(xùn)練步驟相結(jié)合，以達(dá)到更加優(yōu)秀的訓(xùn)練結(jié)果。與傳統(tǒng)的方法相比較，深度學(xué)習(xí)中設(shè)置了更多的參數(shù)模型，因此參與訓(xùn)練的數(shù)據(jù)量就更大，模型的訓(xùn)練難度就更大，但訓(xùn)練達(dá)到的效果會(huì)更好。一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)學(xué)習(xí)能力強(qiáng)覆蓋范圍廣，有較強(qiáng)的適應(yīng)性，可解決復(fù)雜問(wèn)題數(shù)據(jù)量越大，表現(xiàn)效果越好多平臺(tái)多框架兼容優(yōu)點(diǎn)受所需算力和數(shù)據(jù)規(guī)模過(guò)大的限制，難以在移動(dòng)設(shè)備上使用對(duì)硬件要求高使用困難，模型設(shè)計(jì)復(fù)雜對(duì)數(shù)據(jù)依賴(lài)性高，可解釋性不高，當(dāng)數(shù)據(jù)種類(lèi)不平均時(shí)會(huì)產(chǎn)生較大誤差缺點(diǎn)一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)

深度學(xué)習(xí)的本質(zhì)是人工神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)指的是具有一層及一層以上的隱含層的神經(jīng)網(wǎng)絡(luò)，通常用于對(duì)復(fù)雜的非線性系統(tǒng)進(jìn)行建模，其中常用的幾種網(wǎng)絡(luò)結(jié)構(gòu)如下：（1）CNN定義：NN是為了完成生物視知覺(jué)仿造任務(wù)而構(gòu)造的，是一種包含卷積計(jì)算且具備深度結(jié)果的前饋神經(jīng)網(wǎng)絡(luò)，可以用監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練應(yīng)用：可以對(duì)數(shù)據(jù)進(jìn)行平移不變的分類(lèi)，因此也稱(chēng)為平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)

CNN網(wǎng)絡(luò)架構(gòu)一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)（2）深度信念網(wǎng)絡(luò)定義：深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）是一種包含多層隱藏層的概率生成模型，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)判別模型相對(duì)比，生成模型對(duì)數(shù)據(jù)和標(biāo)簽進(jìn)行聯(lián)合對(duì)比觀察應(yīng)用：DBN是由多個(gè)限制玻爾茲曼機(jī)層構(gòu)成，采用無(wú)監(jiān)督逐層訓(xùn)練的方式進(jìn)行訓(xùn)練，可以對(duì)訓(xùn)練的數(shù)據(jù)進(jìn)行深層次的表達(dá)DBN網(wǎng)絡(luò)架構(gòu)一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)（3）循環(huán)神經(jīng)網(wǎng)絡(luò)定義：循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是以序列數(shù)據(jù)為輸入并在序列的方向上進(jìn)行遞歸的遞歸式神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)的循環(huán)單元按鏈?zhǔn)较噙B接應(yīng)用：RNN由于其記憶性的特點(diǎn)在對(duì)序列數(shù)據(jù)進(jìn)行學(xué)習(xí)時(shí)有一定的優(yōu)勢(shì)，常被應(yīng)用在各種時(shí)間序列預(yù)測(cè)中。CNN和RNN相結(jié)合的神經(jīng)網(wǎng)絡(luò)可以用來(lái)處理輸入為序列的計(jì)算機(jī)視覺(jué)問(wèn)題RNN網(wǎng)絡(luò)架構(gòu)一、深度學(xué)習(xí)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)（4）監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)是指參與訓(xùn)練的數(shù)據(jù)都帶標(biāo)簽，且訓(xùn)練的誤差是從上向下傳輸?shù)挠?xùn)練過(guò)程。監(jiān)督學(xué)習(xí)的第一步是對(duì)輸入數(shù)據(jù)進(jìn)行學(xué)習(xí)，得到各層的參數(shù)并進(jìn)一步對(duì)多層模型的參數(shù)進(jìn)行優(yōu)化調(diào)整。監(jiān)督學(xué)習(xí)第一步得到的初始值接近全局最優(yōu)，因此取得的效果更好。（5）無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)是指參與訓(xùn)練的數(shù)據(jù)不帶有標(biāo)簽，從底層開(kāi)始一層一層向上的訓(xùn)練過(guò)程。由于人工給數(shù)據(jù)進(jìn)行分類(lèi)打標(biāo)簽的任務(wù)成本過(guò)高，因此需要計(jì)算機(jī)來(lái)幫助實(shí)現(xiàn)這一目標(biāo)。首先用沒(méi)有標(biāo)簽的數(shù)據(jù)訓(xùn)練第一層并學(xué)習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，得到比輸入的數(shù)據(jù)更加有表現(xiàn)能力的輸出，并輸入到下一層中。學(xué)習(xí)到n-1層時(shí)，將輸出作為n層的輸入，從而做到自下而上的訓(xùn)練，并得到各層的參數(shù)。二、深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)傳統(tǒng)的視覺(jué)算法通常包含五個(gè)步驟，分別為特征感知、圖像預(yù)處理、特征提取、特征篩選和推理預(yù)測(cè)與識(shí)別。傳統(tǒng)的特征提取主要依靠人工完成，對(duì)于簡(jiǎn)單的任務(wù)來(lái)說(shuō)效果好，但對(duì)于規(guī)模較大的數(shù)據(jù)集難以實(shí)現(xiàn)。

深度學(xué)習(xí)在處理信息量較為豐富的任務(wù)上有很好的表現(xiàn)，非常適合計(jì)算機(jī)視覺(jué)任務(wù)，大規(guī)模的數(shù)據(jù)集和深度學(xué)習(xí)網(wǎng)絡(luò)的強(qiáng)大能力為計(jì)算機(jī)視覺(jué)提供了廣闊的發(fā)展空間。傳統(tǒng)的特征提取存在的缺點(diǎn)二、深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)（1）局部卷積神經(jīng)網(wǎng)絡(luò)

局部卷積神經(jīng)網(wǎng)絡(luò)（Region-CNN，R-CNN），是第一個(gè)將深度學(xué)習(xí)運(yùn)用到目標(biāo)檢測(cè)上的算法。R-CNN保存著傳統(tǒng)的目標(biāo)檢測(cè)的思路，保留使用區(qū)域框進(jìn)行特征提取、圖像分類(lèi)、非極大值抑制的方法，但區(qū)別在于將傳統(tǒng)的特征提取方法換成了深度卷積網(wǎng)絡(luò)特征提取的方法。傳統(tǒng)的目標(biāo)檢測(cè)一般先在圖片上圈出所有可能是目標(biāo)物體的區(qū)域框，然后對(duì)這些區(qū)域框進(jìn)行特征提取并使用圖像識(shí)別的方法分類(lèi)，分類(lèi)后的區(qū)域用非極大值抑制的方法進(jìn)行輸出。二、深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)對(duì)輸入的一張圖片采用選擇性搜索(SelectiveSearch,SS)算法提取2000個(gè)類(lèi)別獨(dú)立的區(qū)域框。將每個(gè)區(qū)域框調(diào)整為固定的大小，用CNN提取特征向量。對(duì)每個(gè)區(qū)域框進(jìn)行支持向量機(jī)（SupportVectorMachine，SVM）目標(biāo)分類(lèi)R-CNN的具體步驟訓(xùn)練一個(gè)邊界框回歸模型，對(duì)框的準(zhǔn)確位置進(jìn)行修正。樣例二、深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)二、深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)§3.2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)（2）常見(jiàn)數(shù)據(jù)集數(shù)據(jù)集合是深度學(xué)習(xí)中不可缺少的部分，深度學(xué)習(xí)的學(xué)習(xí)都是基于數(shù)據(jù)集內(nèi)大量數(shù)據(jù)所攜帶的信息，訓(xùn)練用的數(shù)據(jù)集量越大，得到的訓(xùn)練結(jié)果可能會(huì)更好。計(jì)算機(jī)視覺(jué)所需要的數(shù)據(jù)集比較龐大，且個(gè)人收集起來(lái)十分復(fù)雜，因此網(wǎng)絡(luò)上有許多公開(kāi)的數(shù)據(jù)集可供研究人員學(xué)習(xí)使用。ImageNetMSCOCOCityscapesKITTI幾個(gè)常用的開(kāi)源數(shù)據(jù)集：第3章：計(jì)算機(jī)視覺(jué)技術(shù)及應(yīng)用1計(jì)算機(jī)視覺(jué)的定義與發(fā)展2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)在計(jì)算機(jī)視覺(jué)技術(shù)中，特征檢測(cè)是十分基礎(chǔ)而重要的角色。計(jì)算機(jī)視覺(jué)中的多種任務(wù)，如目標(biāo)識(shí)別、圖像分類(lèi)、圖像分割、立體視覺(jué)、三維重建等工作都是以特征檢測(cè)為基礎(chǔ)，通過(guò)對(duì)特征的檢測(cè)與提取從而完成后續(xù)任務(wù)。特征檢測(cè)中的特征包括特征點(diǎn)、輪廓、邊緣等，有明顯的可以識(shí)別的與周?chē)h(huán)境差異較大位置都是特征。有些特征人眼可以輕易分辨識(shí)別，而計(jì)算機(jī)視覺(jué)技術(shù)是通過(guò)檢測(cè)兩張圖像中的特征點(diǎn)，判斷相同的特征點(diǎn)來(lái)進(jìn)行匹配：樣例一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)(a)原始圖片生活中隨手拍攝的照片都可以用于特征檢測(cè)，圖(a)是一張手機(jī)拍攝的風(fēng)景圖片一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)(b)截取部分圖片圖(b)是從(a)中截取出的?；詹糠植⑦M(jìn)行了放大。用眼睛可以輕易的分辨識(shí)別出(b)圖片是(a)圖片的哪一部分，而計(jì)算機(jī)視覺(jué)技術(shù)則是通過(guò)檢測(cè)兩張圖像中的特征點(diǎn)，判斷相同的特征點(diǎn)來(lái)進(jìn)行匹配。特征點(diǎn)：也可以稱(chēng)為是興趣點(diǎn)、角點(diǎn)，是圖像的重要因素之一，指的是圖像中關(guān)鍵、顯而易見(jiàn)的點(diǎn)，如圖像中某個(gè)部分的邊角點(diǎn)、特殊形狀物體的邊緣端點(diǎn)等。一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)(c)特征點(diǎn)檢測(cè)經(jīng)過(guò)特征檢測(cè)后，圖(a)中圖像的特征點(diǎn)用圓圈圈出來(lái)，如圖(c)所示，圖片中的字、建筑物的邊角點(diǎn)、樹(shù)枝的末端、?；諆?nèi)不同顏色的交界點(diǎn)等都是特征點(diǎn)。一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)(d)特征點(diǎn)匹配特殊點(diǎn)可以用來(lái)尋找不同圖像中特殊點(diǎn)相同的對(duì)應(yīng)部分，下面通過(guò)特殊點(diǎn)的識(shí)別與匹配將圖(a)、(b)中的兩張圖片匹配起來(lái)，圖(d)所示，可以看出兩張圖片中相同的特殊點(diǎn)用直線相連接，通過(guò)檢測(cè)兩張圖像的特殊點(diǎn)，并對(duì)特殊點(diǎn)進(jìn)行比對(duì)，相同特征的點(diǎn)即可對(duì)應(yīng)連接匹配起來(lái)。一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)

用于進(jìn)行特殊點(diǎn)檢測(cè)的算子稱(chēng)為特征描述算子，常用的特征描述算子有尺度不變特征檢測(cè)、Harris特征點(diǎn)檢測(cè)、偏差和增益規(guī)范化檢測(cè)等。尺度不變特征變換（Scale-invariantfeaturetransform，SIFT）是一種經(jīng)典的局部特征描述算子，是由DavidLowe于1999年最初發(fā)表的。SIFT主要是通過(guò)將圖像高斯模糊后，圖像中不同區(qū)域點(diǎn)的變化不同，變化較小的點(diǎn)一般為平滑區(qū)域，變化較大的點(diǎn)則為特征點(diǎn)。通過(guò)檢測(cè)到的關(guān)鍵特征點(diǎn)為中心，選擇16×16的窗口，將這個(gè)區(qū)域平均分為多個(gè)4×4的子區(qū)域，每個(gè)4×4子區(qū)域分成8個(gè)區(qū)間，即可得到4×4×8=128維度的特征向量。

SIFT算法主要可以分為四個(gè)步驟：尺度空間極值檢測(cè)精確特征點(diǎn)的位置確定特征點(diǎn)的方向特征點(diǎn)的描述一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)（1）尺度空間極值檢測(cè)尺度空間是在進(jìn)行圖像處理的模型內(nèi)引入一個(gè)尺度的參數(shù)來(lái)使其擁有尺度不變性的特征，通過(guò)對(duì)空間內(nèi)的各個(gè)尺度的圖像進(jìn)行處理，模擬人眼距離看到目標(biāo)的遠(yuǎn)近差異的過(guò)程，對(duì)圖像進(jìn)行逐漸增長(zhǎng)的模糊處理，圖像的模糊程度與尺度成正比。公式及相關(guān)參數(shù)（3-1）

（3-2）

是高斯尺度

是尺度空間因子一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)上文描述了尺度空間的定義，接下來(lái)通過(guò)高斯金字塔的方式來(lái)實(shí)現(xiàn)尺度空間的搭建。定義：高斯金字塔是通過(guò)將圖像逐層高斯濾波并進(jìn)行降階采樣，得到的圖像進(jìn)行由大到小的圖像構(gòu)成金字塔狀，金字塔模型的最底下一層為原始的圖像。

步驟：1）首先對(duì)原始圖像進(jìn)行不同參數(shù)的高斯濾波，得到多張模糊程度不同的圖像；2）然后進(jìn)行降價(jià)采樣后得到上一層的圖像；3）得到的圖像作為再上一層的原始圖像，重復(fù)進(jìn)行操作直到滿(mǎn)足層數(shù)需求。金字塔每層的圖像進(jìn)行多參數(shù)高斯模糊，因此塔每層都包含多張圖像，每一層的多張圖像組合稱(chēng)為Octave，這些圖像的大小一致但模糊程度不同。一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)在SIFT特征點(diǎn)檢測(cè)中選擇了差分高斯金字塔代替高斯金字塔，可以有效地提高檢測(cè)的效率。尺度空間極值檢測(cè)一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)（2）精確特征點(diǎn)的位置由于數(shù)字圖像都為離散采樣的圖像，而實(shí)際的圖像是連續(xù)的，并且還需要考慮在邊緣位置的極值點(diǎn)，因此在上一步驟中檢測(cè)出的極值點(diǎn)有可能出現(xiàn)偏差。因此要對(duì)差分高斯空間進(jìn)行擬合處理，來(lái)精確特征點(diǎn)的位置。

通過(guò)設(shè)置閾值來(lái)判斷極值點(diǎn)是否在邊緣上，H(x,y)為差分高斯金字塔中對(duì)x和y的二階導(dǎo)數(shù)，（3-3）一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)（3-5）若極值點(diǎn)不滿(mǎn)足下式，則舍去該點(diǎn)。（3-6）

Tr(H)為矩陣H的跡，Det(H)是行列式（3-4）一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)（3）確定特征點(diǎn)的方向通過(guò)對(duì)圖像的每個(gè)關(guān)鍵點(diǎn)賦予一個(gè)方向，可使這個(gè)特征檢測(cè)算子具有旋轉(zhuǎn)不變性，也就是當(dāng)目標(biāo)發(fā)生方向的變化時(shí)，只要其他的特征都相對(duì)應(yīng)，也可以識(shí)別出。極值點(diǎn)的方向通過(guò)其周?chē)南袼氐奶荻葋?lái)確定方向，梯度的公式為:（3-7）一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)梯度的幅值為：（3-8）梯度的方向?yàn)椋海?-9）一、特征檢測(cè)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)（4）特征點(diǎn)的描述

經(jīng)過(guò)上述步驟產(chǎn)生的特征點(diǎn)都是基于圖片的點(diǎn)坐標(biāo)的，如果想根據(jù)特征點(diǎn)與其他的圖像進(jìn)行對(duì)比，需要將特征點(diǎn)單獨(dú)提取出來(lái)。通過(guò)對(duì)特征點(diǎn)周?chē)M(jìn)行分塊，并計(jì)算梯度直方圖，生成具有唯一性的方向向量來(lái)代表這部分的圖像，從而產(chǎn)生SIFT特征向量?！?.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)二、圖像分割定義：圖像分割即為將想要識(shí)別的目標(biāo)從圖像中分割出來(lái)應(yīng)用：圖像分割是計(jì)算機(jī)視覺(jué)中十分重要的任務(wù)，它在實(shí)際生活中有廣泛的應(yīng)用，并發(fā)揮著核心的作用。例如在行人檢測(cè)、視頻監(jiān)控、自動(dòng)駕駛、醫(yī)學(xué)圖像分析等方面，圖像分割都扮演著不可或缺的角色圖像分割二、圖像分割§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)圖像分割將圖像中的待識(shí)別目標(biāo)分割出來(lái)，并對(duì)分割的目標(biāo)進(jìn)行分類(lèi)。圖像中一般都會(huì)同時(shí)存在多種物體，語(yǔ)義分割通過(guò)對(duì)像素級(jí)別將圖片分為多個(gè)部分，分割出不同類(lèi)別的目標(biāo)。語(yǔ)義分割將圖像中的待識(shí)別目標(biāo)分割出來(lái)，對(duì)分割的目標(biāo)分類(lèi)后，還需要對(duì)分類(lèi)后的目標(biāo)進(jìn)行區(qū)分，將每個(gè)不同的實(shí)例單獨(dú)分割。相較于語(yǔ)義分割，實(shí)例分割將每一個(gè)目標(biāo)作為一個(gè)待分割的實(shí)例。實(shí)例分割§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)圖像分割算法（按分割方式的不同進(jìn)行分類(lèi)）閾值分割法：選取一個(gè)合適的像素值作為邊界，將圖像處理成對(duì)比度較高的、分割部分容易識(shí)別的方法。區(qū)域增長(zhǎng)細(xì)分方法：通過(guò)將屬性相似的像素組合在一起形成一個(gè)區(qū)域，將區(qū)域內(nèi)找到一個(gè)種子像素，將周?chē)膶傩耘c種子像素相似的像素合并到區(qū)域中。將這些新合并進(jìn)來(lái)的像素作為新的種子像素繼續(xù)合并，可以得到?jīng)]有滿(mǎn)足屬性相似的像素。邊緣檢測(cè)分割方法：主要通過(guò)圖像的灰度值不同以及邊緣的突出進(jìn)行分割基于聚類(lèi)分割方法：通過(guò)將類(lèi)的劃分以物體間的相似性作為標(biāo)準(zhǔn)，使相似的類(lèi)別盡可能的相似，不相似的類(lèi)別區(qū)別盡可能大?；贑NN的弱監(jiān)督學(xué)習(xí)分割方法：對(duì)圖像內(nèi)待識(shí)別對(duì)象區(qū)域用部分像素進(jìn)行標(biāo)記。二、圖像分割二、圖像分割§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)圖像分割算法的發(fā)展三、R-CNN系列算法§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)基于R-CNN的幾種算法的演進(jìn)：FastR-CNN在基于R-CNN的基礎(chǔ)上，在R-CNN的最后一個(gè)卷積層后添加感興趣區(qū)域（RegionsofInterest，ROI）的池化層，采用將bbox回歸與區(qū)域在神經(jīng)網(wǎng)絡(luò)內(nèi)部合并成為多重任務(wù)模型，并使用Softmax代替了SVM分類(lèi)器。FastR-CNN的改進(jìn)有效地解決了R-CNN嚴(yán)重的速度問(wèn)題，并且為FasterR-CNN做了鋪墊。FasterR-CNN在FastR-CNN的基礎(chǔ)上使用了區(qū)域生成網(wǎng)絡(luò)（RegionProposalNetwork，RPN）來(lái)生成候選框，讓RPN和FastR-CNN共享CNN特征，成為一個(gè)端到端的CNN對(duì)象檢測(cè)模型。三、R-CNN系列算法§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)MaskR-CNN算法在FasterR-CNN的基礎(chǔ)上創(chuàng)新了RoI對(duì)齊操作，引用全卷積網(wǎng)絡(luò)（FullyConvolutionalNetwork，F(xiàn)CN）生成Mask，并且添加了用于語(yǔ)義分割的Mask損失函數(shù)，改變了算法損失函數(shù)的計(jì)算方法。MaskScoringR-CNN創(chuàng)新出了一種新方法，添加MaskIoUHead模塊，將MaskHead操作后得到的預(yù)測(cè)分?jǐn)?shù)與ROI特征輸入到卷積層和全連接層，從而得到模型的分?jǐn)?shù)。三、R-CNN系列算法§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)表3-1幾種基于R-CNN的算法對(duì)比

使用方法缺點(diǎn)改進(jìn)R-CNN選擇性搜索SS提取候選區(qū)域（RegionProposal，RP）CNN提取特征SVM分類(lèi)/bbox回歸訓(xùn)練步驟繁瑣訓(xùn)練所占空間大訓(xùn)練耗時(shí)長(zhǎng)mAP為66%FastR-CNNSS提取RP/CNN提取特征Softmax分類(lèi)多任務(wù)損失函數(shù)邊框回歸沒(méi)有實(shí)現(xiàn)端到端訓(xùn)練測(cè)試mAP提升至70%；測(cè)試耗時(shí)縮短。FasterR-CNNRPN提取RPCNN提取特征Softmax分類(lèi)多任務(wù)損失邊框回歸計(jì)算量依舊比較大測(cè)試精度和速度提升；實(shí)現(xiàn)端到端目標(biāo)檢測(cè)；迅速生成建議框。MaskR-CNNRPN提取RPResNet-FPN提取特征ROI對(duì)齊的方法來(lái)取代ROI池化Mask分支邊框分類(lèi)置信度用來(lái)作為Mask準(zhǔn)確率時(shí)不夠精確ROI對(duì)齊能將像素對(duì)齊，滿(mǎn)足了圖像語(yǔ)義分割的準(zhǔn)確度要求。MaskScoringR-CNNRPN提取RPResNet-FPN提取特征加入MaskIOU分支

獲得更加可靠的Mask分?jǐn)?shù)。三、R-CNN系列算法§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)圖像分割評(píng)分指標(biāo)平均正確率（AveragePrecision，AP），指的是所有類(lèi)別的正確率。（3-10）像素精度（PixelAccuracy，PA），指標(biāo)記正確的像素占全部像素的比例。（3-11）三、R-CNN系列算法§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)均像素精度（MeanPixelAccuracy，MPA），指在PA的基礎(chǔ)上對(duì)標(biāo)記正確像素占全部像素的比例做類(lèi)平均。（3-12）交并比（IntersectionOverUnion，IoU），指計(jì)算真實(shí)值和預(yù)測(cè)值兩個(gè)集合的交集和并集之比（3-13）三、R-CNN系列算法§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)均交并比（MeanIntersectionUnion，MIoU），指在每一個(gè)類(lèi)上計(jì)算IoU后進(jìn)行平均。MIoU是使用最頻繁的圖像分割精準(zhǔn)度度量標(biāo)準(zhǔn)。（3-14）頻權(quán)交并比（FrequencyWeightedIntersectionoverUnion，F(xiàn)WIoU），指在MIoU的基礎(chǔ)上進(jìn)行升級(jí)，根據(jù)類(lèi)別出現(xiàn)的頻率設(shè)置權(quán)重。（3-15）四、立體視覺(jué)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)立體視覺(jué)指的是用兩個(gè)或多個(gè)攝像頭來(lái)獲取深度的視覺(jué)信息的技術(shù)。首先介紹雙目視覺(jué)求解深度：雙目視覺(jué)求解深度就是根據(jù)透視幾何圖形學(xué)的三角化原理，通過(guò)左邊拍攝的圖像上面的任意一個(gè)點(diǎn)，在右邊拍攝的圖像上找到相應(yīng)的匹配點(diǎn)，即可確定該點(diǎn)的三維坐標(biāo)。下圖所示為雙目視覺(jué)求深度的過(guò)程。P為選中的任意一點(diǎn)P點(diǎn)左右兩個(gè)相機(jī)中成像的位置為P0和P1兩個(gè)相機(jī)的焦距分別為f0和f1兩個(gè)相機(jī)的相對(duì)位移為R和T四、立體視覺(jué)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)根據(jù)小孔成像原理可知：（3-16）（3-17）由相機(jī)的左右相對(duì)位置關(guān)系可得：（3-18）相機(jī)的左右相對(duì)位置關(guān)系為：因此只要找到左圖上一點(diǎn)在右圖上的匹配點(diǎn)，即可求出該點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)。四、立體視覺(jué)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)接下來(lái)解決從右圖找左圖對(duì)應(yīng)點(diǎn)坐標(biāo)的問(wèn)題。一般來(lái)說(shuō)，從右圖中找左圖中已知的對(duì)應(yīng)點(diǎn)是一個(gè)復(fù)雜度較高的2維搜索問(wèn)題，為了降低算法的復(fù)雜度，使用極線約束將此問(wèn)題轉(zhuǎn)換為一維問(wèn)題。左圖上的點(diǎn)在右圖中可能的投影是在某一條線上，將搜索范圍由面降低到線。將左右攝像頭完美對(duì)齊，使他們的焦距等參數(shù)完全一致，即可將左右攝像頭的極線矯正成行相同的平行線。因此左圖中任意一點(diǎn)在右圖中只能映射到與其對(duì)應(yīng)的相同行上。四、立體視覺(jué)§3.3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)

立體視覺(jué)的研究主要由以下幾個(gè)方面組成：圖像獲?。毫Ⅲw視覺(jué)研究中需要從圖像中獲取許多要素，且圖像的場(chǎng)景復(fù)雜度會(huì)受到一些因素的影響。攝像機(jī)模型：對(duì)立體攝像機(jī)組的重要幾何和物理特征的表示，提供圖像上對(duì)應(yīng)點(diǎn)空間和實(shí)際場(chǎng)景空間之間的映射關(guān)系，還約束尋找對(duì)應(yīng)點(diǎn)時(shí)的搜索空間。特征抽?。涸撨^(guò)程即為提取匹配基元的過(guò)程。圖像匹配：是立體視覺(jué)的核心，建立圖像之間的對(duì)應(yīng)關(guān)系，從而計(jì)算視差。深度計(jì)算：解決匹配問(wèn)題的復(fù)雜化、提高深度計(jì)算精度。內(nèi)插：該過(guò)程可以近似連續(xù)深度圖。第3章：計(jì)算機(jī)視覺(jué)技術(shù)及應(yīng)用1計(jì)算機(jī)視覺(jué)的定義與發(fā)展2深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)3計(jì)算機(jī)視覺(jué)關(guān)鍵技術(shù)4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用隨著人工智能技術(shù)的迅速發(fā)展，人們生活越來(lái)越智能化，計(jì)算機(jī)視覺(jué)的技術(shù)也深入到生活中去。人工智能已經(jīng)在不知不覺(jué)中滲透進(jìn)生活的每個(gè)細(xì)枝末節(jié)。2016年3月，谷歌智能?chē)鍣C(jī)器人阿爾法狗與人類(lèi)圍棋世界冠軍李世石的人機(jī)圍棋大戰(zhàn)。在這場(chǎng)對(duì)弈中，阿爾法狗以4比1的成績(jī)戰(zhàn)勝李世石，人工智能開(kāi)始受到大家的廣泛關(guān)注，成為研究熱點(diǎn)。計(jì)算機(jī)視覺(jué)作為人工智能的一個(gè)重要的、實(shí)用性極強(qiáng)的分支，更是受到許多研究人員的青睞?！?.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用我們生活中的方方面面都離不開(kāi)眼睛的幫助，許多工作也都是基于人眼的觀察才可以完成，但人眼觀察受到的限制比較多。而計(jì)算機(jī)視覺(jué)正是用計(jì)算機(jī)代替人眼工作的，并且計(jì)算機(jī)的算力、速度遠(yuǎn)遠(yuǎn)強(qiáng)于人類(lèi)，且成本較低，因此計(jì)算機(jī)視覺(jué)在生活中的實(shí)際應(yīng)用范圍十分廣闊。例如停車(chē)場(chǎng)內(nèi)的智能車(chē)牌識(shí)別系統(tǒng)、上班打卡的虹膜識(shí)別和指紋識(shí)別系統(tǒng)、手機(jī)應(yīng)用軟件中的智能物體識(shí)別功能、人臉面部表情識(shí)別、人類(lèi)肢體動(dòng)作識(shí)別、手寫(xiě)字體識(shí)別等都是生活中和我們息息相關(guān)的技術(shù)。下面為大家詳細(xì)介紹人臉識(shí)別、三維重建以及自動(dòng)駕駛這三個(gè)實(shí)際應(yīng)用的計(jì)算機(jī)視覺(jué)技術(shù)。一、人臉識(shí)別§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用

人臉識(shí)別是計(jì)算機(jī)視覺(jué)在實(shí)際應(yīng)用中使用范圍比較廣泛的一項(xiàng)技術(shù)，在許多的場(chǎng)景都能見(jiàn)到它的身影。學(xué)生進(jìn)出圖書(shū)館進(jìn)行人臉識(shí)別人臉的特征和虹膜、指紋一樣，有著唯一性、不易變性、以及不可復(fù)制性，因此為人的身份鑒定打下了基礎(chǔ)。例如過(guò)去火車(chē)站進(jìn)站在核驗(yàn)乘車(chē)人身份時(shí)，檢票員只使用肉眼粗略比對(duì)持證人與所持身份證上的照片是否一致，很容易出現(xiàn)紕漏。而今在進(jìn)站口設(shè)有多臺(tái)人臉識(shí)別機(jī)器，乘車(chē)人刷身份證的同時(shí)進(jìn)行面部比對(duì)，高效又安全。一、人臉識(shí)別§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用

人臉識(shí)別的主要步驟：人臉圖像的采集：人臉識(shí)別所需要的圖像為人五官清晰的臉部圖像，可以通過(guò)視頻、動(dòng)圖、圖片等多種途徑獲取。人臉圖像的預(yù)處理：采集得到的包含人臉的圖像不能直接用于人臉識(shí)別，需要進(jìn)行預(yù)處理操作。需要對(duì)圖片灰度變換、過(guò)濾噪聲、銳化以及歸一化等多種處理。人臉特征的提取：人臉特征的提取可以看作是對(duì)圖像進(jìn)行關(guān)鍵點(diǎn)定位，通過(guò)圖像中人的五官的位置來(lái)判斷人臉的位置和大小。人臉特征的對(duì)比與匹配：將待識(shí)別的人臉特征與數(shù)據(jù)庫(kù)內(nèi)的人臉特征進(jìn)行搜索匹配，當(dāng)特征的相似度到達(dá)一個(gè)設(shè)定的值時(shí)，即認(rèn)為兩者有較大的相似度，從而實(shí)現(xiàn)人臉識(shí)別任務(wù)。一、人臉識(shí)別§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用值得注意的是，在人臉識(shí)別任務(wù)的實(shí)現(xiàn)中數(shù)據(jù)庫(kù)是必不可少的，數(shù)據(jù)庫(kù)在人臉識(shí)別的任務(wù)中也發(fā)揮了十分重要的作用。用于商用的人臉識(shí)別技術(shù)需要單獨(dú)建立數(shù)據(jù)庫(kù)，而數(shù)據(jù)庫(kù)的建立不可避免的涉及到用戶(hù)的個(gè)人信息。因此數(shù)據(jù)庫(kù)的安全、信息保密是十分重要的，但許多科技公司的技術(shù)和財(cái)力難以實(shí)現(xiàn)對(duì)用戶(hù)人臉信息的保護(hù)，導(dǎo)致了網(wǎng)絡(luò)上經(jīng)常會(huì)出現(xiàn)人臉信息的售賣(mài)。2020年11月1日，國(guó)家標(biāo)準(zhǔn)《信息安全技術(shù)遠(yuǎn)程人臉識(shí)別系統(tǒng)技術(shù)要求》正式實(shí)施，此標(biāo)準(zhǔn)對(duì)我國(guó)人臉識(shí)別技術(shù)體系和應(yīng)用場(chǎng)景都做出了進(jìn)一步的詳細(xì)約束。二、三維重建§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用定義：計(jì)算機(jī)視覺(jué)中的三維重建就是通過(guò)對(duì)圖像進(jìn)行處理，分析圖像中隱含的信息來(lái)重建圖像所處的三維環(huán)境。應(yīng)用：三位重建技術(shù)是環(huán)境感知的重要技術(shù)之一，自動(dòng)駕駛、虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)、運(yùn)動(dòng)目標(biāo)檢測(cè)、行為分析等多種計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用中都存在著三維重建的身影。對(duì)比：三維重建一般是通過(guò)單一的視圖或者多角度的視圖來(lái)對(duì)當(dāng)前環(huán)境進(jìn)行三維信息還原的過(guò)程。多角度的視圖所包含的條件信息比較充足，因此三維重建的難度較小，而單一視圖的三維重建則比較困難。表示方法：深度圖、點(diǎn)云、體積元素和網(wǎng)格二、三維重建§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用深度圖用于表示場(chǎng)景中各點(diǎn)與計(jì)算機(jī)間的距離，深度圖中的每像素表示的是圖像中對(duì)應(yīng)的場(chǎng)景與攝像機(jī)之間的距離。1.深度圖體積元素又稱(chēng)體素，與像素一樣，體素是三維空間內(nèi)分割的最小的單位，用恒定的標(biāo)量或向量來(lái)表示一個(gè)立體的區(qū)域。2.體積元素三維重建通常采用的四種表示方法二、三維重建§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用點(diǎn)云是通過(guò)測(cè)量一起得到的圖像中物體表面的數(shù)據(jù)集合。點(diǎn)云可以分為系數(shù)點(diǎn)云和密集點(diǎn)云。稀疏點(diǎn)云：使用三維坐標(biāo)測(cè)量機(jī)得到的間距較大的點(diǎn)云。密集點(diǎn)云：使用三維激光掃描儀得到的比較密集的點(diǎn)云。3.點(diǎn)云前視圖俯視圖左視圖原圖點(diǎn)云三視圖二、三維重建§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用網(wǎng)格即為用網(wǎng)格模擬組成三維立體物體的表面，計(jì)算機(jī)視覺(jué)中的網(wǎng)格常用的有三角網(wǎng)格和四角網(wǎng)格。4.網(wǎng)絡(luò)二、三維重建§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用

三維重建在實(shí)際應(yīng)用中有不同的方向，例如自動(dòng)駕駛和機(jī)器人領(lǐng)域中三維重建叫作即時(shí)定位與地圖構(gòu)建（SimultaneousLocalizationAndMapping，SLAM）。

計(jì)算機(jī)視覺(jué)里還有基于深度學(xué)習(xí)的三維重建，以及對(duì)人體的三維重建、對(duì)人臉的三維重建、對(duì)各種物體的三維重建、對(duì)室內(nèi)場(chǎng)景的三維重建等。三、自動(dòng)駕駛§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用自動(dòng)駕駛汽車(chē)（無(wú)人駕駛汽車(chē)）是通過(guò)電腦進(jìn)行控制來(lái)實(shí)現(xiàn)的新型技術(shù)。自動(dòng)駕駛是由人工智能、計(jì)算機(jī)視覺(jué)、雷達(dá)系統(tǒng)、全球定位系統(tǒng)等多種技術(shù)相結(jié)合的技術(shù)，無(wú)需人類(lèi)的操控即可實(shí)現(xiàn)對(duì)車(chē)輛的安全駕駛。自動(dòng)駕駛技術(shù)是一項(xiàng)十分復(fù)雜難度極大的工程，需要駕駛?cè)巳褙炞ⅰr(shí)刻保持清醒，對(duì)路況有著清晰迅速的判斷力，而路況本身就很復(fù)雜，參與交通的因素多，路況信息實(shí)時(shí)發(fā)生改變，稍有不慎就會(huì)發(fā)生交通事故。三、自動(dòng)駕駛§3.4計(jì)算機(jī)視覺(jué)的實(shí)際應(yīng)用自動(dòng)駕駛汽車(chē)（無(wú)人駕駛汽車(chē)）是通過(guò)電腦進(jìn)