機(jī)器視覺(jué)人工智能及其應(yīng)用

1、第九章第九章 機(jī)器視覺(jué)機(jī)器視覺(jué)人工智能及其應(yīng)用 對(duì)人類感覺(jué)信息的理解與處理是人工智能研究和應(yīng)用又一重要領(lǐng)域。人類的這些感覺(jué)信息是多種多樣的,包括視覺(jué)、聽(tīng)覺(jué)、力覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)、接近感和臨場(chǎng)感(telexistence或telepresence)以及情感等。其中,對(duì)視覺(jué)和力覺(jué)的研究最為重要,且均已進(jìn)入實(shí)用階段。對(duì)觸覺(jué)和聽(tīng)覺(jué)的研究也已獲得顯著進(jìn)展。不過(guò),對(duì)嗅覺(jué),尤其是味覺(jué)的研究尚未有重大突破。至于對(duì)人工情感的研究,仍停留在科學(xué)幻想階段。 除了對(duì)各種單一的傳感信息進(jìn)行研究外,近年來(lái)又出現(xiàn)了對(duì)多種傳感信息的集成與融合(integration and fusion)研究；它利用各種傳感器性能上的差異

2、性與互補(bǔ)性,融合不同傳感器的信息源并加以綜合分析,以得到正確理解的、穩(wěn)定可靠的周?chē)h(huán)境信息,使系統(tǒng)具有容錯(cuò)性,提高系統(tǒng)的信息處理速度,保證決策的正確性和準(zhǔn)確性。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 視覺(jué)是人類最重要的感覺(jué)能力之一。視覺(jué)數(shù)據(jù)是人的最復(fù)雜和最有用的感覺(jué)輸入信息。人眼能感覺(jué)顏色,因?yàn)樗哂腥芰?。人眼能感覺(jué)運(yùn)動(dòng),因?yàn)橐暰W(wǎng)能提供所出現(xiàn)事物的實(shí)際響應(yīng)。 當(dāng)代科學(xué)技術(shù)能否用機(jī)器來(lái)完全解釋、模擬、復(fù)現(xiàn)和處理人的視覺(jué)呢？作為一種感覺(jué)輸入數(shù)據(jù),人們已能以有限的但是比較重要的方法重現(xiàn)視覺(jué)信息。機(jī)器視覺(jué)涉及對(duì)相似視覺(jué)數(shù)據(jù)的解釋。接至計(jì)算機(jī)的視覺(jué)傳感器感受到圖

3、像的明暗信號(hào),并把這些信號(hào)變換為可供處理的形式。把視覺(jué)傳感器裝在機(jī)器人的機(jī)械手上,只要物體與其背景的對(duì)比度明顯不同,而且不相互接觸或重疊,那么就能夠讓機(jī)器人通過(guò)圖像輪廓來(lái)識(shí)別物體。這種視覺(jué)系統(tǒng)已獲得應(yīng)用。 由機(jī)器來(lái)感覺(jué)環(huán)境并執(zhí)行要完成的任務(wù)具有明顯的優(yōu)點(diǎn),并獲得多方面的應(yīng)用。除了用于由機(jī)器人進(jìn)行裝配和檢驗(yàn)作業(yè)外,還可用于星際空間搜索、醫(yī)用X-射線自動(dòng)鑒別、地球資源遙感監(jiān)視和各種軍事應(yīng)用等。這種視覺(jué)機(jī)器有助于執(zhí)行許多日常單調(diào)的甚至對(duì)人危險(xiǎn)的任務(wù)；如果沒(méi)有某種感覺(jué)能力,那么這些任務(wù)是很難甚至無(wú)法完成的。 大多數(shù)工業(yè)裝配任務(wù),包括一些看起來(lái)很簡(jiǎn)單的任務(wù)(如把車(chē)輛裝在汽車(chē)上),一般都需要采用視覺(jué)技術(shù)。

4、在惡劣環(huán)境下(例如,在太空和水下)或在加工有害材料時(shí),一般都需要機(jī)器視覺(jué)。對(duì)于許多應(yīng)用,視覺(jué)系統(tǒng)必須是自主的。 計(jì)算機(jī)視覺(jué)(即機(jī)器視覺(jué))就是由圖像數(shù)據(jù)來(lái)產(chǎn)生視野環(huán)境內(nèi)有用符號(hào)描述的過(guò)程。所開(kāi)發(fā)的計(jì)算機(jī)視覺(jué)的特點(diǎn)與過(guò)程往往與其應(yīng)用場(chǎng)合有關(guān)。 機(jī)器視覺(jué)包含眾多的研究課題,如視覺(jué)可計(jì)算性原理、圖像的形成和獲取、圖像預(yù)處理、邊緣檢測(cè)與分割、特征抽取與匹配、區(qū)域生成與分割、形狀分析與識(shí)別、運(yùn)動(dòng)視覺(jué)、主動(dòng)視覺(jué)、三維視覺(jué)以及視覺(jué)知識(shí)的表示和視覺(jué)系統(tǒng)的控制策略等。機(jī)器視覺(jué)已發(fā)展成為一門(mén)獨(dú)立的學(xué)科。因此,對(duì)機(jī)器視覺(jué)的系統(tǒng)、全面和深入的研究,已不是本書(shū)的任務(wù)。本章僅對(duì)機(jī)器視覺(jué)進(jìn)行導(dǎo)論性介紹,僅限于討論一些比較基本

5、的問(wèn)題,這些問(wèn)題可能與機(jī)器人視覺(jué)有比較直接的關(guān)系。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.1圖像的理解與分析 對(duì)圖像的理解和解釋是計(jì)算機(jī)視覺(jué)的研究中心,也是人工智能研究的焦點(diǎn)之一?？梢园岩曈X(jué)理解為一個(gè)從外部世界圖像產(chǎn)生對(duì)觀察者有用的描述過(guò)程。這些描述依次由許多不同的記錄了的景物某一方向的固定表達(dá)組成。因此,選擇視覺(jué)系統(tǒng)的表達(dá)方法,對(duì)于視覺(jué)系統(tǒng)是至關(guān)重要的。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.1.1視覺(jué)信息的表達(dá)方法 根據(jù)馬氏(Marr)提出的假設(shè),視覺(jué)信息處理過(guò)程包括三個(gè)主要表達(dá)層次,即初始簡(jiǎn)圖、二維半簡(jiǎn)圖和三維簡(jiǎn)圖,如圖9.1所示。聯(lián)為聯(lián)為- -

6、稻草人自動(dòng)化稻草人自動(dòng)化1.初始簡(jiǎn)圖初始簡(jiǎn)圖 亮度圖像含有兩種重要信息：圖像的亮度變化和局部幾何特征。初始簡(jiǎn)圖是一種本原表達(dá)法,它能完全而又清楚地表示上述信息。初始簡(jiǎn)圖所包含的信息大部分集中在與實(shí)際邊緣以及邊緣終止點(diǎn)有關(guān)的劇烈灰度變化上。對(duì)于每一邊緣亮度變化,在初始簡(jiǎn)圖上都有對(duì)應(yīng)的描述。這些描述包括：與邊緣有關(guān)的亮度變化率、總的亮度變化、邊緣長(zhǎng)度、曲率和方向等。粗略地說(shuō),初始簡(jiǎn)圖是以勾畫(huà)草圖的形式來(lái)表示圖像中的亮度變化的。圖9.2即為初始簡(jiǎn)圖的一個(gè)例子,說(shuō)明它的輝亮邊界描述和亮度變化。如果所用邊緣檢測(cè)方法所產(chǎn)生的是短線段,那么,就要利用聚集過(guò)程把那些相容的描述線段連接起來(lái)。 根據(jù)馬氏理論產(chǎn)生初

7、始簡(jiǎn)圖,并不需要關(guān)于特定物體的有關(guān)知識(shí)。也就是說(shuō),馬氏建議試圖描述圖像具有的屬性,而對(duì)景物可能與什么事物有關(guān)則不作任何假設(shè)。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化2.二維半簡(jiǎn)圖二維半簡(jiǎn)圖 要對(duì)圖像進(jìn)行更深入的描述,需要知道其內(nèi)在特性。這些內(nèi)在特性包括表面方向、從觀察者至被觀察表面的距離、反射和入射光照表面的紋理以及材料特性等。二維半簡(jiǎn)圖(2D sketch)包含景物表面的信息,可以把它看做某些內(nèi)在特性的混合信息。二維半簡(jiǎn)圖清楚地表示物體表面方向的信息。物體表面法線從物體內(nèi)部穿出來(lái),使物體好像穿刺滿了針一樣。有時(shí),這種二維半簡(jiǎn)圖又稱為指針圖,或簡(jiǎn)稱針圖(needle diagram)。此外,二維

8、半簡(jiǎn)圖還包含從觀察者到圖像各部分的距離。圖9.3表示出二維半簡(jiǎn)圖的表面方向信息。圖中,指針的箭頭表示垂直于表面的矢量,即為表面法線。 在初始簡(jiǎn)圖和二維半簡(jiǎn)圖中,信息往往是以與觀察者有關(guān)的坐標(biāo)系表示的。因此,這種表達(dá)法稱為觀察者中心表達(dá)法。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化3.三維模型三維模型 三維表達(dá)法能夠完全而又清晰地表示有關(guān)物體形狀的信息，其方法之一即為廣義柱體。廣義柱體的概念十分重要，而其表示方法又十分簡(jiǎn)單，如圖9.4所示。圖中，柱體的橫截面沿軸線的投影不變。一個(gè)普通圓柱可看做是一個(gè)圓周沿其中心垂線移動(dòng)而成；一個(gè)楔形物是一個(gè)三角形沿其中垂線移動(dòng)而得的，等等。一般地說(shuō)，一個(gè)廣義柱體是二

9、維輪廓圖沿其軸線移動(dòng)而成的。在移動(dòng)過(guò)程中，輪廓與軸線之間保持固定的角度不變。輪廓可為任何形狀，而且在移動(dòng)過(guò)程中其尺寸可能是變化的，其軸線也不一定是垂線或直線，如圖9.5所示。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 復(fù)雜物體往往是由一些廣義柱體連接而成的。一般地,一個(gè)中央主柱體被一些凹槽或凸面所修正。這樣,復(fù)雜物體就可以由一些基本圖形構(gòu)成。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.1.2 邊緣距離的計(jì)算1.圖像輝亮邊緣的平均與差分圖像輝亮邊緣的平均與差分 圖9.6表示出兩平面間邊緣處的亮度變化圖。其中,圖9.6(a)為理想邊緣亮度變化；這時(shí),亮度在邊緣處由一值躍變?yōu)榱硪恢?。圖9.6(b)則表示實(shí)

10、際邊緣亮度變化；這時(shí)亮度的變化比較模糊,不存在明顯的階躍變化,因而也就很難確定邊緣的位置。這種情況是與圖像輸入裝置不可能產(chǎn)生足夠清晰的圖像有關(guān)的。因?yàn)樵讷@得圖像時(shí),會(huì)遇到傳感器的亮度靈敏性波動(dòng)、圖像坐標(biāo)信息誤差、電子噪聲、光源擾動(dòng)以及無(wú)力接收大范圍變化的亮度信息等。另一個(gè)原因是圖像本身很復(fù)雜,其實(shí)際邊緣并不是陡峭的,而是逐步過(guò)渡的；還可能存在相互照明效應(yīng)、意外劃痕和灰塵等。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 一種處理噪聲邊緣的方法包括下列4個(gè)步驟:(1)從圖像建立平均亮度陣列。取局部亮度的平均值能夠減少噪聲的影響。下述公式說(shuō)明需要進(jìn)行的計(jì)算。為簡(jiǎn)化起見(jiàn),所列公式是用于二維計(jì)算的一維形式：

11、式中,Ii為i點(diǎn)的圖像亮度,而Ai為i點(diǎn)的平均亮度。(2)從平均亮度陣列產(chǎn)生平均一階差分陣列。取右鄰差分(Ai+1 -Ai)與左鄰差分(Ai-Ai-1)的平聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 均值,這相當(dāng)于把i的左鄰和右鄰相平均。令Fi為平均亮度Ai的一次平均差分,則有： 上式與一次微分的有限差分近似。(3)從一次平均差分陣列建立二次平均差分陣列。 為此,求一次差分的平均值。令Si為平均亮度的平均二次差分,則(4)據(jù)所得陣列,記下峰點(diǎn)、陡變斜率和過(guò)零點(diǎn),以尋求邊緣信號(hào)的集合。 平均過(guò)程是把理想的臺(tái)階曲線和被噪聲模糊的臺(tái)階曲線都變換為平滑的臺(tái)階曲線；一次差分過(guò)程把平滑了的臺(tái)階曲線變換為凸緣形

12、曲線；二次差分過(guò)程又把凸緣形曲線變換為S形曲線,如正弦曲線一樣變化。圖9.7(b)至(d)表示出上述邊緣處理過(guò)程,而圖9.7(a)則表示理想的邊緣亮度分布。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 平均和差分作用能夠被綜合到一個(gè)綜合平均過(guò)程中去,并通過(guò)點(diǎn)擴(kuò)散函數(shù)由輸入點(diǎn)特性來(lái)確定輸出點(diǎn)特性。點(diǎn)擴(kuò)散函數(shù)表示單個(gè)孤立點(diǎn)亮度不為。的點(diǎn)在圖像中如何擴(kuò)散其影響。當(dāng)按輸入來(lái)確定輸出特性時(shí),稱輸出被點(diǎn)擴(kuò)散函數(shù)所濾波。 在實(shí)際圖像中所用到的點(diǎn)擴(kuò)散函數(shù)必須表示比較多的點(diǎn)的組合,而且點(diǎn)擴(kuò)散函數(shù)必須是二維的。這些計(jì)算論證的概要是：聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化(1)必須用衰減高頻點(diǎn)擴(kuò)散函數(shù)對(duì)噪聲進(jìn)行濾波處理。

13、選用二維高斯函數(shù)要比平均函數(shù)好得多。(2)應(yīng)當(dāng)用二次差分來(lái)對(duì)邊緣進(jìn)行定位。高斯濾波器對(duì)噪聲的抑制作用能夠抵消差分過(guò)程對(duì)噪聲增強(qiáng)的影響。(3)用二維高斯濾波后,進(jìn)行的二次二維差分相當(dāng)于以形狀像墨西哥草帽或?qū)掃叢菝钡膯蝹€(gè)點(diǎn)擴(kuò)散函數(shù)來(lái)濾波。墨西哥草帽形狀是一維情況下尖峰和穿越(peak-and-through)形狀在二維情況下的相似物。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化(4)一個(gè)窄的正高斯點(diǎn)擴(kuò)散函數(shù)加上一個(gè)寬的負(fù)高斯點(diǎn)擴(kuò)散函數(shù),能夠足夠精確地表示出先高斯濾波后差分所對(duì)應(yīng)的二維墨西哥草帽狀的點(diǎn)擴(kuò)散函數(shù),如圖9.8所示。(5)用二維高斯點(diǎn)擴(kuò)散函數(shù)來(lái)濾波相當(dāng)于連續(xù)以兩個(gè)一維高斯點(diǎn)擴(kuò)散函數(shù)(一個(gè)為垂直方

14、向,另一為水平方向)來(lái)濾波。這意味著,高斯濾波是快速的。因此,墨西哥草帽形濾波也可以是快速的。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化2.靈長(zhǎng)目動(dòng)物視網(wǎng)膜特性靈長(zhǎng)目動(dòng)物視網(wǎng)膜特性 墨西哥草帽形濾波器與一些了解靈長(zhǎng)目動(dòng)物早期視覺(jué)的實(shí)驗(yàn)相一致。關(guān)鍵實(shí)驗(yàn)如圖9.9所示。被試動(dòng)物注視各種從白色背景前移過(guò)的色質(zhì)(stimuli)。這些色質(zhì)包括一條窄的黑帶、一條寬的黑帶以及一個(gè)單白一黑邊緣。記錄探針測(cè)定各種神經(jīng)反應(yīng)。把此神經(jīng)反應(yīng)與據(jù)墨西哥形草帽濾波器作出的預(yù)計(jì)進(jìn)行比較。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 圖9.10給出比較結(jié)果。在圖9.10中,(a)表示3個(gè)自左向右移動(dòng)的色質(zhì)的亮度分布曲線;(b)表示以

15、適當(dāng)寬度的墨西哥草帽形濾波器對(duì)所給出的亮度分布進(jìn)行濾波的結(jié)果；(c)為所謂X神經(jīng)節(jié)細(xì)胞上記錄的實(shí)驗(yàn)數(shù)據(jù)。比較圖9.10(b)和(c)可見(jiàn),兩者極其相似。這表明靈長(zhǎng)目動(dòng)物的視網(wǎng)膜確實(shí)進(jìn)行了某些與墨西哥草帽形濾波器十分相似的處理工作。如果對(duì)墨西哥草帽形濾波器稍加修改,就能夠改善相似性,如圖9.10(d)所示。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 比較結(jié)果得到的高度相似性,使我們有足夠的根據(jù)作出下列假設(shè)：(1)靈長(zhǎng)目動(dòng)物視網(wǎng)膜所進(jìn)行的濾波處理功能在運(yùn)算上與由墨西哥草帽形點(diǎn)擴(kuò)散函數(shù)所進(jìn)行的濾波相似。(2)存在有兩種視網(wǎng)膜細(xì)胞,一種用于傳輸濾波圖像的正向部分,另一種傳遞濾波匾像的負(fù)向部分。(3)對(duì)于每

16、種細(xì)胞,墨西哥草帽形濾波器是通過(guò)激發(fā)與禁止這兩種操作的組合來(lái)實(shí)現(xiàn)的。這個(gè)濾波器等價(jià)于兩個(gè)以二維高斯濾波器濾波所得圖像的差。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化3.物體距離的確定物體距離的確定 立體視覺(jué)由兩眼得到的信息來(lái)確定距離。由于兩眼間的距離是已知的,因而一旦在兩眼所得圖像中找到了物體的位置,就容易求得觀察者到此物體的距離。 圖9.11表示兩眼立體視覺(jué)中的相對(duì)位置關(guān)系。圖中,P點(diǎn)為一物體。兩個(gè)透鏡的軸線是平行的。f為兩透鏡與圖像平面的距離,即為其焦距。b為兩透鏡軸線在基線上的距離,即為兩眼的距離。l和r分別為P點(diǎn)與左、右透鏡軸的距離。和分別為左右圖像與其相應(yīng)透鏡軸線的距離。 從兩相似三角形

17、,我們可以得下列關(guān)系式：聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 已知b=L+r,代入上式,可求得觀察者雙眼至物體的距離： 由于雙眼距離b為已知,焦距f也是確定的,因此,一個(gè)物體與雙眼的距離和(+)反比。 (+)為該點(diǎn)的一幅圖像點(diǎn)位置相對(duì)于另一幅圖像點(diǎn)位置的位移,稱為視(disparity)。 立體視覺(jué)的實(shí)際問(wèn)題就是根據(jù)左右兩圖像找到相應(yīng)的物體,以便能夠測(cè)量視差。有許多不同的立體視覺(jué)系統(tǒng)能在不同程度上成功地尋找出相應(yīng)的物體。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.1.3表面方向的計(jì)算 研究由圖像明暗度(shading)來(lái)計(jì)算物體表面方向信息的過(guò)程,其目的在于更多翅解為產(chǎn)生二維半簡(jiǎn)圖信息所需要的

18、計(jì)算。1.反射圖體現(xiàn)光照約束反射圖體現(xiàn)光照約束 從物體表面反射的光量取決于表面材料以及光源、觀察者與表面法線之間的相對(duì)角度。這些角度如圖9.12所示。其中, i為表面法線與光源方向之間的入射角；e為表雇線和觀察者之間的出射角;g為觀察者方向與光源方向間的相位角。 把從所有可能位置觀察到的亮度都相同的表面定義為朗伯表面(Lamber surface),它的亮度只由光源的方向決定。這一關(guān)系遵循下列公式： Ecosi (9.5) 式中,E為被觀察亮度; 為表面反射率(對(duì)于特定的表面材料, 為一常數(shù))；i為入射角。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 為了認(rèn)識(shí)朗

19、伯表面如何反射光,我們進(jìn)行如下實(shí)驗(yàn)：用朗伯顏料涂敷一個(gè)球面,并讓它在一點(diǎn)光源附近移動(dòng)。對(duì)于每一光源位置,觀察并記下亮度與表面法線的關(guān)系,畫(huà)出其等亮度線。圖9.13給出三個(gè)不同光源方向情況下的等亮度線。其中,對(duì)于圖9.13(a),光線正好從觀察者背后照射,其等亮度線為一些同心圓。最亮點(diǎn)的亮度為, 此點(diǎn)的法線正好指向觀察者。這時(shí),cos i=1。離開(kāi)球面的邊界方向,亮度逐漸變暗,在邊界處的亮度變?yōu)?,因?yàn)檫@時(shí)cosi=0。對(duì)于圖9.13(b),光源方向與觀察者方向間的夾角為450,這時(shí),最亮點(diǎn)的亮度仍為,但它已不是表面法線正對(duì)觀察者的點(diǎn),而是表面法線指向光源的點(diǎn)。亮度為0的線是球面上的圓周,但不是

20、球面的二維圖像中的圓周。有時(shí),稱亮度為0的線為陰影線(shadow line),或明暗界線(terminator)。對(duì)于圖9.13(c),光線是從右面照射的,而且觀察者方向與光源方向呈直角交角。這時(shí),最亮點(diǎn)是在球面邊緣上,而陰影線則為直線。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 雖然圖9.13可用來(lái)說(shuō)明表面方向與亮度的關(guān)系,不過(guò)它是在空間曲面上的表示方法,因而不便于實(shí)際使用。實(shí)際中使用的方法是把等亮度線投影到平面上去。投影后的等亮度線構(gòu)成反射圖(reflectance map)。 有多種繪制反射圖的方法,其中之一是把等亮度線投影到梯度空間平面。梯度空間平面

21、是一個(gè)和視線垂直的切面。投影的方法是把表面各點(diǎn)的法線向外延長(zhǎng),直至與梯度空間平面相交為止。另一種有用的投影方法也是把球面上的點(diǎn)投影到球面的切面上去(切面的坐標(biāo)軸為F和G),其投影方法是：從球面上與觀察者相對(duì)的點(diǎn)出發(fā),與要投影的點(diǎn)連成直線,再與切面相交。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化2.表面方向的確定表面方向的確定 上面研究了利用表面方向預(yù)測(cè)表面的亮度。下面研究相反的問(wèn)題,即從感測(cè)到的亮度來(lái)計(jì)算表面各方向參數(shù)f和g。 由f和g來(lái)確定表面方向,初看起來(lái)似乎是不可能的。因?yàn)橐恍K表面只能確定切面FG上的一條曲線,而不是單一的點(diǎn)。但是,事實(shí)上這樣做卻是可能的,因?yàn)榇蟛糠直砻媸瞧交?在不同深度

22、和方向上只出現(xiàn)有少數(shù)不連續(xù)的情況。因此,可以利用下面兩個(gè)約束：(1)亮度。由f和g所確定的表面方向應(yīng)與表面亮度所要求的表面方向無(wú)多大不同。(2)表面平滑度。一點(diǎn)的表面方向應(yīng)與鄰近各點(diǎn)的表面方向無(wú)多大變化。 對(duì)于每個(gè)點(diǎn),計(jì)算的f和g值應(yīng)兼顧上述兩個(gè)約束計(jì)算所得的值。圖9.14中,根據(jù)亮度,要求特定點(diǎn)的f和g值應(yīng)落在等亮度線上,而據(jù)表面平滑度則要求f和g值接近相鄰點(diǎn)f和g的平均值。 從直觀上看,在平均點(diǎn)與等亮度線之間選擇某個(gè)點(diǎn)是有道理的。不過(guò),仍然存在兩個(gè)間題,即這個(gè)所選擇的點(diǎn)在哪里,以及如何知道相鄰點(diǎn)的平均值。下面是這兩個(gè)問(wèn)題的解答。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化(1)折中通過(guò)平均點(diǎn)并垂

23、直于等亮度線的直線上的某個(gè)點(diǎn),作為所選擇的點(diǎn)。(2)首先假設(shè)所有未知的f和g均為零值,然后用在初始值的平均點(diǎn)與等亮度線之間求得的折中方法,為每一點(diǎn)計(jì)算新的f和g值,再重復(fù)利用更新了的值計(jì)算f和g值,直至其值變化足夠小為止。 為檢查上述計(jì)算過(guò)程是否可行,需要一些耗時(shí)的和可選擇的計(jì)算。先研究?jī)煞N誤差平滑性偏差e1和預(yù)計(jì)亮度偏差e2的測(cè)量。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 總誤差為e=e1+e2,其中為一常數(shù),用于調(diào)整兩偏差以保持一定的平衡。要求得使總偏差為最小的fi,j和gi,j,我們對(duì)fi,j和gi,j分別取微分,并令其微分值等于0。這樣可得下式： 根

24、據(jù)下列第(n+1)個(gè)迭代項(xiàng)(fi,jn+1,gi,jn+1)與第n個(gè)迭代項(xiàng)(fi,jn,gi,jn)的相關(guān)規(guī)則,能夠求得這些方程式的解答如下：式中, fi,j0=0,gi,j0=0聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 這些規(guī)則稱為松弛公式。應(yīng)用這些公式相當(dāng)于從原來(lái)的估計(jì)值出發(fā),沿著垂直于等亮度線方向,朝等亮度線移動(dòng)一步,以改善對(duì)f和g的估計(jì)。每步移動(dòng)大小正比于所觀察到的亮度與據(jù)當(dāng)前f和9預(yù)測(cè)到的亮度之差,也與誤差平衡參數(shù)成正比。 應(yīng)用松弛公式的過(guò)程,通常稱為松弛過(guò)程。 綜上所述,可得計(jì)算表面方向的松弛算法如下：(1)對(duì)所有非邊界點(diǎn),令f=0和g=0。對(duì)所有邊界點(diǎn),令f和g規(guī)定一個(gè)長(zhǎng)度為2的垂

25、直于邊界的矢量。稱輸入陣列為當(dāng)前陣列。(2)進(jìn)行下列步驟(直到所有的值變化得足夠慢為止)： (a)對(duì)當(dāng)前陣列中的每個(gè)點(diǎn)： i)如果是邊界點(diǎn),則不做任何事； ii)如果是非邊界點(diǎn),那么用松弛公式計(jì)算新的f和g值。 (b)把所得新陣列稱為當(dāng)前陣列。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.2積木世界的景物分析 景物分析是研究視覺(jué)的重要問(wèn)題?？梢?jiàn)的景物由傳感器編碼,并被表示為一個(gè)灰度數(shù)值矩陣,再由檢測(cè)器處理。檢測(cè)器搜索圖像的主要成分,如線段、簡(jiǎn)單曲線和角度等。對(duì)這些成分進(jìn)行處理,以便利用知識(shí)來(lái)推斷有關(guān)景物的三維特征信息。其最終目標(biāo)在于利用模型來(lái)表示該景物。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.2

26、.1積木世界景物的線條標(biāo)示方法 積木世界視覺(jué)研究的主要目標(biāo)是理解從一堆玩具積木的圖像得到對(duì)于景物的描述。所謂描述就是把出現(xiàn)在圖像中的大量的線條聚集成代表景物中各個(gè)積木的線條組。研究積木世界景物時(shí),輸入的圖像可以是積木景物的照片、電視攝影圖像或是線條圖。如果是屬于前兩種,那么第一步就是從圖像得到線條圖。這屬于馬氏初始簡(jiǎn)圖的范圍,但沒(méi)有那樣復(fù)雜,只是用了邊緣檢測(cè)算子。在以下的討論中,我們都假設(shè)已經(jīng)得到了積木世界的線條圖的情況。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 積木世界景物分析的研究對(duì)象比較狹窄,并且是有意地進(jìn)行了簡(jiǎn)化,但仍不失為合適的計(jì)算機(jī)視覺(jué)研究的初步目標(biāo)。在這個(gè)領(lǐng)域中的研究已經(jīng)取得了一些

27、有實(shí)用意義的成果。積木世界可以推廣為類似工業(yè)零件的多面體,而理解簡(jiǎn)單的三維工程圖是建立有視覺(jué)的工業(yè)機(jī)器人裝配系統(tǒng)的第一步。 對(duì)積木世界研究的最早成果是羅伯茨(Roberts)在1965年發(fā)表的論文。羅伯茨希望以圖9.15中所示的多面體基元來(lái)解釋圖9.16(a)中的線條圖。景物中的一個(gè)簡(jiǎn)單的物體可以看成是基元經(jīng)、過(guò)變換以后得到的一個(gè)實(shí)例。變換可以包括沿三個(gè)軸的比例變化、轉(zhuǎn)化和旋轉(zhuǎn)。組合的多面體可以看成是由若干個(gè)簡(jiǎn)單的多面體貓合而成。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 要理解景物的局部,首先要確定圖像中有哪些基元,基元要經(jīng)過(guò)什么變換才能出現(xiàn)在景物中現(xiàn)在的位置上。識(shí)別基元是通過(guò)把線條圖和模型基元

28、的拓?fù)涮匦?面、線、頂點(diǎn)的結(jié)構(gòu))進(jìn)行匹配來(lái)實(shí)現(xiàn)的。先是試驗(yàn)性的匹配,然后由一個(gè)量度過(guò)程來(lái)確定這個(gè)轉(zhuǎn)換是否是允許的。當(dāng)在景物中識(shí)別出轉(zhuǎn)換的基元時(shí),這個(gè)基元就被想象成已被切開(kāi)并被移走了,新的可看見(jiàn)的線條就填進(jìn)來(lái),又開(kāi)始對(duì)新的景物進(jìn)行分析。羅伯茨的算法雖然不是很可靠,但這是一項(xiàng)開(kāi)拓性的工作,標(biāo)志著積木世界景物分析研究工作的開(kāi)始。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 古茲門(mén)(Guzmen)在1969年提出的程序可以對(duì)一幅相當(dāng)復(fù)雜的線條圖(圖9.16 (b)進(jìn)行分析。線條把圖分成若干個(gè)多面體區(qū)域。程序的目標(biāo)是把這些區(qū)域聚集成組,每一組相應(yīng)于一個(gè)多面體“塊”。任何無(wú)

29、多義性的、合理的解釋都是可以接受的?；镜母拍钊匀皇菑木拔锓e累局部證據(jù)；然后,根據(jù)這些證據(jù)聚集成多面體。古茲門(mén)的算法以連接兩個(gè)屬于同一物體的兩個(gè)區(qū)域的鏈作為證據(jù)。鏈圍繞頂點(diǎn)排列。頂點(diǎn)可分成圖9.17所示的類型。物體和背景之間不考慮鏈。使用相當(dāng)復(fù)雜的規(guī)則,根據(jù)區(qū)域和鏈,利用聚類方法對(duì)景物進(jìn)行解釋。鏈還包括不允許某9個(gè)相鄰區(qū)域?qū)儆谕晃矬w的禁止鏈。古茲門(mén)的算法對(duì)一般的景物可以工作得良好,但由于存在過(guò)多的特殊情況和例外,容易引起混亂?？傊?在相當(dāng)廣的應(yīng)用范圍里這種算法雖然不十分精巧,但還是可以勝任的。 聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 赫夫曼(Huffmen)與克洛斯(Clows)獨(dú)立地研究了

30、與古茲門(mén)相似的景物。他們希望對(duì)景物的解釋不只是分析哪些區(qū)是由單個(gè)物體產(chǎn)生的,而且希望分析線條。圖9.18所示為一個(gè)懸在空中的L形實(shí)心體。標(biāo)有“”標(biāo)志的是凸面邊緣,標(biāo)有“”標(biāo)志的是凹面邊緣。箭頭標(biāo)志“”表示物體遮住了后面的表面。當(dāng)沿著箭頭方向看時(shí),引起遮擋的實(shí)體是在右面,被遮住的表面是在左面。如果立方體懸在空中,那么最下面的線可標(biāo)為“”而不是“”(赫夫曼并沒(méi)有考慮陰影線,也沒(méi)有考慮斷裂線)。按這樣的方法,分析的目標(biāo)就變成對(duì)線條圖中的每一條線確定它是由景物中的什么類型邊緣產(chǎn)生的。換句話說(shuō),現(xiàn)在所研究的任務(wù)是標(biāo)示線條。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 雖然每條線單從其本身來(lái)考慮有三種可能性：凸

31、面邊緣、凹面邊緣以及遮擋邊緣,但對(duì)一個(gè)由線條相交形成的接點(diǎn)來(lái)說(shuō),并不是所有這些可能性組合都可以解釋為實(shí)際可能實(shí)現(xiàn)的邊緣連接。例如,對(duì)三面相交的頂點(diǎn)來(lái)說(shuō),在64種線條組合中只有圖9.28所示的18種(T形接點(diǎn)包括在內(nèi))是可實(shí)現(xiàn)的。這樣,就可能對(duì)每種接點(diǎn)類型規(guī)定可允許的接點(diǎn)。把這些允許的接點(diǎn)收集在一起就可形成“接點(diǎn)字典”。然后,可利用接點(diǎn)字典來(lái)限制線條組合的可能性。另外,因?yàn)榫€條在其兩端都代表同一種邊緣,所以不難看到,從原理上來(lái)說(shuō)算法可以利用這種一致性的約束來(lái)刪除不可能的標(biāo)示。 華爾茲(Waltz)發(fā)展和完善了古茲門(mén)和克洛斯的算法。華爾茲的算法對(duì)光照以及陰影條件幾乎不作限制?？梢苑治鋈鐖D9.16(

32、c)所示線條圖。此圖中包含有陰影線和斷裂線。華爾茲的算法可把圖中的每一條線都解釋為”種可能的邊緣中的一種。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 在分析線條圖時(shí)(如圖9.16 (c),一個(gè)主要問(wèn)題是確定哪些是分割物體的邊界線。從圖9.16(c)可以看到邊界線、凸面線、凹面線、陰影線和斷裂線只能以很少幾種方式組合在接點(diǎn)上,而這種對(duì)接點(diǎn)組合的限制,稱為符號(hào)約束或約束,又決定了對(duì)線條圖中每一條線的合理的物理解釋。一旦知道了對(duì)線條的正確解釋就不難利用已知的邊界線把線條圖分成各個(gè)物體。華爾茲方法的基本過(guò)程是約束傳播。約束傳播過(guò)程通過(guò)局部計(jì)算達(dá)到全局的一致性。它也是一種推理過(guò)程。 以下介紹華爾茲的線條標(biāo)示

33、方法,并且主要研究只具有三面頂點(diǎn)的物體。先從比較簡(jiǎn)單的無(wú)陰影和無(wú)斷裂線的情況開(kāi)始,然后,擴(kuò)展到有陰影和有斷裂線的情況。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.2.2無(wú)斷裂和陰影時(shí)三面頂點(diǎn)的標(biāo)示方法1.線條和接點(diǎn)的分類線條和接點(diǎn)的分類 下面先研究無(wú)斷裂的三面頂點(diǎn),并且設(shè)想合適的光照條件,避免了所有的陰影。在這樣的環(huán)境下,圖中的所有線條代表了各種天然產(chǎn)生的邊緣。這些線條的簡(jiǎn)單分類如下： 邊界線 所有線條 凸面線 內(nèi)邊線 凹面線 首先把線條分成邊界線和內(nèi)邊線。邊界線分割屬于不同物體的區(qū)域,而內(nèi)邊線分割屬于同一物體的區(qū)域。內(nèi)邊線或者與凸面邊緣有關(guān),或者與凹面邊緣有關(guān)。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人

34、自動(dòng)化 為便于以符號(hào)表示,線條的解釋可以在圖上以線條標(biāo)示來(lái)辨認(rèn)。因?yàn)榻?jīng)常用到這些標(biāo)示,所以最好能熟記腦中。 凸面線帶有加標(biāo)志“”； 凹面線帶有減標(biāo)志“一”； 邊界線帶有箭頭標(biāo)志“”。 圍繞接點(diǎn)的線條標(biāo)示的組合稱為接點(diǎn)標(biāo)示。將可看到天然的約束限制了在實(shí)際上可以實(shí)現(xiàn)的接點(diǎn)標(biāo)示的數(shù)目。標(biāo)在邊界線上的箭頭標(biāo)示的方向決定于邊界線的哪一邊相應(yīng)于造成這條邊界線的物體的面。設(shè)想沿邊界線行進(jìn),并保持產(chǎn)生此邊界線的物體在你的右面。這樣,行進(jìn)的方向就是箭頭的方向。 很容易以一種反映我們對(duì)圖9.18上所畫(huà)的L形實(shí)心體的直覺(jué)的方法來(lái)標(biāo)志圖上的每一根線。通過(guò)標(biāo)志這張圖說(shuō)明,為了解釋這些線條,我們應(yīng)用了對(duì)實(shí)際情況的理解。現(xiàn)

35、在所要探求的關(guān)鍵概念是改變?cè)瓉?lái)過(guò)程,轉(zhuǎn)而利用線條解釋的知識(shí)以達(dá)到對(duì)實(shí)際的可實(shí)現(xiàn)性的理解。為了要這樣做,必須理解現(xiàn)實(shí)世界所強(qiáng)加的固有的約束。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 現(xiàn)實(shí)世界中的頂點(diǎn)造成線條圖中的接點(diǎn)?？梢愿鶕?jù)相交的線條數(shù)目和線條之間角度的大小對(duì)這些接點(diǎn)進(jìn)行分類。在圖9.19中對(duì)每種接點(diǎn)分配了一個(gè)助記名。在下述簡(jiǎn)單假設(shè)下,可以把接點(diǎn)種類歸納成叉(fork)、箭(arrow) , L和T形等幾種：(1)有限的線條解釋,即假設(shè)沒(méi)有陰影或斷裂。如果頂點(diǎn)是三面頂點(diǎn)并且無(wú)陰影和斷裂 線,就只包括叉、箭,L和T4種。(2)三個(gè)面組成的頂點(diǎn),即所有的頂點(diǎn)都正好是由物體的三個(gè)面相交而成。(3)通用

36、的位置。觀察點(diǎn)應(yīng)選擇好,使其不因眼睛的微小移動(dòng)而造成接點(diǎn)的變化。 我們只暫時(shí)實(shí)行上述假設(shè),以后將會(huì)撤銷這些假設(shè)。這些假設(shè)的用途是減少可能的接點(diǎn)的數(shù)目,從而減少可能的對(duì)接點(diǎn)周?chē)€條的解釋。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 三面頂點(diǎn)的假設(shè)意味著空間所有的頂點(diǎn)都嚴(yán)格地是三個(gè)面相交,如同立方體的頂點(diǎn)那樣。圖9.20中的每個(gè)物體都僅僅涉及到三面頂點(diǎn)。請(qǐng)注意,在圖上只出現(xiàn)三種接點(diǎn)：叉形、箭形和L形。因?yàn)橐粋€(gè)物體可以在另一個(gè)物體的前面,所以T形接點(diǎn)也可能出現(xiàn)。但因?yàn)閮H限于研究三面頂點(diǎn),所以先避免山峰、Psi,K和X形等頂點(diǎn)。 因?yàn)榭捎?種方式標(biāo)志任何給定的線條,所以就必然有4“一16種方式標(biāo)志一個(gè)L形

37、接點(diǎn)。類似地,必然有43 =64種方式標(biāo)志任何特定的叉、箭和T形接點(diǎn),這就決定了可能出現(xiàn)在一個(gè)線條圖中的接點(diǎn)標(biāo)志數(shù)目的上界是208種,但事實(shí)上只有其中的18種是可能出現(xiàn)的。例如在我們所作的假設(shè)之下,在現(xiàn)實(shí)的多面體的線條圖中要找到圖9.21中所示的接點(diǎn)標(biāo)志是不可能的。 聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 下一項(xiàng)工作是把可能出現(xiàn)的接點(diǎn)標(biāo)示收集在一起,L、叉、T和箭形接點(diǎn)的可能接點(diǎn)標(biāo)志數(shù)分別為6,5,4和3。知道了這些可能的接點(diǎn)標(biāo)示,分析線條圖就像是玩拼板游戲。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化2.標(biāo)志三面接點(diǎn)的方法標(biāo)志三面接點(diǎn)的方法 為了對(duì)圍繞接點(diǎn)的線條的標(biāo)示方式進(jìn)行分類,我們需要從每個(gè)可

38、能的方向來(lái)觀察每種實(shí)際可能的三面頂點(diǎn)。這樣做會(huì)遇到可供選擇的方向過(guò)多的困難,為此把除了一般的觀察位置以外的方向都排除在外,以減少可能出現(xiàn)的情況。假設(shè)在這一節(jié)的其余部分僅討論只包含三面頂點(diǎn)的線條圖。任何三面頂點(diǎn)的三個(gè)面規(guī)定了三個(gè)相交的平面,這三個(gè)相交的平面把空間分成8個(gè)間隔,如圖9. 22所示。很明顯,某個(gè)形成一個(gè)頂角的物體就占有上述8個(gè)間隔(或八分體)中的一個(gè)或幾個(gè)。接點(diǎn)標(biāo)志所說(shuō)明的是物體如何占有八分體。可以通過(guò)以下兩個(gè)步驟來(lái)構(gòu)成完整的包含所有連接可能性的字典：先考慮所有的以物體來(lái)充滿這8個(gè)八分體的方式；然后,從未被充滿的八分體觀察所得到的頂點(diǎn)。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 當(dāng)然,如

39、果沒(méi)有一個(gè)八分體被充滿,或者所有的八分體都被充滿了,那么說(shuō)明不存在頂點(diǎn),從而沒(méi)什么要進(jìn)一步考慮的。但如果8個(gè)八分體中的7個(gè)被充滿了,如圖9.23(a)所示,顯然,7個(gè)八分體的情況確認(rèn)了一個(gè)叉形接點(diǎn)標(biāo)志。在此接點(diǎn)標(biāo)志中,有關(guān)的三根線條中的每一根都標(biāo)有負(fù)號(hào)。這里要說(shuō)明的是,在此線條圖中我們惟一感興趣的接點(diǎn)是在中心的接點(diǎn)。圖中周?chē)木€條只是為了在視覺(jué)上幫助理解這7個(gè)被充滿的八分體如何形成一個(gè)接點(diǎn)。再則,因?yàn)橛?個(gè)八分體被充滿,所以只余下一個(gè)八分體,從這個(gè)八分體來(lái)觀察這個(gè)頂點(diǎn),不論在八分體內(nèi)的什么位置,所看到的這個(gè)接點(diǎn)的類型都是叉形。幸運(yùn)的是,在八分體內(nèi)所觀察的接點(diǎn)類型不變這個(gè)性質(zhì)是普遍的。當(dāng)觀察的位

40、置在八分體內(nèi)移動(dòng)時(shí),雖然線條之間的角度有顯著的變化,但接點(diǎn)的類型并不變。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 至今,在可能的接點(diǎn)標(biāo)志的字典中只有一項(xiàng)：叉形。如只有一個(gè)八分體被充滿,就可得到一個(gè)新項(xiàng)。圖9.23(b)中所示為這個(gè)新項(xiàng)。與上一種情況相似,只研究中心的接點(diǎn),其周?chē)木€條只是為了幫助理解這個(gè)被充滿的八分體在空間的位置。因?yàn)閮H有一個(gè)八分體被充滿,所以可以從其余7個(gè)八分體來(lái)觀察這個(gè)頂點(diǎn)。而至今只有1個(gè)從與這個(gè)八分體對(duì)角相對(duì)的八分體觀察所得到的接點(diǎn)標(biāo)志。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 下面來(lái)研究從其余6個(gè)八分體觀察的情況。圖9.24中所畫(huà)的小人占了其中的3個(gè)位置。如圖9.25所示,

41、對(duì)于剩下的3個(gè)八分體中的兩個(gè),把小人放入窗框中,并升高到這個(gè)立方體頂部所規(guī)定的平面以上。最后一個(gè)觀察點(diǎn)由頂部的小人所規(guī)定。所有6個(gè)小人觀察點(diǎn)只產(chǎn)生兩種新的接點(diǎn)標(biāo)志,因?yàn)槠渲腥齻€(gè)產(chǎn)生一種箭形標(biāo)志,另外三種產(chǎn)生一種L形。實(shí)際上,從所研究的情況是對(duì)稱的就可以料想到這一點(diǎn)。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 現(xiàn)在來(lái)研究有2個(gè)、4個(gè)或6個(gè)八分體被充滿的情況。所有這些都僅限在當(dāng)初的三面頂點(diǎn)的假設(shè)之下。例如,設(shè)有2個(gè)八分體被充滿。如果這2個(gè)八分體是相鄰的,那么,這2個(gè)八分體之間的邊緣就是斷裂線,這樣在中心頂點(diǎn)就有4個(gè)物體面,所以這個(gè)頂點(diǎn)就不再是3面的。如這2個(gè)八分體不相鄰,那么這2個(gè)八分體或者將在一條邊

42、緣相交,或在一個(gè)公共點(diǎn)。無(wú)論上述哪一種方式,都會(huì)使中心頂點(diǎn)的面多于3個(gè)。相類似的論證可以把4個(gè)和6個(gè)八分體的情況也排除在外,只留下3個(gè)和5個(gè)八分體的情況需要考慮。 在3個(gè)八分體的情況下,如圖9.26所示,從其余5個(gè)八分體中的每一個(gè)來(lái)觀察都得到互不相同的接點(diǎn)標(biāo)志。當(dāng)然,從其中的一個(gè)八分體觀察得到的是叉形,從另一個(gè)八分體觀察得到的是箭形,從其余的三個(gè)八分體觀察得到的是L形。所觀察得到的L形中的每一個(gè)都是互不相同的。 圖9.27所示為5個(gè)八分體被充滿的情況。共有三種接點(diǎn)標(biāo)志,其中的任何一種都不同于以前所看到的。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 最后,因?yàn)闆](méi)

43、有斷裂,所以只有4種方式可用來(lái)標(biāo)志T。所有這些T的標(biāo)志都是部分遮擋的結(jié)果。這樣使得標(biāo)志接點(diǎn)的方式的總數(shù)達(dá)到18種。所有這些標(biāo)志方式都收集在圖9.28中,再要指出一點(diǎn),即有三種標(biāo)志的方式是旋轉(zhuǎn)對(duì)稱的。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 以上列舉了所有可能的組成三面頂點(diǎn)的方式,并且從所有可能的方向來(lái)觀察每個(gè)這樣的頂點(diǎn)。這18種接點(diǎn)標(biāo)志就是所有可能的這些接點(diǎn)被標(biāo)志的方式,任何不在所列的表中的標(biāo)志,都找不到實(shí)際的三面頂點(diǎn)與之相對(duì)應(yīng)。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.2.3有斷裂和陰影時(shí)線條圖的分析 到目前為止,我們都是在物體懸掛在背景前面的假設(shè)下分析線條圖的。如果一個(gè)立方體是放在桌子上,那

44、么這個(gè)立方體的底線就表示凹面邊緣,而不是邊界。然而這樣的解釋不是惟一的,因?yàn)橐粋€(gè)立方體也可能如圖9.29所示,是貼在墻上的。如果沒(méi)有附加的線條或假定,幾種解釋同樣都可以接受。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 如果引入陰影就可以解決這種不確定性。在圖9.30中間的那個(gè)方塊肯定是放在一個(gè)水平面上的,而左面和右面的方塊雖然不熟悉,但看起來(lái)是垂直地貼著的。顯然,擴(kuò)展標(biāo)志種類使其包括陰影標(biāo)志加進(jìn)了新的約束,并簡(jiǎn)化分析。 注意：注意：圖9.30引入的陰影標(biāo)志,如同邊界標(biāo)志那樣,代表一個(gè)方向。陰影標(biāo)志是一個(gè)指向陰影區(qū)域的小箭頭。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 這樣,在標(biāo)志字典中,已有6種標(biāo)志,

45、其中邊界和陰影各有兩種,凸面和凹面邊緣各有一種。用這組擴(kuò)展了的標(biāo)志來(lái)進(jìn)行標(biāo)示是簡(jiǎn)單的但卻是乏味的工作。從已完成的例子說(shuō)明,改善線條描述可使約束的數(shù)目增加,從而提高分析的速度。下面進(jìn)一步研究是否有其他方法對(duì)線條的解釋作進(jìn)一步的分類。在介紹具體方法以前,有一個(gè)問(wèn)題需要注意,即隨著線標(biāo)志集合的擴(kuò)展,實(shí)際接點(diǎn)標(biāo)志的集合將顯著增加。將會(huì)有幾千種合法的接點(diǎn)標(biāo)志,而不是只有18種。因此不可能建立一個(gè)合法接點(diǎn)標(biāo)志表以試圖讓模擬計(jì)算機(jī)利用這個(gè)表格來(lái)做些什么。我們不這樣做,而是問(wèn)：合法的標(biāo)志數(shù)目相對(duì)于不合法的標(biāo)志數(shù)如何增加。然后研究實(shí)驗(yàn)結(jié)果,以幫助回答關(guān)于擴(kuò)展標(biāo)志會(huì)帶來(lái)什么改進(jìn)和為什么能夠得到這些改進(jìn)的問(wèn)題。下面

46、介紹兩種對(duì)線條解釋作進(jìn)一步分類的方法。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化(1)對(duì)凹面標(biāo)志進(jìn)一步分類并引入斷裂線標(biāo)志對(duì)凹面標(biāo)志進(jìn)一步分類并引入斷裂線標(biāo)志 考慮到物體經(jīng)常放在一起,所以,凹面標(biāo)志可以分成三類,這三類表示有關(guān)物體的數(shù)目并可確定哪個(gè)物體是在前面的。設(shè)一條凹面邊緣表示兩個(gè)物體接觸在一起的地方。然后想象把這兩個(gè)物體稍為拉開(kāi)一點(diǎn)。這樣,這個(gè)凹面邊緣就成為邊界,其上標(biāo)志指向兩個(gè)可能方向中的一個(gè),如圖9.31(a)和9.31(b)所示。這兩種可能性以一個(gè)由原來(lái)的負(fù)號(hào)標(biāo)志和一個(gè)新的箭頭標(biāo)志組成的合成標(biāo)志來(lái)表示。如果有三個(gè)物體相接觸,同樣可以利用一個(gè)合成標(biāo)志表示如果物體稍微離開(kāi)一些時(shí)可以看到什么

47、,如圖9.31(c)所示。 斷裂線也可以類似地處理：每一根斷裂線被標(biāo)以一個(gè)c和一個(gè)箭頭,表示這兩個(gè)有關(guān)的物體如何配合在一起。連同斷裂線一起,我們有如圖9.32所示的圖表?，F(xiàn)在一共有11種標(biāo)志線條的方法。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化(2)用光照條件增加標(biāo)志數(shù)量和嚴(yán)格約束用光照條件增加標(biāo)志數(shù)量和嚴(yán)格約束 另一種改善線條描述的方法是結(jié)合單光源的光照條件。假設(shè)物體任何一個(gè)面的照明狀態(tài)必定屬于如圖9.33所示的三種類型中的一種：一個(gè)面可能是被直接照明,或被另一個(gè)面所遮光,或因?yàn)楸畴x光源而處于陰影區(qū)。這三種可能性可用符號(hào)來(lái)表示：工表示直接照明；S表示被另一物

48、體所遮光；SS表示因背離光源而處于陰影,也稱為自遮光。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 線條標(biāo)志除了表示關(guān)于邊緣類型的基本信息以外,還可以表示關(guān)于照明狀態(tài)的知識(shí)。如果照明狀態(tài)和線條解釋可以自由組合,那么對(duì)上述11種線條解釋中的每一種都可以有32=9種照明組合,這樣可以造成總共99種可能性,但其中只有50種是可能實(shí)現(xiàn)的。例如,不存在下述這種組合,在這種組合下,陰影線的兩邊的面都是被照明的。類似地,任何類型的凹面邊緣的兩個(gè)邊的照明狀態(tài)不可能是不同的。因?yàn)檫@樣將要求不可實(shí)現(xiàn)的重合情況,即要求.陰影線恰好投影在凹面邊緣上。 概括起來(lái),線條解釋的每一次改進(jìn)都促使一次線條標(biāo)志的大擴(kuò)展。開(kāi)始時(shí)只考慮基

49、本的線條、邊界線、內(nèi)部的凹面線和凸面線。這些初始的線條種類擴(kuò)展到包括陰影線。凹面線又分成4類以反映接觸在一起的物體個(gè)數(shù)以及這些物體間相互遮擋的情況。這引入了斷裂線并以和凹面線相類似的方式分成兩類。最后,線條的信息和照明信息相結(jié)合。從最后這次擴(kuò)展產(chǎn)生50種線條標(biāo)志。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 上述這些線條標(biāo)志的變化擴(kuò)大了實(shí)際的接點(diǎn)集。原來(lái)接點(diǎn)種類有叉形、箭形,L形和T形。因解除了三面頂點(diǎn)和一般的位置約束從而新增加有山峰Psi, K, X, Muti和Kk等形接點(diǎn)。下面討論從增加這些接點(diǎn)類型得到了什么,以及從尋找和使用這些新接點(diǎn)標(biāo)志可以得到什么結(jié)果的問(wèn)題。 首先來(lái)研究可能的實(shí)際接點(diǎn)集和

50、無(wú)約束集的比較。 表9. 1所列為初始線條標(biāo)志的情況。頂點(diǎn)類型可能組合成的接點(diǎn)數(shù)可實(shí)現(xiàn)的接點(diǎn)數(shù)比例 (%)L叉T箭16646464654337.57.86.24.7聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 上述比例數(shù)表示了嚴(yán)格的但并不過(guò)分的約束。但當(dāng)線條種類擴(kuò)大時(shí),所有的數(shù)量都變大,約束成為不可能了。在擴(kuò)大了的集合(稱為華爾茲集)中的接點(diǎn)標(biāo)志數(shù),從絕對(duì)數(shù)來(lái)說(shuō)是大的,但與可能出現(xiàn)的接點(diǎn)數(shù)相比卻是小的。見(jiàn)表9.2. 在某些情況下,接點(diǎn)標(biāo)志中合法的部分只有將近總數(shù)的110-5%?？梢钥隙ǖ氖?雖然線條標(biāo)志的總數(shù)太多,以致由人工是無(wú)法利用這些標(biāo)志的,但是約束也是如此激烈,所以,對(duì)子復(fù)雜的線條圖來(lái)說(shuō),計(jì)算

51、機(jī)利用大的線條標(biāo)志集,仍然可以更快和更少不確定性地收斂到解。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化頂點(diǎn)類型可能組合成的接點(diǎn)數(shù)可實(shí)現(xiàn)的接點(diǎn)數(shù)比例 (%)L叉T箭PsiKXMuti山峰Kk2.5X1031.2X1051.2X1051.2X1056.2X1066.2X1066.2X1066.2X1066.2X1063.1X10880500500703001001001001030324.0X10-14.0X10-15.6X10-24.8X10-31.6X10-31.6X10-31.6X10-31.6X10-39.6X10-6表表9.2聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.3視覺(jué)的知識(shí)表示與控制策

52、略 為研究更高級(jí)的思維過(guò)程如何影響和利用視覺(jué),必定會(huì)遇到非視覺(jué)范圍的問(wèn)題以及具有更廣泛的適用范圍的推理能力的問(wèn)題。關(guān)于某一范圍內(nèi)的事物模型,可以支持在視覺(jué)領(lǐng)域中與應(yīng)用對(duì)象有關(guān)的對(duì)物體的計(jì)算,但這樣的模型相當(dāng)復(fù)雜。在人工智能其他領(lǐng)域中發(fā)展起來(lái)的知識(shí)表達(dá)方法,可以描述這樣的模型。類似地,在人工智能領(lǐng)域里還對(duì)推理和規(guī)劃作了大量的研究。相關(guān)的技術(shù)不但可用于其他目的的推理,也可以用于視覺(jué)領(lǐng)域中來(lái)處理概念和實(shí)現(xiàn)預(yù)定的目標(biāo)。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.3.1視覺(jué)信息的語(yǔ)義網(wǎng)絡(luò)表示 在視覺(jué)領(lǐng)域里,知識(shí)表達(dá)方法可能是模擬的,也可能是命題邏輯的。模擬的知識(shí)表達(dá)方法可以表示物體的重要物理和幾何特性。命

53、題邏輯表達(dá)方法是一些說(shuō)明有關(guān)的事物(或有關(guān)事物的模型)是真或是假的陳述。例如用景物中物體的各種物理特性,如表面方向、速度、遮擋輪廓線來(lái)表示圖像,是模擬的表達(dá)方法。用如實(shí)心體的三維模型表示景物也是模擬的表達(dá)方法。用這種模型可以計(jì)算實(shí)心體的幾何特性,甚至也能計(jì)算某些設(shè)計(jì)者未表示出來(lái)的特性。一組謂詞計(jì)算的子句是命題邏輯的。這兩種表達(dá)形式用于不同的目的,一種并不比另一種更高級(jí)。通常可以把一種表達(dá)形式轉(zhuǎn)換成另一種表達(dá)形式而不損失信息。這種區(qū)分方法是以關(guān)于人類如何表示世界的理論為基礎(chǔ)的。心理學(xué)實(shí)驗(yàn)的數(shù)據(jù)表明,人類同時(shí)應(yīng)用這兩種表達(dá)方法,而不是只用一種。這里著重介紹語(yǔ)義網(wǎng)絡(luò),這是因?yàn)樗哂腥缦绿攸c(diǎn)： 聯(lián)為聯(lián)

54、為- -稻草人自動(dòng)化稻草人自動(dòng)化(1)語(yǔ)義網(wǎng)絡(luò)可作為一種很方便地存取模擬知識(shí)的表達(dá)方法以及命題邏輯的知識(shí)表達(dá)的數(shù)據(jù)結(jié)構(gòu)。(2)語(yǔ)義網(wǎng)絡(luò)可作為一種反映在有關(guān)領(lǐng)域中事物之間相互關(guān)系的模擬結(jié)構(gòu)。(3)語(yǔ)義網(wǎng)絡(luò)可用作一種具有特殊的推理規(guī)則的命題邏輯表達(dá)法。 下面舉例介紹語(yǔ)義網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用。例如,試用語(yǔ)義網(wǎng)絡(luò)表示以下景物： “在道路57(road57)與河流3(river3)交叉處的橋梁位于建筑物30(building30 )附近。” 這個(gè)景物可以用圖9.34所示語(yǔ)義網(wǎng)絡(luò)來(lái)表示。圖中,e為element of之縮寫(xiě),ROAD(道路),BLDG(建筑物),BRIDGE(橋梁),RIVER(河流)

55、,NEAR(附近),INT(交叉)是表示類別和概念的節(jié)點(diǎn)。ROAD57, BLDG30, RIVER3等節(jié)點(diǎn),以及用ISA鏈與概念節(jié)點(diǎn)相聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 連接的未加標(biāo)志的節(jié)點(diǎn)都是表示實(shí)例的節(jié)點(diǎn)。原來(lái)是多元關(guān)系的在語(yǔ)義網(wǎng)絡(luò)中都已用一組等效的二元關(guān)系所代替。除此以外,在圖中還有標(biāo)志為X的節(jié)點(diǎn),它是一條特定的道路與一座特定的橋梁相交叉的結(jié)果,它并不表示為任何類別概念的實(shí)例,這是一個(gè)虛節(jié)點(diǎn)。如果引入很復(fù)雜的關(guān)系,可以免除虛節(jié)點(diǎn)。但這將犧牲語(yǔ)義網(wǎng)絡(luò)的重要特性,即可以用一小組基元來(lái)構(gòu)造大量復(fù)雜的關(guān)系。虛節(jié)點(diǎn)通過(guò)引用局部的復(fù)雜關(guān)系增強(qiáng)了這種能力。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9

56、.3.2位置網(wǎng)絡(luò)表示 位置網(wǎng)絡(luò)是在計(jì)算機(jī)視覺(jué)領(lǐng)域中應(yīng)用語(yǔ)義網(wǎng)絡(luò)的一個(gè)有普遍意義的例子。位置網(wǎng)絡(luò)可以把幾何的和模擬的數(shù)據(jù)與一個(gè)語(yǔ)義網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合。這個(gè)語(yǔ)義網(wǎng)絡(luò)有時(shí)像一個(gè)具有專門(mén)的求值規(guī)則的框架。位置網(wǎng)絡(luò)不但可以用于航空?qǐng)D像,也可以用于醫(yī)學(xué)圖像的應(yīng)用場(chǎng)合。 位置網(wǎng)絡(luò)是一組幾何點(diǎn)的網(wǎng)絡(luò)表示。這組幾何點(diǎn)由集合理論以及如集合的交運(yùn)算、并運(yùn)算、距離計(jì)算等幾何運(yùn)算聯(lián)系在一起。這些運(yùn)算相應(yīng)于有關(guān)物體位置的限制,是由思維方面的或是由物理上的因素所決定的。 聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 位置網(wǎng)絡(luò)中的每個(gè)內(nèi)部節(jié)點(diǎn)包含幾何運(yùn)算、運(yùn)算所需的變量表以及運(yùn)算結(jié)果。例如,一個(gè)節(jié)點(diǎn)可以表示兩個(gè)變量點(diǎn)集的并,其運(yùn)算結(jié)果

57、是一個(gè)點(diǎn)集。推理是由對(duì)網(wǎng)絡(luò)進(jìn)行求值來(lái)進(jìn)行的,即對(duì)網(wǎng)絡(luò)中所有,的運(yùn)算求值,以求取頂節(jié)點(diǎn)(根節(jié)點(diǎn))運(yùn)算的點(diǎn)集。這樣,網(wǎng)絡(luò)就有了一個(gè)通過(guò)變量鏈疊加在網(wǎng)絡(luò)上的祖先和后代層次。在這個(gè)層次結(jié)構(gòu)的底部是數(shù)據(jù)節(jié)點(diǎn)。數(shù)據(jù)節(jié)點(diǎn)不包含運(yùn)算和變量,只有幾何數(shù)據(jù)。網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)處于以下三個(gè)狀態(tài)中的一個(gè)：如果附加在節(jié)點(diǎn)上的數(shù)據(jù),在當(dāng)前被認(rèn)為是準(zhǔn)確的,那么,這個(gè)節(jié)點(diǎn)是更新的；如果已知數(shù)據(jù)是不完全的、不準(zhǔn)確的或有遺漏的,那么這個(gè)數(shù)據(jù)是過(guò)時(shí)的；如果節(jié)點(diǎn)上的內(nèi)容是由求值過(guò)程建立的,但未經(jīng)圖像驗(yàn)證,那么數(shù)據(jù)是假設(shè)的。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 在一般的應(yīng)用場(chǎng)合中,景物中所期望的特征的相對(duì)位置都已表示在網(wǎng)絡(luò)中,這樣網(wǎng)絡(luò)

58、就把圖像所期望的結(jié)構(gòu)模型化了。物體之間幾何關(guān)系的基本運(yùn)算有以下4種：(1)方向性運(yùn)算方向性運(yùn)算(左、反射、北、上、下等)：以相對(duì)于其他點(diǎn)集的位置和方向來(lái)規(guī)定點(diǎn)集。(2)區(qū)域運(yùn)算區(qū)域運(yùn)算(靠近于、在四邊形內(nèi)、在圓周內(nèi)等)：建立一個(gè)和其他點(diǎn)集無(wú)方向關(guān)系的點(diǎn)集。(3)集合運(yùn)算集合運(yùn)算：完成并、交以及求差等集合運(yùn)算。(4)謂詞運(yùn)算謂詞運(yùn)算：對(duì)區(qū)域進(jìn)行的謂詞運(yùn)算可通過(guò)測(cè)量某些數(shù)據(jù)的特征來(lái)刪除某些點(diǎn)集。例如,把寬度、長(zhǎng)度或面積相對(duì)某個(gè)數(shù)值進(jìn)行測(cè)試的謂詞運(yùn)算,可以限制在允許范圍內(nèi)集合的大小。 網(wǎng)絡(luò)是由程序從上而下地、以遞歸的方式進(jìn)行解釋的。解釋過(guò)程中把每條規(guī)則的部分結(jié)果儲(chǔ)存在和這條規(guī)則有關(guān)的最高層節(jié)點(diǎn)處(只

59、有少數(shù)例外)。求值從根節(jié)點(diǎn)開(kāi)始,在絕大多數(shù)網(wǎng)絡(luò)中,這個(gè)節(jié)點(diǎn)是運(yùn)算節(jié)點(diǎn)。對(duì)運(yùn)算節(jié)點(diǎn)的求值,首先要對(duì)它所有的變量求值,然后對(duì)這些由變量求值產(chǎn)生的結(jié)果進(jìn)行運(yùn)算。這樣網(wǎng)絡(luò)中其他要求求值的節(jié)點(diǎn)可以利用這個(gè)運(yùn)算結(jié)果。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化 數(shù)據(jù)節(jié)點(diǎn)可能已經(jīng)包含結(jié)果,這個(gè)結(jié)果可能來(lái)自變換,或以前應(yīng)用視覺(jué)運(yùn)算的結(jié)果。在求值過(guò)程中的某個(gè)時(shí)刻,求值進(jìn)行到某個(gè)節(jié)點(diǎn)。這個(gè)節(jié)點(diǎn)已被求值,并且是更新的或者是假設(shè)的(這樣的節(jié)點(diǎn)包含對(duì)這個(gè)節(jié)點(diǎn)以下的節(jié)點(diǎn)求值的結(jié)果)。這些節(jié)點(diǎn)的結(jié)果被返回,并且可當(dāng)作數(shù)據(jù)節(jié)點(diǎn)來(lái)使用。這時(shí)的節(jié)點(diǎn)使得求值機(jī)構(gòu)執(zhí)行一個(gè)低級(jí)過(guò)程,以確定特性的位置。如果這個(gè)過(guò)程在它的能力范圍內(nèi)不能確定物體

60、的狀態(tài),那么節(jié)點(diǎn)仍處于過(guò)時(shí)的狀態(tài)。任何時(shí)候,在處理過(guò)時(shí)節(jié)點(diǎn)時(shí)都不要求先重新計(jì)算更新節(jié)點(diǎn)。標(biāo)有假設(shè)的標(biāo)志的節(jié)點(diǎn)有一個(gè)通常由推理過(guò)程支持的、但未經(jīng)低級(jí)圖像處理過(guò)程驗(yàn)證的值。假設(shè)的數(shù)據(jù)可用于推理過(guò)程：所有基于假設(shè)的數(shù)據(jù)的推理結(jié)果,也都標(biāo)以假設(shè)的標(biāo)志。 如果什么時(shí)候數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)改變了(比如,由于一個(gè)獨(dú)立的過(guò)程增加了新的信息),那么所有這個(gè)節(jié)點(diǎn)的祖先就要標(biāo)志為過(guò)時(shí)的。因此,根節(jié)點(diǎn)也要標(biāo)為過(guò)時(shí)的狀態(tài)。但只有那些在過(guò)時(shí)的節(jié)點(diǎn)的通路上的節(jié)點(diǎn)才必須重新求值,以使網(wǎng)絡(luò)更新。聯(lián)為聯(lián)為- -稻草人自動(dòng)化稻草人自動(dòng)化9.3.3視覺(jué)系統(tǒng)的控制策略 計(jì)算機(jī)涉及控制規(guī)模大而復(fù)雜的信息處理任務(wù),有智能的生物系統(tǒng)解決了這個(gè)控