機器人視覺應(yīng)用

1、第七章第七章 機器人的視覺及其應(yīng)用機器人的視覺及其應(yīng)用第一節(jié)第一節(jié) 概概 述述 每個人都能體會到，眼睛對人來說是每個人都能體會到，眼睛對人來說是多么重要?？梢哉f人類從外界獲得的信息，多么重要。可以說人類從外界獲得的信息，大多數(shù)都是由眼睛得到的。人類視覺細胞大多數(shù)都是由眼睛得到的。人類視覺細胞的數(shù)量大約在的數(shù)量大約在 數(shù)量級，是聽覺細胞的數(shù)量級，是聽覺細胞的3000多倍，是皮膚感覺細胞的多倍，是皮膚感覺細胞的100多倍。從多倍。從這個角度來說，也可以看出視覺系統(tǒng)的重這個角度來說，也可以看出視覺系統(tǒng)的重要性。至于視覺的應(yīng)用范圍，簡直可以說要性。至于視覺的應(yīng)用范圍，簡直可以說是包羅萬象。是包羅萬象。

2、108 獲取機器人周圍世界的信息，人們?yōu)楂@取機器人周圍世界的信息，人們?yōu)榱藦耐饨绛h(huán)境獲取信息，一般是通過視覺、了從外界環(huán)境獲取信息，一般是通過視覺、觸覺、聽覺等感覺器官來進行的，也就是觸覺、聽覺等感覺器官來進行的，也就是說如果想要賦予機器人較為高級的智能，說如果想要賦予機器人較為高級的智能，那么離開視覺系統(tǒng)是無法做到的。那么離開視覺系統(tǒng)是無法做到的。 對于智能機器人來說，視覺系統(tǒng)是必不可對于智能機器人來說，視覺系統(tǒng)是必不可少的。從少的。從20世紀世紀60年代開始，人們便著手年代開始，人們便著手研究機器人的視覺系統(tǒng)。一開始只能識別研究機器人的視覺系統(tǒng)。一開始只能識別平面上的類似積木的物體。到了平

3、面上的類似積木的物體。到了20世紀世紀70年代，已經(jīng)可以認識某些加工部件，也能年代，已經(jīng)可以認識某些加工部件，也能認識室內(nèi)的桌子、電話等物品了。當(dāng)時的認識室內(nèi)的桌子、電話等物品了。當(dāng)時的研究工作雖然進展很快，但無法應(yīng)用于實研究工作雖然進展很快，但無法應(yīng)用于實際。這是因為視覺系統(tǒng)的信息量極大，處際。這是因為視覺系統(tǒng)的信息量極大，處理這些信息的硬件系統(tǒng)十分龐大，花費的理這些信息的硬件系統(tǒng)十分龐大，花費的時間也很長。時間也很長。 隨著大規(guī)模集成技術(shù)的發(fā)展，計算機隨著大規(guī)模集成技術(shù)的發(fā)展，計算機內(nèi)存的體積不斷縮小，價格急劇下降，速內(nèi)存的體積不斷縮小，價格急劇下降，速度不斷提高，視覺系統(tǒng)也走向了實用化。

4、度不斷提高，視覺系統(tǒng)也走向了實用化。進入進入20世紀世紀80年代后，由于微機的飛速發(fā)年代后，由于微機的飛速發(fā)展，實用的視覺系統(tǒng)已經(jīng)進入各個領(lǐng)域，展，實用的視覺系統(tǒng)已經(jīng)進入各個領(lǐng)域，其中用于機器人的視覺系統(tǒng)數(shù)量是很多的。其中用于機器人的視覺系統(tǒng)數(shù)量是很多的。 第二節(jié)第二節(jié) 機器人的視覺系統(tǒng)的組成機器人的視覺系統(tǒng)的組成及其原理及其原理一、機器人視覺系統(tǒng)的硬件系統(tǒng)一、機器人視覺系統(tǒng)的硬件系統(tǒng)機器人視覺系統(tǒng)的硬件組成：機器人視覺系統(tǒng)的硬件組成：（1）景物和距離傳感器：常用的有攝像機、）景物和距離傳感器：常用的有攝像機、CCD圖像傳感器、超聲波傳感器和結(jié)構(gòu)光圖像傳感器、超聲波傳感器和結(jié)構(gòu)光設(shè)備等。設(shè)備等

5、。（2）視頻信號數(shù)字化設(shè)備。）視頻信號數(shù)字化設(shè)備。（3）視頻信號快速處理器：如）視頻信號快速處理器：如DSP系統(tǒng)。系統(tǒng)。（4）計算機及其外設(shè)。）計算機及其外設(shè)。（5）機器人及其控制器。）機器人及其控制器。 機器人視覺的軟件系統(tǒng)有以下幾個部機器人視覺的軟件系統(tǒng)有以下幾個部分組成：分組成：（1）計算機系統(tǒng)軟件：選用不同類型的計）計算機系統(tǒng)軟件：選用不同類型的計算機，就有不同的操作系統(tǒng)和它所支撐的算機，就有不同的操作系統(tǒng)和它所支撐的各種語言、數(shù)據(jù)庫等。各種語言、數(shù)據(jù)庫等。（2）機器人視覺信息處理算法：圖像預(yù)處）機器人視覺信息處理算法：圖像預(yù)處理、分割、描述、識別和解釋等算法。理、分割、描述、識別和解

6、釋等算法。（3）機器人控制軟件。）機器人控制軟件。二、二、CCD原理原理光導(dǎo)攝像管工作原理光導(dǎo)攝像管工作原理(a)光導(dǎo)攝像管示意圖；光導(dǎo)攝像管示意圖；(b)電子束掃描方式電子束掃描方式 CCD傳感器傳感器(a)CCD行掃描行掃描傳感器；傳感器；(b)CCD面陣傳面陣傳感器感器 三、視頻數(shù)字信號處理器三、視頻數(shù)字信號處理器 圖像信號一般是二維信號，一幅圖像圖像信號一般是二維信號，一幅圖像通常由通常由512512個像素組成（當(dāng)然有時也個像素組成（當(dāng)然有時也有有256256，或者，或者10241024個像素），個像素），每個像素有每個像素有256級灰度，或者是級灰度，或者是38bit，紅黃蘭紅黃蘭1

7、6兆種顏色，一幅圖像就有兆種顏色，一幅圖像就有256KB或者或者768KB（對于彩色）個數(shù)據(jù)。完成視（對于彩色）個數(shù)據(jù)。完成視覺處理的傳感、預(yù)處理、分割、描述、識覺處理的傳感、預(yù)處理、分割、描述、識別和解釋。別和解釋。 如果在通用的計算機上處理視覺信號，主要如果在通用的計算機上處理視覺信號，主要有兩個局限性：一是運算速度慢，二是內(nèi)存容量有兩個局限性：一是運算速度慢，二是內(nèi)存容量小，為了解決上述問題，可以采用如下方案：小，為了解決上述問題，可以采用如下方案：（1）利用大型高速計算機組成通用的視頻信號）利用大型高速計算機組成通用的視頻信號處理系統(tǒng)。但是缺點是成本太高。處理系統(tǒng)。但是缺點是成本太高。

8、（2）小型高速陣列機。）小型高速陣列機。（3）采用專用的視覺處理器。為了適應(yīng)微型計）采用專用的視覺處理器。為了適應(yīng)微型計算機視頻數(shù)字信號處理的需要，不少廠家設(shè)計了算機視頻數(shù)字信號處理的需要，不少廠家設(shè)計了專用的視覺信號處理器，它的結(jié)構(gòu)簡單，成本低，專用的視覺信號處理器，它的結(jié)構(gòu)簡單，成本低，性能指標(biāo)高。多數(shù)采用多處理器并行處理，流水性能指標(biāo)高。多數(shù)采用多處理器并行處理，流水線式體系結(jié)構(gòu)以及基于線式體系結(jié)構(gòu)以及基于DSP的方案。的方案。第三節(jié) 視覺信息的處理視覺信息的處理如圖所示，包括預(yù)處理、視覺信息的處理如圖所示，包括預(yù)處理、分割、特征抽取和識別四個模塊。分割、特征抽取和識別四個模塊。 視覺處

9、理過程及方法視覺處理過程及方法 一、預(yù)處理一、預(yù)處理 預(yù)處理的主要目的是清除原始圖像中預(yù)處理的主要目的是清除原始圖像中各種噪聲等無用的信息，改進圖像的質(zhì)量，各種噪聲等無用的信息，改進圖像的質(zhì)量，增強感興趣的有用信息的可檢測性，從而增強感興趣的有用信息的可檢測性，從而使后面的分割、特征抽取和識別處理得以使后面的分割、特征抽取和識別處理得以簡化，并提高其可靠性，機器視覺常用的簡化，并提高其可靠性，機器視覺常用的預(yù)處理包括去噪、灰度變換和銳化等。預(yù)處理包括去噪、灰度變換和銳化等。1.去噪去噪 原始圖像中不可避免地會包括許多噪原始圖像中不可避免地會包括許多噪聲，如傳感器噪聲、量化噪聲等。通常噪聲，如傳

10、感器噪聲、量化噪聲等。通常噪聲比圖像本身包含較強的高頻成分，而且聲比圖像本身包含較強的高頻成分，而且噪聲具有空間不相關(guān)性，因此簡單的低通噪聲具有空間不相關(guān)性，因此簡單的低通濾波是最常用的一種去噪方法。濾波是最常用的一種去噪方法。 2灰度變換灰度變換由于光照等原因，原始圖像的對比度由于光照等原因，原始圖像的對比度往往不理想，利用各種灰度變換處理可以往往不理想，利用各種灰度變換處理可以增強圖像的對比度。增強圖像的對比度。3. 銳化銳化 與平滑處理相反，為了突出圖像中的與平滑處理相反，為了突出圖像中的高頻成分，使輪廓增強可以采用銳化處理高頻成分，使輪廓增強可以采用銳化處理二、圖像的分離二、圖像的分離

11、1. 圖像的邊沿檢測圖像的邊沿檢測 邊沿檢測作為各種物體檢測算法的最初邊沿檢測作為各種物體檢測算法的最初預(yù)處理步驟，在機器人視覺中具有重要的預(yù)處理步驟，在機器人視覺中具有重要的作用。作用。 （1）基本公式）基本公式 從原理上看，絕大多數(shù)邊沿檢測方法從原理上看，絕大多數(shù)邊沿檢測方法的主導(dǎo)思想是局部微分算子的計算。的主導(dǎo)思想是局部微分算子的計算。 用微分算子檢測邊沿的基本原理用微分算子檢測邊沿的基本原理 (a) 在暗背景上的亮物體；在暗背景上的亮物體；(b) 在亮背景上的暗物體在亮背景上的暗物體 （2）梯度算子）梯度算子 圖像圖像f(x,y)在位置在位置(x,y)處的梯度，定義處的梯度，定義為二維

12、矢量：為二維矢量： 對于邊沿檢測，我們最關(guān)心的是這個對于邊沿檢測，我們最關(guān)心的是這個矢量的幅值，幅值通常稱為梯度矢量的幅值，幅值通常稱為梯度 G ( , )f x yGGfxfyxy （3）閾值化）閾值化 圖像閾值是工業(yè)機器人視覺系統(tǒng)進行圖像閾值是工業(yè)機器人視覺系統(tǒng)進行物體檢測的主要技術(shù)之一，尤其是對于高物體檢測的主要技術(shù)之一，尤其是對于高數(shù)據(jù)吞吐量的應(yīng)用，閾值化更為有效。數(shù)據(jù)吞吐量的應(yīng)用，閾值化更為有效?？煞指畹膹姸戎狈綀D可分割的強度直方圖(a)利用單一閾值分割；利用單一閾值分割；(b)多閾值分割多閾值分割 2. 圖像的邊沿連接和邊界檢測圖像的邊沿連接和邊界檢測 在理想情況下，檢測強度不連續(xù)

13、性的在理想情況下，檢測強度不連續(xù)性的方法給出的應(yīng)當(dāng)只是那些位于物體與背景方法給出的應(yīng)當(dāng)只是那些位于物體與背景之間邊界處的像素。實際上，噪聲的存在，之間邊界處的像素。實際上，噪聲的存在，不均勻照明引起的邊界中斷，以及其他因不均勻照明引起的邊界中斷，以及其他因素造成的意外強度不連續(xù)性，都會使得檢素造成的意外強度不連續(xù)性，都會使得檢測出的像素難以完全表征邊界。因此，在測出的像素難以完全表征邊界。因此，在邊沿檢測算法之后，通常要進行連接和用邊沿檢測算法之后，通常要進行連接和用其它邊界檢測的方法進行處理，以便使邊其它邊界檢測的方法進行處理，以便使邊沿像素形成一個有意義的物體邊界。沿像素形成一個有意義的物

14、體邊界。 （1）用局部分析方法進行邊沿連接）用局部分析方法進行邊沿連接 這是最簡單的一種方法。在已進行邊這是最簡單的一種方法。在已進行邊沿檢測處理的圖像的每一點沿檢測處理的圖像的每一點(x,y)附近小鄰附近小鄰域（例如域（例如33或或55）內(nèi)，分析像素的特）內(nèi)，分析像素的特性，將所有相似的點連接在一起，這樣便性，將所有相似的點連接在一起，這樣便形成了具有某些共同特性的像素邊界。形成了具有某些共同特性的像素邊界。 有兩種基本特性可用于建立邊沿像素有兩種基本特性可用于建立邊沿像素的相似性：（的相似性：（1）用于檢測邊沿像素對梯度）用于檢測邊沿像素對梯度算子的響應(yīng)速度；（算子的響應(yīng)速度；（2）梯度的

15、方向。）梯度的方向。 【例】研究如圖【例】研究如圖 (a)所示的汽車后部的圖像。我們的目的所示的汽車后部的圖像。我們的目的是從圖像中找出那些適于安置汽車牌照的矩形框。檢測出是從圖像中找出那些適于安置汽車牌照的矩形框。檢測出相應(yīng)的水平和垂直邊沿，便可獲得所需的矩形。相應(yīng)的水平和垂直邊沿，便可獲得所需的矩形。圖圖 (b)和和(c)所示為所示為Sobel算子的水平和垂直分量。在算子的水平和垂直分量。在圖圖 (d)所示為梯度值大于所示為梯度值大于25并且梯度方向差小于并且梯度方向差小于15的所有點的連接結(jié)果。應(yīng)用上述準(zhǔn)則于圖的所有點的連接結(jié)果。應(yīng)用上述準(zhǔn)則于圖 (c)的每一行，便求得所需水平線，然后再

16、應(yīng)用圖的每一行，便求得所需水平線，然后再應(yīng)用圖 (b)的每一列便可得到垂直線。進一步的處理包括連接的每一列便可得到垂直線。進一步的處理包括連接具有小間斷區(qū)間的邊沿線段和刪除孤立的短線。具有小間斷區(qū)間的邊沿線段和刪除孤立的短線。（2）閾值化）閾值化 前面我們引入了閾值化的概念。在大多前面我們引入了閾值化的概念。在大多數(shù)情況下，由任意照明條件產(chǎn)生的圖像，數(shù)情況下，由任意照明條件產(chǎn)生的圖像，在用閾值化技術(shù)分割時，需要使用某些類在用閾值化技術(shù)分割時，需要使用某些類型的局部分析，以補償非均勻照明的影響型的局部分析，以補償非均勻照明的影響（如陰影、反射等）。在進行閾值化時，（如陰影、反射等）。在進行閾值化

17、時，關(guān)鍵是分割閾值的選擇。關(guān)鍵是分割閾值的選擇。 第四節(jié)第四節(jié) 數(shù)字圖像的編碼數(shù)字圖像的編碼 數(shù)字圖像要占用大量的內(nèi)存，實際使用時，總數(shù)字圖像要占用大量的內(nèi)存，實際使用時，總是希望用盡可能少的內(nèi)存保存數(shù)字圖像，為此，可是希望用盡可能少的內(nèi)存保存數(shù)字圖像，為此，可以選用適當(dāng)?shù)木幋a方法來壓縮圖像數(shù)據(jù)，目的不同，以選用適當(dāng)?shù)木幋a方法來壓縮圖像數(shù)據(jù)，目的不同，編碼的方法也不同。例如在傳送圖像數(shù)據(jù)的時候，編碼的方法也不同。例如在傳送圖像數(shù)據(jù)的時候，應(yīng)選用抗干擾的編碼方法；在恢復(fù)圖像的時候，因應(yīng)選用抗干擾的編碼方法；在恢復(fù)圖像的時候，因為不要求完全恢復(fù)原來的畫面，特別是機器人視覺為不要求完全恢復(fù)原來的畫面

18、，特別是機器人視覺系統(tǒng)，只要求認識目標(biāo)物體的某些特征或圖案，在系統(tǒng)，只要求認識目標(biāo)物體的某些特征或圖案，在這種情況下，為了使數(shù)據(jù)處理簡單、快速，只要保這種情況下，為了使數(shù)據(jù)處理簡單、快速，只要保留目標(biāo)物體的某些特征，能達到區(qū)別各種物體的程留目標(biāo)物體的某些特征，能達到區(qū)別各種物體的程度就可以了。這樣做可以使數(shù)據(jù)量大為減少。度就可以了。這樣做可以使數(shù)據(jù)量大為減少。 常用的編碼方法有輪廓編碼和掃描編常用的編碼方法有輪廓編碼和掃描編碼。所謂輪廓編碼是在畫面灰度變化較小碼。所謂輪廓編碼是在畫面灰度變化較小的情況下，用輪廓線來描述圖形的特征。的情況下，用輪廓線來描述圖形的特征。 具體的說，就是用一些方向不

19、同的短具體的說，就是用一些方向不同的短線段組成多邊形，用這個多邊形來描繪輪線段組成多邊形，用這個多邊形來描繪輪廓線。各線段的傾斜度可用一組碼來表示，廓線。各線段的傾斜度可用一組碼來表示，稱為方向碼。稱為方向碼。 鏈鏈?zhǔn)绞骄幘幋a碼說說明明圖圖 (a)四方向碼；(b)八方向碼； (c)四方向碼例圖；(d)八方向碼例圖 所謂掃描法，是將一個畫面按一定的間距所謂掃描法，是將一個畫面按一定的間距進行掃描，在每條掃描線上找出濃度相同進行掃描，在每條掃描線上找出濃度相同區(qū)域的起點和長度。區(qū)域的起點和長度。 格點式編碼方式 第六節(jié) 機器人視覺系統(tǒng)應(yīng)用舉例 機器人的的視覺應(yīng)用可以大致分為機器人的的視覺應(yīng)用可以大

20、致分為3類：類：視覺檢驗，視覺導(dǎo)引和過程控制，以及近視覺檢驗，視覺導(dǎo)引和過程控制，以及近年來迅速發(fā)展的移動機器人視覺導(dǎo)航。其年來迅速發(fā)展的移動機器人視覺導(dǎo)航。其應(yīng)用領(lǐng)域包括電子工業(yè)、汽車工業(yè)、航空應(yīng)用領(lǐng)域包括電子工業(yè)、汽車工業(yè)、航空工業(yè)，以及食品和制藥等各個工業(yè)領(lǐng)域。工業(yè)，以及食品和制藥等各個工業(yè)領(lǐng)域。 例如機器人在完成裝配、分類或搬運作業(yè)時，例如機器人在完成裝配、分類或搬運作業(yè)時，如果沒有視覺反饋，給機器人提供的零件必須保如果沒有視覺反饋，給機器人提供的零件必須保持精確固定的位置和方向，為此對每一特定形狀持精確固定的位置和方向，為此對每一特定形狀的零件要用專門的振動斗式上料器供料，這樣才的零件要用專門的振動斗式上料器供料，這樣才能保證機器人準(zhǔn)確的抓取零件。但由于零件的形能保證機器人準(zhǔn)確的抓取零件。但由于零件的形狀、體積、重量等原因，有時不能保證提供固定狀、體積、重量等原因，有時不能保證提供