機(jī)器人視覺(jué)課件

機(jī)器視覺(jué)

201520078122視覺(jué)檢測(cè)技術(shù)是精密測(cè)試技術(shù)領(lǐng)域內(nèi)最具有發(fā)展?jié)摿Φ男录夹g(shù)，它綜合運(yùn)用了電子學(xué)、光電探測(cè)、圖象處理和計(jì)算機(jī)技術(shù)，將機(jī)器視覺(jué)引入到工業(yè)檢測(cè)中，實(shí)現(xiàn)對(duì)物體（產(chǎn)品或零件）三維尺寸或位置的快速測(cè)量，具有非接觸、速度快、柔性好等突出優(yōu)點(diǎn)，在現(xiàn)代制造業(yè)中有著重要的應(yīng)用前景。視覺(jué)檢測(cè)技術(shù)機(jī)器視覺(jué)主要由視覺(jué)傳感器（如工業(yè)相機(jī)）代替人眼獲取客觀事物的圖像，利用計(jì)算機(jī)來(lái)模擬人或再現(xiàn)與人類視覺(jué)有關(guān)的某些職能行為，從圖像中提取信息，并進(jìn)行處理與分析，最終用于實(shí)際的檢測(cè)、測(cè)量與控制。33機(jī)器視覺(jué)（MachineVision）是指光學(xué)的裝置和非接觸的傳感器自動(dòng)的接受和處理一個(gè)真實(shí)物體的圖像，通過(guò)分析圖像獲得所需信息或用于控制機(jī)器運(yùn)動(dòng)的裝置。機(jī)器視覺(jué)系統(tǒng)：（1）精確性（2）重復(fù)性（3）速度（4）客觀性（5）成本機(jī)器視覺(jué)44機(jī)器視覺(jué)2機(jī)器人視覺(jué):用于指引機(jī)器人在大范圍內(nèi)的操作和行動(dòng)，如從料斗送出的雜亂工件堆中揀取工件并按一定的方位放在傳輸帶或其他設(shè)備上(即料斗揀取問(wèn)題)。至于小范圍內(nèi)的操作和行動(dòng)，還需要借助于觸覺(jué)傳感技術(shù)。視覺(jué)的應(yīng)用1檢測(cè)：（1）高精度定量檢測(cè)(例如顯微照片的細(xì)胞分類、機(jī)械零部件的尺寸和位置測(cè)量)（2）不用量器的定性或半定量檢測(cè)(例如產(chǎn)品的外觀檢查、裝配線上的零部件識(shí)別定位、缺陷性檢測(cè)與裝配完全性檢測(cè))55機(jī)器視覺(jué)典型的機(jī)器視覺(jué)系統(tǒng)：光源，鏡頭，相機(jī)，圖像處理單元（圖像捕獲卡），圖像處理軟件，監(jiān)視器，通信/輸入輸出單元等。視覺(jué)檢測(cè)中圖像處理流程圖66光源光源是影響機(jī)器視覺(jué)系統(tǒng)圖像質(zhì)量的重要因素，照明對(duì)輸入數(shù)據(jù)的影響至少占到30%。選擇機(jī)器視覺(jué)光源時(shí)應(yīng)該考慮的主要特征：亮度（當(dāng)兩種光源可以選擇是，最佳選擇是選擇更亮的）光源均勻性（不均勻的光會(huì)造成不均勻的反射）光譜特征（光源的顏色及測(cè)量物體表面的顏色決定反射到攝像頭的光能的大小及波長(zhǎng)）壽命特性（光源一般要持續(xù)使用）對(duì)比度（對(duì)比度對(duì)機(jī)器視覺(jué)來(lái)說(shuō)非常重要，保證需要檢測(cè)的特征）77相機(jī)感光芯片CCD芯片:是一種半導(dǎo)體器件，能夠把光學(xué)影像轉(zhuǎn)化為數(shù)字信號(hào)。CMOS芯片:將晶體管放在硅塊上的技術(shù)88相機(jī)輸出圖像格式模擬相機(jī)數(shù)字相機(jī)特性輸出信號(hào)形式為標(biāo)準(zhǔn)的模擬量視頻信號(hào)，需要配用專用的圖像采集卡才能轉(zhuǎn)化為計(jì)算機(jī)可以處理的數(shù)字信息內(nèi)部集成了A/D轉(zhuǎn)換電路，可直接將圖像信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)優(yōu)缺點(diǎn)優(yōu)點(diǎn)：通用性好、成本低不足:分辨率低、采集速度慢，在圖像傳輸中容易受到噪聲干擾，導(dǎo)致圖像質(zhì)量下降優(yōu)點(diǎn)：可以有效的避免圖像傳輸路線中的干擾，對(duì)外信號(hào)的輸出可以使用更加高速和靈活的數(shù)字信號(hào)協(xié)議，可以做各種分辨率形式缺點(diǎn)：成本高像元排列方式面陣相機(jī)線陣相機(jī)適用性面陣CCD相機(jī)：拍攝速度快，對(duì)拍攝景物及光照條件無(wú)特殊要求線陣CCD相機(jī)：用于被測(cè)物體運(yùn)動(dòng)的場(chǎng)合，尤其適用于運(yùn)動(dòng)速度較快，分辨率要求較高的情況99鏡頭鏡頭通常與光源、相機(jī)一起構(gòu)成一個(gè)完整的圖像采集系統(tǒng)。視覺(jué)系統(tǒng)集成必須考慮的四個(gè)因素：可以檢測(cè)物體類別和特性景深或者焦距加載和檢測(cè)距離運(yùn)行環(huán)境鏡頭的選擇：（1）波長(zhǎng)、變焦與否（2）特殊要求優(yōu)先考慮（3）工作距離（4）像面大小和像質(zhì)（5）光圈和接口（6）成本和技術(shù)成熟度1010圖像采集卡圖像采集卡（ImageGrabber),它將攝像機(jī)的圖像視頻信號(hào)，以幀為單位，送到計(jì)算機(jī)的內(nèi)存和VGA幀存，供計(jì)算機(jī)處理、存儲(chǔ)、顯示和傳輸?shù)仁褂谩D像采集卡圖像采集卡的基本組成模塊1111圖像預(yù)處理圖像預(yù)處理的主要目的是消除圖像中無(wú)關(guān)的信息，恢復(fù)有用的真實(shí)信息，增強(qiáng)有關(guān)信息的可檢測(cè)性和最大限度地簡(jiǎn)化數(shù)據(jù)，從而改進(jìn)特征抽取、圖像分割、匹配和識(shí)別的可靠性。圖像預(yù)處理圖像增強(qiáng)空間濾波均值濾波中值濾波1212邊緣檢測(cè)人眼視覺(jué)系統(tǒng)認(rèn)識(shí)目標(biāo)：把圖像邊緣與背景分離出來(lái)感知圖像細(xì)節(jié)，并辨認(rèn)出圖像的輪廓數(shù)字圖像的邊緣檢測(cè)

邊緣檢測(cè)算法：濾波(濾波器在降低噪聲的同時(shí)也導(dǎo)致了邊緣強(qiáng)度的損失)增強(qiáng)（邊緣增強(qiáng)一般通過(guò)計(jì)算梯度幅值來(lái)完成）檢測(cè)（確定那些點(diǎn)是梯度幅值—梯度幅值閾值判據(jù)）定位（邊緣位置可在子像素分辨率上估計(jì)）1313閾值分割圖像分割是用數(shù)字、文字、符號(hào)、幾何圖形或其組合表示圖像的內(nèi)容和特征，對(duì)圖像景物的詳盡描述和解釋。閾值是在分割時(shí)作為區(qū)分物體與背景像素的門(mén)限，大于或等于閾值的像素屬于物體，而其他屬于物體閾值分割基本原理：通過(guò)設(shè)定不同的特征閾值，將圖像像素點(diǎn)分為若干類灰度彩色14圖像特征提取與匹配圖像匹配是通過(guò)對(duì)圖像內(nèi)容、特征、結(jié)構(gòu)、關(guān)系、紋理以及灰度等的對(duì)應(yīng)關(guān)系，相似性和一致性分析，尋求相同目標(biāo)的方法?；诨叶鹊奶卣魈崛∨c匹配（灰度在視覺(jué)中是指明度，就是由黑到白的過(guò)渡色，這些過(guò)渡色具有深淺程度）圖像的高斯金字塔模型1515圖像特征提取與匹配基于不變矩陣的特征提取與匹配基于不變矩陣的匹配算法流程圖在圖像處理中，不同階次的矩是常用的描述圖像信息的統(tǒng)計(jì)特征，且具有一定的平移、旋轉(zhuǎn)和尺度不變性。常用的三階Hu不變矩陣具有較好的匹配適應(yīng)能力，基于Hu不變矩陣對(duì)圖像良好的描述特性，采用不變矩陣來(lái)描述圖像之間的相似度，并且不受幾何失真影響。1616圖像特征提取與匹配基于形狀的特征提取與匹配形狀特征提取方法分類形狀特征可以直接由分割得到的形狀邊界或區(qū)域中的像素產(chǎn)生的原始數(shù)據(jù)獲得更標(biāo)準(zhǔn)的做法是將數(shù)據(jù)壓縮為一種表達(dá)方案，在表達(dá)方案的基礎(chǔ)上獲得形狀特征的描述1717攝像機(jī)標(biāo)定攝像機(jī)標(biāo)定分類（定標(biāo)的目的是從圖像點(diǎn)中求出物體的待識(shí)別參數(shù)）序號(hào)分類方式標(biāo)定方法1是否要標(biāo)定參照物傳統(tǒng)的攝像機(jī)標(biāo)定、攝像機(jī)自標(biāo)定2所用模型不同線性（小孔模型）和非線性3攝像機(jī)個(gè)數(shù)單攝像機(jī)、多攝像機(jī)4求解參數(shù)的結(jié)果顯式（設(shè)置具有物理意義參數(shù)）、隱式（轉(zhuǎn)換矩陣元素為定標(biāo)參數(shù)）5解題方法解析法、神經(jīng)網(wǎng)絡(luò)、遺傳算法6標(biāo)定塊的不同立體、平面7定標(biāo)步驟兩步法、三步法、四步法8內(nèi)部參數(shù)是否可變可變內(nèi)部參數(shù)的標(biāo)定、不可變內(nèi)部參數(shù)的標(biāo)定9攝像機(jī)運(yùn)動(dòng)方式非限定運(yùn)動(dòng)方式攝像機(jī)標(biāo)定、限定運(yùn)動(dòng)方式攝像機(jī)標(biāo)定1818攝像機(jī)標(biāo)定圖像是空間物體通過(guò)成像系統(tǒng)在像平面上的投影其中（x,y,z）為攝像機(jī)坐標(biāo)系，(XfOfYf)為視野平面，（Xw，Yw，Zw）為世界坐標(biāo)系1919機(jī)器視覺(jué)工程應(yīng)用工業(yè)領(lǐng)域：產(chǎn)品質(zhì)量檢測(cè)、產(chǎn)品包裝、產(chǎn)品分類、機(jī)器人定位民用領(lǐng)域：智能交通、安全防范、文字識(shí)別、身份驗(yàn)證、醫(yī)療設(shè)備科學(xué)研究領(lǐng)域：材料分析、生物分析、化學(xué)分析、生命科學(xué)軍事領(lǐng)域：航空、航天、兵器、衛(wèi)星遙感系統(tǒng)2020視覺(jué)系統(tǒng)趨勢(shì)機(jī)器視覺(jué)工程應(yīng)用1.價(jià)格持續(xù)下降2.功能逐漸增多：計(jì)算機(jī)能力增強(qiáng)、更高分辨率的傳感器、更快的掃描率、軟件功能提高3.產(chǎn)品小型化：工業(yè)配件上LED成為主導(dǎo)光源4.集成產(chǎn)品增多：智能化發(fā)展2121智能相機(jī)超緊湊型智能相機(jī)實(shí)現(xiàn)PC級(jí)性能智能相機(jī)是在一個(gè)單獨(dú)的盒內(nèi)集成處理器、鏡頭、光源、輸入/輸出裝置以及以太網(wǎng)In-Sight?7000系列視覺(jué)系統(tǒng)集成的智能攝像頭具有自動(dòng)聚焦、快速圖像捕獲、集成光源和鏡頭，以及用于檢測(cè)、色彩、字符識(shí)別應(yīng)用等等的強(qiáng)大視覺(jué)工具芯片上的視覺(jué)系統(tǒng)經(jīng)常不斷地學(xué)習(xí),你就什么都知道。你知道得越多,你就越有力量StudyConstantly,AndYouWillKnowEverything.TheMoreYou