機(jī)器視覺(jué)課件

機(jī)器視覺(jué)鏡頭及軟體

介紹2015年5月1日1.機(jī)器視覺(jué)鏡頭及軟體

介紹2015年5月1日1.VisionSystemOverviewArchitecture:TotalSolutionSoftwareHardwareExternalPlatformHalcon(H,3D)NationInstrument(L)Cognex(H)Opencv/ITK(Free)VC/VB/C#/LabviewCamera-USB,1394,GigaELens(Cmount)-CCTV,TelecentricLighting-環(huán)型,同軸,背光,點(diǎn)光,球積分3DComponent(Laser,條紋光)I/OCard,TriggerSignalRobot,MotionCard(PC),PLCXYZTable,ACServo,StepperMotor,LinearPlatformSDKCompiler,UI2.VisionSystemOverviewArchitecTopics1:為您的視覺(jué)系統(tǒng)找到合適的鏡頭2:NI視覺(jué)SDK3:NaroVision泛用型視覺(jué)系統(tǒng)4:HalCon視覺(jué)SDK5:Congex視覺(jué)SDK6:OpenCV,ITK視覺(jué)SDK3.Topics3.1:視覺(jué)系統(tǒng)需要找到合適的鏡頭Ⅰ,鏡頭的作用Lens1Lens2CMOSApertureStopApertureStopLens1Lens24.1:視覺(jué)系統(tǒng)需要找到合適的鏡頭Ⅰ,鏡頭的作用Lens1Len5.5.6.6.Ⅱ,鏡頭的組成ⅢⅣ鏡頭一般由光學(xué)系統(tǒng)和機(jī)械裝置組成,有些也集成了自動(dòng)調(diào)光圈、自動(dòng)調(diào)焦或感測(cè)光強(qiáng)度等的電子器件.7.Ⅱ,鏡頭的組成ⅢⅣ鏡頭一般由光學(xué)系統(tǒng)和機(jī)械裝置組成,有些也Ⅲ,鏡頭的分類(lèi)◆鏡頭按焦距大小可以分為長(zhǎng)焦鏡頭、標(biāo)準(zhǔn)鏡頭、廣角鏡頭等◆按用途通?？梢苑譃榘卜烙苗R頭（CCTVlens）、工業(yè)自動(dòng)化鏡頭（FAlens），廣播級(jí)別的鏡頭（Broadcastlens），高清晰電視用鏡頭（HDlens）◆機(jī)器視覺(jué)行業(yè)內(nèi)通常有宏鏡頭（macrolens）、定倍鏡頭（fixed-maglens）、變焦鏡頭（zoom鏡頭）、遠(yuǎn)心鏡頭（telecentriclens）、高精度或百萬(wàn)像素鏡頭（HighResolutionormillionpixelslens）、線掃描鏡頭（LineScanlens）等稱(chēng)謂。當(dāng)然，這些分類(lèi)并沒(méi)有嚴(yán)格的劃分界線。8.Ⅲ,鏡頭的分類(lèi)◆鏡頭按焦距大小可以分為長(zhǎng)焦鏡頭、標(biāo)準(zhǔn)鏡頭、Ⅳ尋找一款鏡頭我們關(guān)心什么?1,成像比例（Magnization，ZOOM?）2，工作距離(WD)3,像質(zhì)（resolution,contrast,color

balance,aberration,Vignetting,MTF,etc.）4,景深（Depthofview）5，投影誤差（Telecentric）6，通光量（FNumber）7，機(jī)械接口(C,CS,F,K,M42，M12,M16)8,支持相機(jī)的芯片尺寸(1/2,2/3,1,>40mm)9，工作波段(<380,380~780,780~1100)10,鏡頭尺寸（Compact,TotalLength,Diameter）11,其它（價(jià)格，同軸入口，工作溫度，光學(xué)配合，適合工業(yè)場(chǎng)合）9.Ⅳ尋找一款鏡頭我們關(guān)心什么?1,成像比例（MagnizⅣ-1成像比例及工作距離在獲取圖像并分析處理之前，首先必須建立圖像系統(tǒng)。圖像系統(tǒng)由五個(gè)要素構(gòu)成：視場(chǎng)（FiledOfView），工作距離（WorkingDistance），分辨率，景深（DepthOfField）和傳感器大小?？蓞⒄障聢D理解這些概念。10.Ⅳ-1成像比例及工作距離在獲取鏡頭焦距(LensFocalLength)WDF’11.鏡頭焦距(LensFocalLength)WDF’11.確定視場(chǎng)大小和相機(jī)傳感器尺寸之后，就可以確定選擇哪種型號(hào)的鏡頭。鏡頭的主要參數(shù)是焦距，它與視場(chǎng)大小，傳感器尺寸有如下關(guān)系式：焦距=(傳感器尺寸×工作距離)/視場(chǎng)大小鏡頭焦距(LensFocalLength)12.確定視場(chǎng)大小和相機(jī)傳感器尺寸之后，就可以確定選擇哪種型號(hào)的1分辨率(Resolution):

圖像系統(tǒng)能

分辨實(shí)物的最小尺寸。2視場(chǎng)(FOV):檢測(cè)時(shí)相機(jī)所能

拍攝的范圍。3工作距離(WD):相機(jī)鏡頭到實(shí)物

之間的距離。4傳感器大小(SensorSize)

相機(jī)傳感器的有效區(qū)域。5景深(DepthOfField):

實(shí)物能有效聚焦的范圍6圖像(Image)7像素(Pixel)8像素分辨率(PixelResolution):

表達(dá)實(shí)物圖像特征所需的

最小像素?cái)?shù)量。13.1分辨率(Resolution):圖像系統(tǒng)能13.Ⅳ-2有關(guān)精度和倍率的概念d=FOV（HorV）*2/Pixels(HorV)鏡頭的分辨率：相機(jī)的分辨率：光學(xué)放大倍率：顯示放大倍率：?disthesmallestresolvabledistance,?lambdaisthewavelengthoflightbeingimagedNumerical

Aperture

數(shù)值孔徑。NA表征了光纖收集光的能力。光纖的數(shù)值孔徑越大,其集光能力越強(qiáng)

視場(chǎng)(FieldOfView)：相機(jī)所能拍攝的范圍。上圖展示了像素分辨率和視場(chǎng)之間的關(guān)系。圖a所示一個(gè)實(shí)物所占據(jù)的視場(chǎng)，圖b所示占據(jù)的視場(chǎng)比圖a要小。x軸向最小像素分辨率=(wfov/w)×2,y軸向最小像素分辨率=(hfov/h)×2

,14.Ⅳ-2有關(guān)精度和倍率的概念d=FOV（HorV）*2Ⅳ-2有關(guān)精度和倍率的概念widthHeight1:客戶(hù)要求拍攝的產(chǎn)品大小為1mm*1mm2:客戶(hù)要求的精度為0.02mm3:鏡頭到產(chǎn)品的距離為65mm客戶(hù)要求規(guī)格實(shí)驗(yàn)室計(jì)算的結(jié)果1:計(jì)算出來(lái)的鏡頭FOV需求為FOV>10mm,6.66mm/0.513.32mm(假設(shè)CCD大小為6.66mm*5.32mm)2:計(jì)算出來(lái)的相機(jī)精度為:CameraResolution>13.32/0.02mm(666H*666V),所以選擇1.3MCamera(1280H*1024V)

(6.66mm(H)x5.32mm(V))15.Ⅳ-2有關(guān)精度和倍率的概念widthHeight1:客戶(hù)要

Ⅳ-3a，像質(zhì)-（SharpnessandContrast

）對(duì)比度(Contrast)，是圖像黑與白的比值，即從黑到白的漸變層次，定義了圖像中實(shí)物和背景之間的強(qiáng)度差。對(duì)比度和分辨率與圖像質(zhì)量緊密相關(guān)。構(gòu)建圖像系統(tǒng)必須確保足夠的對(duì)比度以區(qū)分實(shí)物圖像和背景。選擇合適的照明能有效提高的對(duì)比度。16.Ⅳ-3a，像質(zhì)-（SharpnessandContⅣ-3b

，像質(zhì)-畸變（Distortion）Approx.10%barrelshapedApprox.10%pincushionshapedCCTVTelecentric17.Ⅳ-3b，像質(zhì)-畸變（Distortion）Approx.Ⅳ-3c，像質(zhì)-色彩還原（ColorBalance）nmR

02,55,07,510,03004005006007008009001000SingleLayerBroadbandCoatimgMultiiCoatingSpectralTransmission:TypicalReflectionofCoatingSystems在圖像處理領(lǐng)域，色彩平衡經(jīng)常表示通過(guò)改變圖像的顏色值從而能夠在特定的顯示或者打印設(shè)備上得到正確的顏色。18.Ⅳ-3c，像質(zhì)-色彩還原（ColorBalance）Ⅳ-3d

，像質(zhì)-漸暈（Vignetting）Opticalvignetting

（cos4Law）Pixelvignetting

Mechanicalvignetting

Example:f=50mmviewangle=9.2Cos4(9.2?)=0.95f=8mmviewangle=51.9Cos4(51.9?)=0.15在攝影和光學(xué)領(lǐng)域內(nèi)，暈影或暗角是指圖像的外圍部分的亮度或飽和度比中心區(qū)域低。暈影的出現(xiàn)通常是因?yàn)橄鄼C(jī)的設(shè)定和鏡頭的限制因素等19.Ⅳ-3d，像質(zhì)-漸暈（Vignetting）OpticaⅣ-3e

，像質(zhì)-MTF的意義ModulationTransferFunction:這種測(cè)定光學(xué)頻率的方式是以一個(gè)mm的范圍內(nèi)能呈現(xiàn)出多少條線來(lái)度量，其單位以line/mm來(lái)表示。20.Ⅳ-3e，像質(zhì)-MTF的意義ModulationTranⅣ-4，景深–DepthofView(1)光圈越大，景深越??；光圈越小，景深越大；(2)鏡頭焦距越長(zhǎng)，景深越??；焦距越短，景深越大；(3)距離越遠(yuǎn)，景深越大；距離越近，景深越小。21.Ⅳ-4，景深–DepthofView(1)光圈越大，景深，是相機(jī)對(duì)焦點(diǎn)前后相對(duì)清晰的成像范圍。Ⅳ-4，景深–DepthofView22.景深，是相機(jī)對(duì)焦點(diǎn)前后相對(duì)清晰的成像范圍。Ⅳ-4，景Ⅳ-5，投影誤差-遠(yuǎn)心鏡頭23.Ⅳ-5，投影誤差-遠(yuǎn)心鏡頭23.Ⅳ-6，光通量-F-number◆可能當(dāng)您把相機(jī)和光源的參數(shù)已經(jīng)調(diào)整到最大，您才會(huì)意識(shí)到光圈系數(shù)的重要性。◆光圈的調(diào)整不僅與亮度相關(guān)，同樣與對(duì)比度和景深密切相關(guān)。光圈系數(shù)（F數(shù)）是鏡頭的重要內(nèi)部參數(shù)，它就是鏡頭相對(duì)孔徑(d/f)的倒數(shù)，如果光圈系數(shù)的標(biāo)稱(chēng)值數(shù)字越大，也就表示其實(shí)際光圈就越小。一般來(lái)說(shuō)，鏡頭的光圈排列順序是：1、1.4、2.0、2.8、3.5、4.0、5.6、8.0、11、16、22、32等等。隨著數(shù)值的增大，其實(shí)際光孔大小也就隨之減小，而其在相同快門(mén)時(shí)間內(nèi)的光通量也就隨之減小。24.Ⅳ-6，光通量-F-number◆可能當(dāng)您把相機(jī)和光源的參數(shù)Ⅳ-7，機(jī)械接口-Mount25.Ⅳ-7，機(jī)械接口-Mount25.Ⅳ-8，支持相機(jī)的芯片尺寸26.Ⅳ-8，支持相機(jī)的芯片尺寸26.Ⅳ-9，工作波段UV（<380nm）Visiblelight(380nm~750nm)IR(>750nm)27.Ⅳ-9，工作波段UV（<380nm）27.Ⅳ-10，鏡頭尺寸28.Ⅳ-10，鏡頭尺寸28.TelecentricLens(Moritex)29.TelecentricLens(Moritex)29.CCTVLens(Computar)孔徑光闌，它是限制光學(xué)系統(tǒng)進(jìn)光量之孔徑大小，也就是我們常說(shuō)的光圈，在相機(jī)中可以看到這樣的機(jī)制，如左圖所示。鏡頭本身雖然很大，但卻有一個(gè)機(jī)制限制進(jìn)光量的大小，這個(gè)機(jī)制就是孔徑光闌。30.CCTVLens(Computar)孔徑光闌，它是限制倍鏡延伸環(huán)31.倍鏡延伸環(huán)31.要對(duì)圖像進(jìn)行分析和處理，必須確保圖像系統(tǒng)能產(chǎn)生高品質(zhì)的圖像。

影響圖像質(zhì)量的五個(gè)因素：分辨率對(duì)比度景深透視誤差畸變

總結(jié):如何獲取高品質(zhì)的圖像32.要對(duì)圖像進(jìn)行分析和處理，必須確保圖像系統(tǒng)能產(chǎn)生高品質(zhì)11，其它因素價(jià)格同軸入口工作環(huán)境（工業(yè)場(chǎng)合）光學(xué)器件配合（濾光片、偏振鏡、轉(zhuǎn)角鏡）電子或機(jī)械配件。（自動(dòng)對(duì)焦、自動(dòng)光圈、電動(dòng)變焦等）33.11，其它因素價(jià)格33.透視誤差（Perspective），一般在相機(jī)鏡頭軸向與被拍照物不垂直時(shí)出現(xiàn)。圖a顯示相機(jī)的最佳位置，圖b為從某個(gè)角度拍攝的圖像。

1.鏡頭畸變 2.透視誤差 3.已知方位偏移透視誤差2:NI視覺(jué)系統(tǒng)34.透視誤差（Perspective），一般在相機(jī)鏡頭軸非線性畸變是鏡頭光學(xué)誤差導(dǎo)致的幾何像差，畸變程度與物象點(diǎn)離光軸的距離有關(guān)。

發(fā)生畸變時(shí)，物象點(diǎn)相對(duì)于視場(chǎng)中心產(chǎn)生了偏移，但畸變不會(huì)丟失圖像信息，因此可通過(guò)空間校正(SpatialCalibration)糾正畸變。鏡頭畸變35.非線性畸變是鏡頭光學(xué)誤差導(dǎo)致的幾何像差，畸變程度與物Anerosioneliminatespixelsisolatedinthebackgroundanderodesthecontourofparticlesaccordingtothetemplatedefinedbythestructuringelement.ForagivenpixelP0,thestructuringelementiscenteredonP0.Thepixelsmaskedbyacoefficientofthestructuringelementequalto1arethenreferredasPi.?IfthevalueofonepixelPiisequalto0,thenP0issetto0,elseP0issetto1.?IfAND(Pi)=1,thenP0=1,elseP0=0.Erosion36.AnerosioneliminatespixelsiDilationForanygivenpixelP0,thestructuringelementiscenteredonP0.Thepixelsmaskedbyacoefficientofthestructuringelementequalto1thenarereferredtoasPi.?IfthevalueofonepixelPiisequalto1,thenP0issetto1,elseP0issetto0.?IfOR(Pi)=1,thenP0=1,elseP0=0.37.DilationForanygivenpixelP0根據(jù)圖像灰度來(lái)進(jìn)行匹配的算法，用于定位、識(shí)別以及有無(wú)判斷等應(yīng)用場(chǎng)合采用circularProjection采樣法，當(dāng)發(fā)生旋轉(zhuǎn)時(shí)一樣可以找到目標(biāo)采用halton隨機(jī)采樣法，隨機(jī)選取采樣點(diǎn)進(jìn)行匹配計(jì)算，提高算法效率PatternMatch平移加旋轉(zhuǎn)僅平移模板38.根據(jù)圖像灰度來(lái)進(jìn)行匹配的算法，用于定位、識(shí)別以及有無(wú)判斷等應(yīng)PatternMatchdft(dftImg,dftImg,0,dsz.height);MatdftTempl1(dftTempl,Rect(0,tcn>1?*dftsize.height:0,dftsize.width,dftsize.height));mulSpectrums(dftImg,dftTempl1,dftImg,0,true);dft(dftImg,dftImg,DFT_INVERSE+DFT_SCALE,bsz.height);src=dftImg(Rect(0,0,bsz.width,bsz.height));平移3:利用金字塔變換提高搜索效率1:NormalizedCross-Correlation2:DFTandInverseDFT39.PatternMatchdft(dftImg,dftIpatternCreatehaltonset平移+旋轉(zhuǎn)3:CorrelationBasedPatternMatching1:StatisticalSamplingBasedPatternMatching2:BasedonaDiscreteFourierTransform(DFT40.patternCreatehaltonset平移+旋轉(zhuǎn)3根據(jù)幾何輪廓特征來(lái)進(jìn)行匹配的算法，用于定位、識(shí)別以及有無(wú)判斷等應(yīng)用場(chǎng)合即使圖像發(fā)生旋轉(zhuǎn)、縮放、遮擋、極性以及背景改變，均能搜索到目標(biāo)GeometricMatch模板41.根據(jù)幾何輪廓特征來(lái)進(jìn)行匹配的算法，用于定位、識(shí)別以及有無(wú)判斷模板學(xué)習(xí)步驟GeometricMatch1.提取邊緣點(diǎn)；2.輪廓追蹤，連通的邊緣點(diǎn)合成為同一條輪廓；3.輪廓篩選，將不符合要求的輪廓剔除；4.提取特征，直線、圓弧或矩形；5.根據(jù)特征的類(lèi)型進(jìn)行排序，選取最好的方式描述模板。42.模板學(xué)習(xí)步驟GeometricMatch1.提取邊緣點(diǎn)；4幾何匹配步驟GeometricMatch1.提取目標(biāo)圖像輪廓；2.根據(jù)輪廓提取特征；3.模板圖像特征和目標(biāo)圖像特征比對(duì)，并將可能成為最佳匹配的

結(jié)果保存起來(lái)；4..從可能的匹配結(jié)果中找出最佳匹配。43.幾何匹配步驟GeometricMatch1.提取目標(biāo)圖像輪:DefinitionofanEdge1灰階值輪廓(GrayscaleProfile)2邊緣長(zhǎng)度(EdgeLength):

邊緣梯度上升的距離3邊緣強(qiáng)度(EdgeStrength)4邊緣位置(EdgeLocation)44.:DefinitionofanEdge1灰階值輪廓(:次像素(SubPixel)45.:次像素(SubPixel)45.首先沿著搜索方向在ROI區(qū)域提取出一系列的邊緣點(diǎn)采用最小二乘法對(duì)邊緣點(diǎn)進(jìn)行直線擬合計(jì)算自動(dòng)選取最佳直線擬合結(jié)果擬合的直線可用于尺寸測(cè)量和直線度測(cè)量查找直線最佳擬合直線誤差較大被丟棄46.首先沿著搜索方向在ROI區(qū)域提取出一系列的邊緣點(diǎn)查找直線最佳RedefiningaCoordinateSystemYoucanusesimplecalibrationtochangethecoordinatesystemassignedtoacalibratedimage.Whenyoudefineanewcoordinatesystem,rememberthefollowing:?Expresstheorigininpixels.Alwayschooseanoriginlocationthatlieswithinthecalibrationgridsothatyoucanconvertthelocationtoreal-worldunits.?Specifytheangleastheanglebetweenthenewcoordinatesystemandthehorizontaldirectionintherealworld.47.RedefiningaCoordinateSystem查找直線查找直線參數(shù)設(shè)定48.查找直線查找直線參數(shù)設(shè)定48.首先沿著搜索方向在ROI區(qū)域提取出符合條件的邊緣點(diǎn)采用最小二乘法對(duì)邊緣點(diǎn)進(jìn)行圓弧擬合計(jì)算可得到圓弧的圓心坐標(biāo)和半徑大小圓弧檢測(cè)49.首先沿著搜索方向在ROI區(qū)域提取出符合條件的邊緣點(diǎn)圓弧檢測(cè)4圓弧檢測(cè)圓弧檢測(cè)參數(shù)設(shè)定主要設(shè)定參數(shù)：Direction：搜索方向EdgePolarity：邊緣極性EdgeStrength：邊緣強(qiáng)度50.圓弧檢測(cè)圓弧檢測(cè)參數(shù)設(shè)定主要設(shè)定參數(shù)：50.測(cè)量沿著搜索方向的最大和最小尺寸，用于尺寸測(cè)量測(cè)量芯片pin腳寬度和間距卡尺工具Pin腳寬度Pin腳間距51.測(cè)量沿著搜索方向的最大和最小尺寸，用于尺寸測(cè)量卡尺工具Pin卡尺工具算法原理：1.首先提取邊緣點(diǎn)對(duì)2.根據(jù)邊緣點(diǎn)對(duì)擬合兩條直線3.計(jì)算兩條擬合直線的最大最小矩離52.卡尺工具算法原理：52.輪廓檢測(cè)提取輪廓并與標(biāo)準(zhǔn)輪廓比對(duì)，根據(jù)比對(duì)結(jié)果判斷產(chǎn)品是否合格算法原理：1.首先提取邊緣點(diǎn)2.根據(jù)連通性將邊緣點(diǎn)組成連續(xù)的

輪廓3.計(jì)算輪廓的點(diǎn)到標(biāo)準(zhǔn)輪廓的距離4.如果距離超過(guò)設(shè)定值，則認(rèn)為是

缺陷53.輪廓檢測(cè)提取輪廓并與標(biāo)準(zhǔn)輪廓比對(duì)，根據(jù)比對(duì)結(jié)果判斷產(chǎn)品是否合GoldenTemplateMatch圖像和標(biāo)準(zhǔn)圖像比對(duì)，尋找兩幅圖像之間的差異，用于印刷檢測(cè)、暇疵檢測(cè)等算法原理：1.首先在當(dāng)前圖像查找標(biāo)準(zhǔn)圖像2.根據(jù)查找到的標(biāo)準(zhǔn)圖像的位置，使兩幅

圖像對(duì)齊3.兩幅圖像相減4.統(tǒng)計(jì)兩幅圖像相應(yīng)像素點(diǎn)灰度值超過(guò)設(shè)

定值的數(shù)目5.如果差異像素點(diǎn)的數(shù)目大于設(shè)定閾值，

判定為NG圖像標(biāo)準(zhǔn)圖像錯(cuò)誤圖像54.GoldenTemplateMatch圖像和標(biāo)準(zhǔn)圖像比對(duì)1:LocatinganddecodingDataMatrixcodesrequiresaminimumcellsizeof2.5pixels.2:LocatinganddecodingDataMatrixcodesalsorequiresaquietzone

ofatleastonecellwidtharoundtheperimeterofthecode3:ADataMatrixcodeisamatrixbuiltonasquareorrectangulargridwithafinderpattern4:Eachcellofthematrixcontainsasingledatacell.Thecellscanbeeithersquareorcircular.DataMatrix55.1:LocatinganddecodingDataM3:NaroVision泛用型視覺(jué)系統(tǒng)1NaroVision泛用型視覺(jué)系統(tǒng)特性介紹

系統(tǒng)介紹

標(biāo)定

圖像處理

機(jī)器視覺(jué)

通訊2應(yīng)用實(shí)例介紹56.3:NaroVision泛用型視覺(jué)系統(tǒng)1NaroVisio系統(tǒng)介紹1可同時(shí)支持最多6只相機(jī)，滿(mǎn)足復(fù)雜應(yīng)用需求；2支持模板匹配、直線檢測(cè)、圓檢測(cè)、OCR字符識(shí)別、Barcode、印刷檢測(cè)等多種機(jī)器視覺(jué)功能，并且可靈活組合以進(jìn)行各種復(fù)雜檢測(cè)；3可編程的方式使得應(yīng)用更加靈活；4支持串口、以太網(wǎng)以及IO板卡等通訊方式，可與不同的設(shè)備進(jìn)行數(shù)據(jù)傳輸；57.系統(tǒng)介紹1可同時(shí)支持最多6只相機(jī)，滿(mǎn)足復(fù)雜應(yīng)用需求；57.標(biāo)定1相機(jī)標(biāo)定

——使用點(diǎn)陣式標(biāo)定板，可糾正鏡頭畸變和透視畸變影響2比例尺設(shè)定

——模板匹配：根據(jù)運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)位移以及模板中心的位置變化計(jì)

算比例尺；——特殊尺寸：根據(jù)兩條平行直線的距離來(lái)計(jì)算比例尺；——圓半徑：根據(jù)已知圓半徑的大小來(lái)計(jì)算比例尺。58.標(biāo)定1相機(jī)標(biāo)定58.圖像處理灰度變換：調(diào)整圖像亮度以及對(duì)比度二值化：根據(jù)設(shè)定灰度閾值將圖像分為前景和背景圖像增強(qiáng)：通過(guò)一系列的數(shù)學(xué)運(yùn)算調(diào)整圖像灰度圖像濾波：濾除圖像噪聲或突出邊緣特征數(shù)學(xué)形態(tài)學(xué)操作彩色圖像處理：彩色BCG處理、均衡化、灰度轉(zhuǎn)換59.圖像處理灰度變換：調(diào)整圖像亮度以及對(duì)比度59.機(jī)器視覺(jué)模板匹配：定位、特征識(shí)別查找圓、直線：精確提取輪廓的幾何特征BARCODE：一維和二維BARCODE讀取OCR：OCR字符識(shí)別檢測(cè)：印刷質(zhì)量檢測(cè)、暇疵檢測(cè)卡尺：測(cè)量物體尺寸輪廓檢測(cè)：根據(jù)輪廓比對(duì)檢測(cè)缺陷60.機(jī)器視覺(jué)模板匹配：定位、特征識(shí)別60.通訊串口：RS232通訊，支持多種類(lèi)型PLC(三菱、松下、臺(tái)達(dá)、keyence、信捷等等)通訊協(xié)議和自由協(xié)議以太網(wǎng)：可做服務(wù)器或客戶(hù)機(jī)，與多款機(jī)械手(denso,epson以及ABB)無(wú)縫連接IO板卡：使用IO信號(hào)作為觸發(fā)輸入或結(jié)果輸出61.通訊串口：RS232通訊，支持多種類(lèi)型PLC(三菱、松下、應(yīng)用實(shí)例介紹模板匹配（返回模板中心坐標(biāo)、旋轉(zhuǎn)角度）62.應(yīng)用實(shí)例介紹模板匹配（返回模板中心坐標(biāo)、旋轉(zhuǎn)角度）62.應(yīng)用實(shí)例介紹查找圓（返回找到的圓心坐標(biāo)和半徑）63.應(yīng)用實(shí)例介紹查找圓（返回找到的圓心坐標(biāo)和半徑）63.應(yīng)用實(shí)例介紹讀取AZTECCODEAZTECCODE讀取，返回碼的內(nèi)容和中心坐標(biāo)64.應(yīng)用實(shí)例介紹讀取AZTECCODE64.應(yīng)用實(shí)例介紹讀取CODE128讀取CODE128碼，返回碼的內(nèi)容65.應(yīng)用實(shí)例介紹讀取CODE12865.應(yīng)用實(shí)例介紹印刷檢測(cè)（檢查標(biāo)簽印刷是否存在漏印、偏位等問(wèn)題，并標(biāo)

記出缺陷的位置）66.應(yīng)用實(shí)例介紹印刷檢測(cè)（檢查標(biāo)簽印刷是否存在漏印、偏位等問(wèn)題，應(yīng)用實(shí)例介紹輪廓檢測(cè)

首先提取輪廓，然后和標(biāo)準(zhǔn)的幾何特征進(jìn)行比對(duì)，檢測(cè)兩者之間的差異67.應(yīng)用實(shí)例介紹輪廓檢測(cè)67.應(yīng)用實(shí)例介紹使用卡尺工具進(jìn)行尺寸測(cè)量

通過(guò)定位，精確找到測(cè)量位置再進(jìn)行測(cè)量68.應(yīng)用實(shí)例介紹使用卡尺工具進(jìn)行尺寸測(cè)量68.DepthFromFocusMulti-ViewStereoSheet-of-linetechnologyPhotometricStereo3-1:Halcon3D視覺(jué)軟體SDK69.DepthFromFocus3-1:Halcon3D視選擇合適的3D方法-170.選擇合適的3D方法-170.選擇合適的3D方法-271.選擇合適的3D方法-271.選擇合適的3DRestruction72.選擇合適的3DRestruction72.選擇合適的3DPlanar73.選擇合適的3DPlanar73.1:DepthFromFocus74.1:DepthFromFocus74.1:DepthFromFocus75.1:DepthFromFocus75.usingthedepthfrommultiplefocuspicturealgorithm1:DepthFromFocus76.usingthedepthfrommultiple2:Multi-ViewStereo77.2:Multi-ViewStereo77.2:Multi-ViewStereo78.2:Multi-ViewStereo78.2:Multi-ViewStereo79.2:Multi-ViewStereo79.2:Multi-ViewStereo80.2:Multi-ViewStereo80.2:Multi-ViewStereo81.2:Multi-ViewStereo81.2:Multi-ViewStereo82.2:Multi-ViewStereo82.2:Multi-ViewStereo83.2:Multi-ViewStereo83.2:Multi-ViewStereo84.2:Multi-ViewStereo84.3:Sheetoflinetechnology85.3:Sheetoflinetechnology85.3:Sheetoflinetechnology86.3:Sheetoflinetechnology86.3:Sheetoflinetechnology87.3:Sheetoflinetechnology87.3:Sheetoflinetechnology88.3:Sheetoflinetechnology88.3:Sheetoflinetechnology89.3:Sheetoflinetechnology89.3:Sheetoflinetechnology90.3:Sheetoflinetechnology90.4:PhotometricStereousingthealgorithmofWoodham91.4:PhotometricStereousingtheisbasedonthealgorithmofWoodhamandthereforeassumesontheonehandthatthecameraperformsanorthoscopicprojection.Thatis,youmustuseatelecentriclensoralenswithalongfocaldistance.Ontheotherhand,itassumesthateachofthelightsourcesdeliversaparallelanduniformbeamoflight.Thatis,youmustusetelecentricilluminationsourceswithuniformintensityor,asanalternative,distantpointlightsources.Additionally,theobjectmusthavelambertianreflectancecharacteristics,i.e.,itmustreflectincominglightinadiffuseway.Objectsorregionsofanobjectthathavespecularreflectancecharacteristics(i.e.,mirroringorglossysurfaces)cannotbeprocessedcorrectlyandthusleadtoerroneousresults.4:PhotometricStereo92.isbasedonthealgorithmofW4:PhotometricStereo93.4:PhotometricStereo93.4:PhotometricStereo94.4:PhotometricStereo94.4:PhotometricStereo95.4:PhotometricStereo95.4:PhotometricStereo96.4:PhotometricStereo96.4:PhotometricStereo97.4:PhotometricStereo97.usingthealgorithmofWoodham4:PhotometricStereo98.usingthealgorithmofWoodham4:PhotometricStereo99.4:PhotometricStereo99.PCBInspectionPrintCheckSurfaceScratchesMuraAlgorithm3-2:HalconAOI視覺(jué)軟體SDK100.PCBInspection3-2:HalconAOI視覺(jué)電路板焊錫檢測(cè)1:PCBInspection101.電路板焊錫檢測(cè)1:PCBInspection101.SourceImageTrainingModelDefectImage1DefectImage2Usingthealgorithmofthevariationmodel1:PrintCheck102.SourceImageTrainingModelDefe產(chǎn)品刮傷檢測(cè)extractionofsurfacescratchesvialocalthresholdingandmorphologicalpost-processing3:SurfaceScratches103.產(chǎn)品刮傷檢測(cè)extractionofsurfacescUsingTextureAlgorithm4:Mura104.UsingTextureAlgorithm4:Mura1UsingGaussianandFFTAlgorithm4:Mura105.UsingGaussianandFFTAlgorit*Thisprogramdemonstrateshowtodetectsmalltexture*defectsonthesurfaceofplasticitemsbyusingthefast*fouriertransform(FFT).*First,weconstructasuitablefilterusingGaussian*filters.Then,theimagesandthefilterareconvolved*byusingfastfouriertransforms.Finally,thedefects*aredetectedinthefilteredimagesbyusing*morphologyoperators.1:Mura106.*ThisprogramdemonstrateshoPMAlign107.PMAlign107.IntroducingPatMax

PatMax

isapattern-locationsearchtechnologyPatMax

patternsarenot

dependentonthepixelgridAfeatureisacontourthatrepresentstheboundarybetweendissimilarregionsinanimageFeature-basedrepresentationcanbetransformedmorequicklyandmoreaccuratelythanpixel-gridrepresentations108.IntroducingPatMaxPatMaxisPatMax

CapabilitiesWithonetoolmeasurePositionofthePatternSizerelativetotheoriginallytrainedpatternAnglerelativetotheoriginallytrainedpatternUnprecedentedaccuracyUpto1/40pixeltranslationUpto1/50degreerotationUpto0.05%scaleIncreasedspeedBasicpatternfindingisfasterAngleandsizedeterminedquickly109.PatMaxCapabilitiesWithonetGeneralizedHoughTransform(GHT)(BallardandBrown,section4.3.4,Sonkaetal.,section5.2.6)PatMax

演算法原理110.GeneralizedHoughTransform(GPatMax

演算法原理111.PatMax演算法原理111.PatMax

演算法原理112.PatMax演算法原理112.學(xué)習(xí)目標(biāo)學(xué)員將學(xué)會(huì)正確地：識(shí)別PatInspect可能是視覺(jué)解決方案一個(gè)部分的應(yīng)用創(chuàng)建并配置一個(gè)PatInspect工具來(lái)探測(cè)不同運(yùn)行條件下的缺陷113.學(xué)習(xí)目標(biāo)學(xué)員將學(xué)會(huì)正確地：113.PatInspect其目的是使用PatMax技術(shù)探測(cè)缺陷

缺陷被定義為運(yùn)行期間圖像中超出正常預(yù)期的圖像差別的任何變化

缺陷可能是物體遺失（阻塞）或者多余（雜亂）114.PatInspect其目的是使用PatMax技術(shù)探測(cè)缺陷PatInspect缺陷在訓(xùn)練圖像和運(yùn)行期間圖像中的類(lèi)似區(qū)域之間的像素灰度值不同支持圖像標(biāo)準(zhǔn)化最小化燈光差別對(duì)結(jié)果的影響訓(xùn)練圖像運(yùn)行期間圖像濃度不同的圖像115.PatInspect缺陷在訓(xùn)練圖像和運(yùn)行期間圖像中的類(lèi)似區(qū)域使用PatInspect使用PatInspect的基本步驟：訓(xùn)練基準(zhǔn)圖案訓(xùn)練檢查圖案設(shè)置運(yùn)行期間參數(shù)運(yùn)行PatInspect從PatInspect中萃取結(jié)果或者使用其他視覺(jué)工具在差別圖像上執(zhí)行進(jìn)一步的分析116.使用PatInspect使用PatInspect的基本步驟：基準(zhǔn)圖像通常，您的運(yùn)行期間圖像和訓(xùn)練圖像并不總是在圖像中的同一位置上甚至在位置上的微小差別也會(huì)造成問(wèn)題，除非在對(duì)準(zhǔn)步驟中得到解釋創(chuàng)建并且配置PMAlign工具查找能可靠地用作對(duì)準(zhǔn)的特征這可能是：待檢查的整個(gè)元件待檢查元件的一部分與您要檢查的完全不同的東西，只要其與檢查保持一致的位移117.基準(zhǔn)圖像通常，您的運(yùn)行期間圖像和訓(xùn)練圖像并不總是在圖像中的同檢查圖案培訓(xùn)一個(gè)或更多的圖像可以做為培訓(xùn)圖案使用PatInspect將在統(tǒng)計(jì)學(xué)方面合并這些圖像為一個(gè)獨(dú)立的圖案創(chuàng)建一個(gè)圖案模型它將在一個(gè)運(yùn)行期內(nèi)的圖像中，提供期望高差別性的位置信息目前，您只能在差分訓(xùn)練中建立一個(gè)檢查圖案，該項(xiàng)限制措施將在未來(lái)的正式執(zhí)行中刪除。118.檢查圖案培訓(xùn)一個(gè)或更多的圖像可以做為培訓(xùn)圖案使用118.訓(xùn)練檢查圖案?jìng)鬟f到PatInspect中：一個(gè)輸入圖像（InputImage）一種姿態(tài)通常直接來(lái)自運(yùn)行在同樣圖像上的PMAlign結(jié)果作為輸入圖像您還可以選擇性地在訓(xùn)練訓(xùn)練圖像（TrainImage）和原點(diǎn)中直接傳遞119.訓(xùn)練檢查圖案?jìng)鬟f到PatInspect中：119.訓(xùn)練檢查圖案對(duì)于第一個(gè)訓(xùn)練圖像：120.訓(xùn)練檢查圖案對(duì)于第一個(gè)訓(xùn)練圖像：120.訓(xùn)練檢查圖案技術(shù)上，您所需要的只是一個(gè)訓(xùn)練圖案。但是，多數(shù)“實(shí)際”檢查需要解釋元件中的自然的可接受的變化統(tǒng)計(jì)訓(xùn)練

允許您提供多個(gè)

好圖像，但是元件不同121.訓(xùn)練檢查圖案技術(shù)上，您所需要的只是一個(gè)訓(xùn)練圖案。但是，多數(shù)“統(tǒng)計(jì)圖案訓(xùn)練對(duì)于隨后的圖像：將圖像傳遞到輸入圖像運(yùn)行統(tǒng)計(jì)培訓(xùn)當(dāng)前圖案訓(xùn)練區(qū)域數(shù)量會(huì)增加圖像數(shù)量多少?zèng)]有限制訓(xùn)練圖像沒(méi)有變化122.統(tǒng)計(jì)圖案訓(xùn)練對(duì)于隨后的圖像：122.訓(xùn)練的圖案圖像訓(xùn)練的圖案圖像是提供給圖案訓(xùn)練的對(duì)準(zhǔn)圖像的算術(shù)平均數(shù)123.訓(xùn)練的圖案圖像訓(xùn)練的圖案圖像是提供給圖案訓(xùn)練的對(duì)準(zhǔn)圖像的算術(shù)遮罩訓(xùn)練圖像

可選項(xiàng)，您可以遮罩任何訓(xùn)練圖像，忽略訓(xùn)練中一些像素124.遮罩訓(xùn)練圖像 可選項(xiàng)，您可以遮罩任何訓(xùn)練圖像，忽略訓(xùn)練中一些閥值圖像PatInspect還計(jì)算閥值圖像閥值圖像為每個(gè)像素設(shè)置一個(gè)閥值PatInspect使用該閥值圖像通過(guò)給發(fā)生變化的地方分配一個(gè)較高的值而給沒(méi)有變化的地方分配較低的值來(lái)去除不代表缺陷的差別125.閥值圖像PatInspect還計(jì)算閥值圖像125.閥值圖像在PatInspect運(yùn)行時(shí)，它會(huì)從模板圖像中減去運(yùn)行期間圖像中的像素并且將結(jié)果與閥值圖像相比較。因此，閥值越高，沒(méi)有傳遞缺陷的運(yùn)行期間圖像中的差別越大。126.閥值圖像在PatInspect運(yùn)行時(shí)，它會(huì)從模板圖像中減去運(yùn)計(jì)算閥值使用coeffs計(jì)算一個(gè)像素的閥值T：

T=coeffs.x()*StdDev+coeffs.y() ||||

比例

位移系數(shù)的默認(rèn)值是（1.0、0.0）StdDev

是