《機(jī)械臂智能控制》 課件 任務(wù)5-1 積木識別

智能產(chǎn)品設(shè)計(jì)制作綜合實(shí)訓(xùn)

——機(jī)械臂視覺抓取系統(tǒng)合作QQ：243001978CONTENTS目錄積木識別與抓取撲克牌識別與抓取合作QQ：243001978Part1積木識別與抓取1.1靜態(tài)積木識別與定位抓取

OpenCV識別，定位吸取，定位抓?。?）1.2靜態(tài)積木識別與任意位置抓取

相機(jī)標(biāo)定，坐標(biāo)系變換，隨意位置抓?。?）實(shí)訓(xùn)安排Part2撲克牌識別與抓取2.1撲克牌識別（OpenCV）（4）2.2靜態(tài)撲克牌任意位置吸?。?）2.3撰寫實(shí)訓(xùn)報(bào)告（4）任務(wù)5-1積木識別《智能機(jī)械臂控制》主講教師：吳蓬勃知識鏈接1：積木識別抓取的流程工作流程1.積木識別獲取積木中心像素坐標(biāo)2.坐標(biāo)變換像素坐標(biāo)->機(jī)械臂坐標(biāo)3.抓取機(jī)械臂運(yùn)動控制知識鏈接2：圖像預(yù)處理OpenCV圖像噪聲是指存在于圖像數(shù)據(jù)中不必要的或多余的干擾信息，噪聲會讓圖像變得不清楚，妨礙人們對圖像進(jìn)行理解。（1）來源：噪聲可能來自于圖像獲取、傳輸、處理或存儲過程中的各種因素。（2）表現(xiàn)形式：噪聲在圖像中常表現(xiàn)為一些孤立的像素點(diǎn)或像素塊，它們與要研究的對象不相關(guān)，以無用的信息形式出現(xiàn)，擾亂圖像的可觀測信息。積木識別——預(yù)備知識：圖像的噪聲知識鏈接2：圖像預(yù)處理OpenCV圖像噪聲種類：高斯噪聲、椒鹽噪聲、斑點(diǎn)噪聲、泊松噪聲等。積木識別——預(yù)備知識：圖像的噪聲高斯噪聲椒鹽噪聲每個(gè)像素點(diǎn)的噪聲服從獨(dú)立同分布的高斯分布像素值突然變?yōu)樽畲蠡蜃钚≈抵R鏈接2：圖像預(yù)處理OpenCV圖像噪聲種類：高斯噪聲、椒鹽噪聲、斑點(diǎn)噪聲、泊松噪聲等。積木識別——預(yù)備知識：圖像的噪聲高斯噪聲產(chǎn)生原因：圖像在拍攝時(shí)不夠明亮、亮度不夠均電路各元器件自身噪聲和相互影響；傳感器長期工作溫度過高等。采用高斯濾波器進(jìn)行處理知識鏈接2：圖像預(yù)處理OpenCV圖像噪聲種類：高斯噪聲、椒鹽噪聲、斑點(diǎn)噪聲、泊松噪聲等。積木識別——預(yù)備知識：圖像的噪聲椒鹽噪聲產(chǎn)生原因：一般低光照條件下，圖像的噪聲多為椒鹽噪聲而不是高斯噪聲，比如礦井下的圖像。椒鹽噪聲通常使用中值濾波器進(jìn)行處理。知識鏈接2：圖像預(yù)處理OpenCVS0:原圖S1:高斯模糊減少圖像噪聲、降低細(xì)節(jié)層次積木識別：知識鏈接3：標(biāo)準(zhǔn)的HSV空間視覺識別汽車剮蹭——掉漆知識鏈接3：標(biāo)準(zhǔn)的HSV空間視覺識別汽車油漆：紅？汽車油漆調(diào)色是個(gè)技術(shù)活知識鏈接3：標(biāo)準(zhǔn)的HSV空間視覺識別【HSV空間】H:色調(diào)，色彩信息。角度度量：0~360°S:飽和度，顏色的深度：0%—100%V:色調(diào)，色彩的明亮程度：0%—100%RGBHSVRGB顏色空間僅適合于顯示系統(tǒng)，HSV空間則更適合于圖像處理知識鏈接3：OpenCV的HSV空間視覺識別H:色調(diào)，色彩信息，0-180S:飽和度，顏色的深度，0-255V:色調(diào)，色彩的明亮程度，0-255【轉(zhuǎn)換】：Ho=H/360*180;So=S/100*255Vo=V/100*255

黑灰白紅橙黃綠青藍(lán)紫hmin000015611263578100125hmax1801801801018025347799124155smin00043434343434343smax2554330255255255255255255255vmin04622146464646464646vmax46220255255255255255255255255典型顏色HSV范圍知識鏈接3：RGB->HSVOpenCVS2:HSV圖方便單一顏色的提取S1:高斯模糊減少圖像噪聲以及降低細(xì)節(jié)層次知識鏈接4：腐蝕去噪OpenCVS2:HSV圖方便單一顏色的提取S3:腐蝕去除噪聲點(diǎn)知識鏈接5：二值化與輪廓標(biāo)識OpenCVS4:去除背景部分將圖像轉(zhuǎn)化為二值化圖像S5:識別結(jié)果紅色積木輪廓添加黃框獲取積木坐標(biāo)S0:原圖S1:高斯模糊S2:RGB->HSVS3:腐蝕S4:二值化S5:輪廓標(biāo)識知識鏈接：積木識別流程OpenCV知識鏈接6：旋轉(zhuǎn)角度OpenCVrect=cv2.minAreaRect(cnt)Rect=((x,y),(w,h),angle)①

rect[0]返回矩形的中心點(diǎn)像素坐標(biāo)（x,y）②

rect[1]返回矩形的寬和高（w,h）③

rect[2]返回矩形的旋轉(zhuǎn)角度α

。x1軸順時(shí)針旋轉(zhuǎn)最先重合的邊為寬度w;α為x1軸順時(shí)針旋轉(zhuǎn)到w的角度，α取值范圍為(0°,90°]旋轉(zhuǎn)角度α（OpenCV4.5版本）夾爪（與x1

平行）旋轉(zhuǎn)角度:可以使用寬、高的值來確定。知識鏈接6：旋轉(zhuǎn)角度OpenCVOpenCV4.5版本旋轉(zhuǎn)角度angle:0-180知識鏈接7：中心點(diǎn)坐標(biāo)OpenCV#獲取最小外接矩陣rect=cv2.minAreaRect(points)#獲取矩形四個(gè)頂點(diǎn)坐標(biāo)，浮點(diǎn)型box=cv2.boxPoints(rect)OpenCV4.5版本注：四個(gè)點(diǎn)的順序，需根據(jù)坐標(biāo)值確定block_angle=77box=[

[331.72372226.27055][396.45773210.82268][426.19125335.42035][361.45724350.86823]]中心點(diǎn)坐標(biāo)任務(wù)實(shí)施：積木識別Step01：新建工程積木識別（1）在磁盤根目錄下新建文件夾Robot（2）打開Pycharm，新建工程Step01：新建工程積木識別（3）輸入Robot文件夾路徑、勾選編譯器Step01：新建工程積木識別（4）在Conda環(huán)境下，選擇pp_py37虛擬環(huán)境Step01：新建工程積木識別（5）創(chuàng)建工程Step02：創(chuàng)建目錄積木識別（1）創(chuàng)建目錄（2）輸入目錄名稱：S1_ColorBlockFinderStep02：創(chuàng)建目錄積木識別（3）在目錄S1_ColorBlockFinder下，創(chuàng)建3個(gè)子目錄Step03：創(chuàng)建python文件積木識別（1）在目錄S11_ColorBlock_Finder下，創(chuàng)建python文件S11_BlockRecognize.pyStep03：拷貝python文件積木識別（2）

將攝像頭文件VideoStream.py拷貝到

S11_ColorBlock_Finder目錄下，最終文件結(jié)構(gòu)如下圖：Step04：

代碼文件解析BlockRecognize.py

主函數(shù)文件攝像頭配置FindBlockPixelLocation積木識別，獲取中心坐標(biāo)PickBlock主函數(shù)VideoStream.py攝像頭圖像捕獲相機(jī)參數(shù)配置相機(jī)開啟捕獲圖像已提供源代碼任務(wù)實(shí)施：積木識別OpenCV任務(wù)5-1積木識別（python）通過pycharm進(jìn)行python編程，添加視頻采集文件VideoStream.py編寫代碼S11_BlockRecognize.py