一種多模式的蘋果表面缺陷分類方法

一種多模式的蘋果表面缺陷分類方法

0蘋果表面缺陷檢測(cè)方法研究蘋果分類是根據(jù)蘋果的大小、形狀、顏色和表面缺陷來進(jìn)行的。當(dāng)前成熟的分級(jí)方法是質(zhì)量分級(jí)和大小分級(jí)。這兩種分級(jí)方法實(shí)現(xiàn)了蘋果分級(jí)的部分自動(dòng)化,分級(jí)過程中的形狀、色澤和表面缺陷檢測(cè)和分類依然靠人工進(jìn)行。隨著數(shù)字圖像處理不斷發(fā)展,人們開始研究將其應(yīng)用于蘋果自動(dòng)分級(jí)過程中,如有形狀判別、色澤測(cè)量和表面缺陷檢測(cè)等方面研究。蘋果表面缺陷自動(dòng)檢測(cè)與分類是實(shí)現(xiàn)蘋果完全自動(dòng)分級(jí)的關(guān)鍵一步。目前較多是對(duì)蘋果表面缺陷的檢測(cè)方法研究。筆者是在表面缺陷區(qū)域已確定的基礎(chǔ)上,研究如何將表面缺陷進(jìn)行分類,以滿足蘋果分級(jí)標(biāo)準(zhǔn)的要求,從而為實(shí)現(xiàn)蘋果全自動(dòng)分級(jí)奠定基礎(chǔ)。1近紅外圖像的檢測(cè)由蘋果光學(xué)反射特性可知:在近紅外波(750～1100nm)段內(nèi),蘋果表面反射系數(shù)與表面顏色無關(guān);正常表面反射系數(shù)比有缺陷表面反射系數(shù)大。因此,為了避免顏色對(duì)表面缺陷檢測(cè)與確定影響,減少缺陷區(qū)域檢測(cè)與判別復(fù)雜性,蘋果表面缺陷圖像檢測(cè)一般在近紅外波段進(jìn)行。工業(yè)黑白CCD攝像機(jī)的光譜響應(yīng)范圍為400～1100nm,在該攝像機(jī)鏡頭前加一窄帶近紅外濾波片,其帶通中心波長為815nm,帶寬為20nm,于是可獲得近紅外圖像。蘋果的近紅外圖像經(jīng)計(jì)算機(jī)系統(tǒng)中的圖像采樣變?yōu)榛叶鹊燃?jí)為256的數(shù)字圖像。在計(jì)算機(jī)中,通過相應(yīng)算法可將缺陷區(qū)域自動(dòng)檢測(cè)出來,具體見文獻(xiàn)。經(jīng)過缺陷檢測(cè),缺陷區(qū)域基本描述有區(qū)域面積S、區(qū)域最小深度Dmin和區(qū)域形心(I,J)。其中:缺陷區(qū)域面積S定義為S=n(1)Δ2(1)式中n(1)——缺陷區(qū)域中標(biāo)記為“1”的缺陷點(diǎn)個(gè)數(shù);Δ——像素的間距。最小深度Dmin定義為Dmin=Femin-Fmin(2)式中Femin為缺陷區(qū)域邊緣的最小灰度值;Fmin——缺陷區(qū)域內(nèi)的最小灰度值。區(qū)域形心(I,J)定義為?????I=M(1,0)M(0,0)J=M(0,1)M(0,0){Ι=Μ(1,0)Μ(0,0)J=Μ(0,1)Μ(0,0)(3)其中M(p,q)——缺陷區(qū)域二值圖像B(i,j)的p、q統(tǒng)計(jì)矩,其為M(p,q)=∑(i,j)∈BipjqB(i,j)Μ(p,q)=∑(i,j)∈BipjqB(i,j)(4)2缺陷分類2.1掃描線間距l(xiāng)b蘋果分級(jí)標(biāo)準(zhǔn)將蘋果表面缺陷分為碰壓傷、刺傷、裂果、病蟲果和蟲傷等,僅依據(jù)缺陷區(qū)域面積S、區(qū)域最小深度和區(qū)域形心(I,J)難以有效地進(jìn)行缺陷分類,為此引入圓形因子、長形因子和區(qū)域?qū)挾鹊刃螤钜蜃觼肀碚魅毕輩^(qū)域形狀特征。圓形因子O(B)定義為O(B)=L2SΟ(B)=L2S(5)式中S——區(qū)域面積;L——區(qū)域周長。區(qū)域形狀越近于圓,圓形因子越接近4π。對(duì)于等距采樣的圖像,長形因子L(B)定義為L(B)=maxθ{mθ(0,1)Δθ}minθ{mθ(0,1)Δθ}L(B)=maxθ{mθ(0,1)Δθ}minθ{mθ(0,1)Δθ}(6)式中mθ(0,1)——區(qū)域B與以θ方向相垂直的平行掃描線族相交的線條數(shù);Δθ——掃描線間距。研究中,采用圖1所示的8個(gè)θ搜索方向,因此的間距分別為:Δ0=Δπ2=Δ?Δπ4=Δ3π4=Δ2√?Δarctg12=Δarctg2=Δπ2+arctg12=Δπ2+arctg2=Δ5√Δ0=Δπ2=Δ?Δπ4=Δ3π4=Δ2?Δarctg12=Δarctg2=Δπ2+arctg12=Δπ2+arctg2=Δ5。區(qū)域越細(xì)長,L(B)越大;反之區(qū)域越緊致集中,L(B)越小。區(qū)域?qū)挾萕(B)定義:設(shè)區(qū)域在θ方向上獲得最大投影長度,區(qū)域在θ+π2θ+π2方向上的投影長度則為區(qū)域?qū)挾?其為W(B)=mθ+π2(0,1)Δθ+π2W(B)=mθ+π2(0,1)Δθ+π2(7)至此,用區(qū)域?qū)挾萕(B)、長形因子L(B)、圓形因子O(B)、區(qū)域形心(I,J)、區(qū)域最小深度Dmin和區(qū)域面積S等特征參數(shù)表征蘋果表面缺陷的特征。2.2非中心區(qū)域的分類設(shè)計(jì)有關(guān)蘋果缺陷信息有:蘋果碰壓傷一般呈近圓形,裂果和刺傷呈長形,裂果由于果肉暴露,在近紅外波段其反射系數(shù)介于正常表面和缺陷表面之間,其灰度值較碰壓傷的灰度值大,即裂果區(qū)域深度較淺,但這還與區(qū)域面積和區(qū)域位置有關(guān)。此外裂果區(qū)域?qū)挾容^刺傷區(qū)域?qū)?。病蟲果蟲孔呈小圓形,且區(qū)域灰度值較低,區(qū)域深度較深。新蟲傷則區(qū)域深度較淺。缺陷區(qū)域在蘋果圖像上的位置不同,其特征形狀是變化的。這種變化是一種投影畸變,產(chǎn)生原因是果面的的法線與攝像機(jī)視場(chǎng)存在夾角。如有一呈圓形的碰壓傷,如果該碰壓傷在蘋果圖像的中心區(qū)域,則呈圓形;如果在非中心區(qū)域,則該碰壓傷可能會(huì)呈橢圓形或長形。因此分類設(shè)計(jì)時(shí)必須考慮缺陷區(qū)域形狀畸變問題。缺陷分類是一個(gè)多模式分類問題,利用二叉樹(決策)方法可把一個(gè)復(fù)雜多模式分類問題化為多級(jí)多個(gè)二類模式分類問題。因此基于此思想以及利用有關(guān)缺陷分類的啟發(fā)信息和考慮形狀畸變,故提出了圖2所示的缺陷分類方法。分類方法不是企圖用一種算法或一個(gè)決策規(guī)則把多個(gè)模式一次分開,而是采用分級(jí)的形式使多模式分類問題逐步得到解決,是把多模式分類問題分解為若干個(gè)邏輯上相對(duì)獨(dú)立、簡單的子分類問題,部分子分類的分類知識(shí)則通過計(jì)算機(jī)的自學(xué)習(xí)獲取?？紤]區(qū)域形狀畸變,因此在分類設(shè)計(jì)中,將蘋果圖像分為圖3所示的Ⅰ、Ⅱ2個(gè)區(qū)域。當(dāng)缺陷區(qū)域形心在Ⅰ區(qū)范圍內(nèi),則選中心區(qū)域判別路徑進(jìn)行分類,當(dāng)缺陷區(qū)域形心在Ⅱ區(qū)范圍內(nèi),則選非中心區(qū)域判別路徑進(jìn)行分類。非中心區(qū)域的分類方法與中心區(qū)域的分類方法雖然在形式上相似,但由于畸變?cè)?實(shí)際上是有差別的。在中心區(qū)域,圓形與長形分類決策規(guī)則是:如果區(qū)域的圓形因子O(B),小于閾值To;同時(shí)長形因子L(B)小于閾值TL,則區(qū)域?yàn)閳A形,否則區(qū)域?yàn)殚L形。上述決策規(guī)則同樣用于非中心區(qū)域的(橢)圓形與長形的分類,只是判別閾值不同。中心區(qū)域條件下,圓形深度分類,長形寬度、深度、面積分類1及非中心區(qū)域條件下(橢)圓形深度分類,長形寬度、深度、面積分類2等是采用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行。圓形面積判別和橢圓面積判別則采用閾值判別。3試驗(yàn)結(jié)果與分析3.1-12-1bp神經(jīng)網(wǎng)絡(luò)i1,j1由于缺陷區(qū)域深度不僅與面積有關(guān),還與缺陷在蘋果圖像上位置有關(guān)系,因此需求出區(qū)域在圖像上的相對(duì)位置,用坐標(biāo)(IB,JB)表示為{IB=I?i1JB=J?j1{ΙB=Ι-i1JB=J-j1(8)式中(i1,j1)——圖3蘋果圖像處理窗口的WB坐標(biāo);(I,J)——缺陷區(qū)域形心。對(duì)于深度分類采用3層BP神經(jīng)網(wǎng)絡(luò),輸入到神經(jīng)網(wǎng)絡(luò)的特征參數(shù)有:區(qū)域最小深度、區(qū)域面積和區(qū)域相對(duì)坐標(biāo)。輸出為一個(gè)節(jié)點(diǎn),輸出“1”表示區(qū)域“深”;輸出為“0”表示區(qū)域“淺”。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樣本為30個(gè)有缺陷的國光蘋果,試驗(yàn)中當(dāng)隱含層神經(jīng)元為12時(shí),BP神經(jīng)網(wǎng)絡(luò)樣本學(xué)習(xí)率最高,為80%,學(xué)習(xí)次數(shù)較少(15300次)。故用3-12-1結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)來進(jìn)行深度分類。同時(shí)選同樣結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行(橢)圓形深度分類,在該結(jié)構(gòu)下,學(xué)習(xí)樣本為30個(gè)國光蘋果,(橢)圓形深度判別的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率和學(xué)習(xí)次數(shù)分別為:70%、16230。3.2區(qū)域生長結(jié)構(gòu)比對(duì)長形寬度、深度、面積分類采用3層BP神經(jīng)網(wǎng)絡(luò),輸入到神經(jīng)網(wǎng)絡(luò)的特征參數(shù)為:寬度因子、區(qū)域最小深度和區(qū)域相對(duì)坐標(biāo)。輸出為一個(gè)節(jié)點(diǎn),輸出“l(fā)”表示區(qū)域“細(xì)長、較深、面積小”;輸出“0”表示區(qū)域“寬、較淺、面積大”。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本為30個(gè)國光蘋果,試驗(yàn)中結(jié)構(gòu)為3-8—1的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率最高,為76.6%,學(xué)習(xí)次數(shù)較少(18550次)。故采用該結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)來進(jìn)行寬度、深度、面積的分類。選同樣結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行長形寬度、深度、面積分類2,學(xué)習(xí)樣本為30個(gè)國光蘋果條件下,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率和學(xué)習(xí)次數(shù)分別為:73.3%、11500。3.3試驗(yàn)結(jié)果試驗(yàn)中,中心區(qū)域半徑r=34R?Rr=34R?R為蘋果半徑。通過試驗(yàn),在中心區(qū)域,選擇閾值To為15,閾值TL為1.2,面積閾值為14。在非中心區(qū)域,選擇閾值To為19,閾值TL為1.8,面積閾值為4。試驗(yàn)樣本為50個(gè)缺陷國光蘋果。試驗(yàn)結(jié)果為:碰壓傷分類正確率為73%,刺傷分類正確率為60%,裂果分類正確率為66.7%,蟲傷分類正確率為50%,病蟲果分類正確率為57%。試驗(yàn)中,當(dāng)碰壓傷、刺傷和裂果在圖像Ⅰ區(qū)時(shí),同時(shí)其相應(yīng)的特征參數(shù)區(qū)別比較顯著時(shí),分類正確率較高,為82%以上;但當(dāng)這類缺陷出現(xiàn)在圖像Ⅱ區(qū)時(shí),特別是在蘋果圖像邊緣區(qū)域,由于區(qū)域形狀畸變,分類正確率較低,因此造成這些缺陷整體分類正確率降低。蟲傷和病蟲果其圖像特征參數(shù)區(qū)別不十分明顯,故這類缺陷分類較其