基于圖像識(shí)別技術(shù)的變電站誤操作系統(tǒng)的研究與實(shí)現(xiàn)

基于圖像識(shí)別技術(shù)的變電站誤操作系統(tǒng)的研究與實(shí)現(xiàn)

0基于實(shí)時(shí)標(biāo)志圖像識(shí)別的防誤操作系統(tǒng)電力站是能源系統(tǒng)的重要組成部分，在重大的電壓變換、投資和切割負(fù)荷等任務(wù)中發(fā)揮著重要作用。由于變電站內(nèi)隔離刀閘、斷路器、接地刀閘等設(shè)備眾多,如果管理操作不當(dāng),極有可能出現(xiàn)誤操作,導(dǎo)致出現(xiàn)大面積停電、設(shè)備損壞甚至人員傷亡。因此如何減少變電站誤操作是電力部門長(zhǎng)期研究的課題。為進(jìn)一步提高變電站操作的安全性,本文研制了一種基于實(shí)時(shí)標(biāo)志牌圖像識(shí)別的防誤操作系統(tǒng)。該系統(tǒng)通過(guò)便攜式視頻捕獲設(shè)備獲取當(dāng)前間隔的標(biāo)志牌實(shí)時(shí)視頻圖片,并進(jìn)行智能識(shí)別,進(jìn)而可實(shí)現(xiàn)對(duì)后臺(tái)操作步驟的指導(dǎo)與糾錯(cuò)、防止誤入非工作間隔、智能開(kāi)鎖等功能,可進(jìn)一步減小誤操作發(fā)生的可能性。首先介紹了該系統(tǒng)的整體結(jié)構(gòu)和工作流程。然后詳細(xì)介紹了采用Hough變換來(lái)檢測(cè)標(biāo)志牌圖像邊框、采用投影法對(duì)目標(biāo)標(biāo)志牌圖像進(jìn)行字符分割以及采用人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像匹配的原理和具體實(shí)現(xiàn)。最后通過(guò)測(cè)試和現(xiàn)場(chǎng)實(shí)驗(yàn)結(jié)果驗(yàn)證了本系統(tǒng)的有效性和工程實(shí)用性。1門禁單元的實(shí)現(xiàn)本文提出的基于圖像識(shí)別的變電站防誤操作系統(tǒng)的整體結(jié)構(gòu)如圖1所示。整個(gè)系統(tǒng)可分為4個(gè)主要部分:a.由工作人員隨身攜帶的便攜式終端設(shè)備;b.多個(gè)安裝于開(kāi)關(guān)柜門或者電氣室門處的門禁單元;c.位于主控制室內(nèi)的后臺(tái)服務(wù)器;d.信號(hào)遍及整個(gè)變電站,用于上述3個(gè)部分間信息傳送的無(wú)線局域網(wǎng)絡(luò)。便攜式終端采用上網(wǎng)本,并集成了客戶端軟件和USB照相機(jī)。它用于實(shí)時(shí)采集能反映工作人員當(dāng)前位置的標(biāo)志牌圖像,如圖2所示。圖像的采集通過(guò)工作人員手動(dòng)完成,所采集的圖像由客戶端軟件通過(guò)無(wú)線局域網(wǎng)傳送至后臺(tái)服務(wù)器做進(jìn)一步的處理。門禁單元由控制終端和電磁鎖具組成?？刂平K端通過(guò)無(wú)線局域網(wǎng)接收來(lái)自后臺(tái)服務(wù)器的控制命令來(lái)打開(kāi)或關(guān)閉電磁鎖。后臺(tái)服務(wù)器接收便攜式終端上傳的實(shí)時(shí)標(biāo)志牌圖像,經(jīng)過(guò)辨識(shí)后將其與由正確次序確定的標(biāo)志牌進(jìn)行比對(duì)。如果兩者一致則發(fā)出開(kāi)鎖命令,相應(yīng)鎖具打開(kāi);否則所有鎖具將維持閉鎖,同時(shí)系統(tǒng)將會(huì)告警并提示走錯(cuò)間隔。無(wú)線局域網(wǎng)采用基于IEEE802.11標(biāo)準(zhǔn)的技術(shù)建立,當(dāng)變電站面積較大時(shí),需要加設(shè)無(wú)線接入點(diǎn)(無(wú)線中繼器)。下面給出整個(gè)系統(tǒng)的工作流程.a.根據(jù)操作要求從后臺(tái)服務(wù)器數(shù)據(jù)庫(kù)中調(diào)出相應(yīng)的操作票,操作票數(shù)據(jù)庫(kù)的形成是通過(guò)與現(xiàn)有五防系統(tǒng)的接口來(lái)實(shí)現(xiàn)的。b.后臺(tái)服務(wù)器根據(jù)操作次序發(fā)送操作指令至便攜式終端,收到便攜式終端的確認(rèn)信息后進(jìn)入等待接收標(biāo)志牌圖像的狀態(tài)。c.現(xiàn)場(chǎng)工作人員根據(jù)接收到的操作指示開(kāi)始操作,首先走到其認(rèn)為是正確的工作間隔,對(duì)該間隔的標(biāo)志牌進(jìn)行拍照,并將其發(fā)送至后臺(tái)服務(wù)器。d.后臺(tái)服務(wù)器接收到圖片后對(duì)其進(jìn)行處理和辨識(shí),并將其與由操作票確定的正確標(biāo)志牌圖像進(jìn)行匹配。e.如果兩圖片匹配成功,則后臺(tái)服務(wù)器認(rèn)為工作人員當(dāng)前的位置正確,將向該位置處的門禁終端發(fā)出開(kāi)鎖命令,以便工作人員完成該處的操作,工作人員完成操作后向后臺(tái)服務(wù)器發(fā)出“完成”消息,其后整個(gè)系統(tǒng)將對(duì)下一操作指令重復(fù)步驟b~e,直至所有操作步驟完成;如果圖片匹配失敗,則后臺(tái)服務(wù)器認(rèn)為工作人員當(dāng)前的位置不正確,將向所有門禁發(fā)出維持閉鎖命令,后臺(tái)服務(wù)器和便攜式終端將同時(shí)發(fā)出告警信息,本次操作將被中止。根據(jù)上述介紹可看到,步驟d中對(duì)標(biāo)志牌圖像進(jìn)行處理和辨識(shí)是整個(gè)系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)。本文將標(biāo)志牌圖像的辨識(shí)過(guò)程分為邊框檢測(cè)、字符分割和圖像匹配3個(gè)步驟,各步驟的原理和具體實(shí)現(xiàn)方法分別在以下幾個(gè)部分中詳細(xì)介紹。2車牌定位的方法在圖像處理領(lǐng)域,矩形的定位是一個(gè)重要的問(wèn)題,在車牌識(shí)別領(lǐng)域應(yīng)用極為廣泛。常見(jiàn)的車牌定位方法有邊界檢測(cè)法、基于水平灰度變化法、顏色空間法等。圖像處理領(lǐng)域常用Hough變換法來(lái)檢測(cè)直線。2.1直線段的選取Hough變換的基本原理在于利用點(diǎn)與線的對(duì)偶性,將原始圖像空間中給定的線段以參數(shù)空間中的一個(gè)點(diǎn)來(lái)進(jìn)行表示。在XY平面下的任何直線段都可用式(1)表示:其中,ρ實(shí)質(zhì)是直角坐標(biāo)原點(diǎn)到該線段的垂直距離;θ實(shí)質(zhì)是該線段或其延長(zhǎng)線與y軸的夾角,不考慮有向線的情況下,θ的取值范圍為[0°,180°)。對(duì)一確定的直線段而言,ρ和θ均為固定值,則式(1)所表示的直線段可用ρ-θ坐標(biāo)系(也稱為參數(shù)空間)下的點(diǎn)(ρ,θ)來(lái)唯一確定。同理,在XY平面下的一點(diǎn)(x,y)則對(duì)應(yīng)了參數(shù)空間下的一條曲線,則XY平面下一條直線段上的不同點(diǎn)所對(duì)應(yīng)的曲線必然相交于該直線段在參數(shù)空間內(nèi)的對(duì)應(yīng)點(diǎn)。Hough變換正是基于這一原理來(lái)實(shí)現(xiàn)直線段的檢測(cè)。2.2識(shí)別標(biāo)記邊界的算法2.2.1原始圖像的二值化獲取圖3(a)中所示的標(biāo)志牌為后臺(tái)服務(wù)器接收的某一原始標(biāo)志牌圖像,其大小為640×480像素,本文以對(duì)其的處理為例來(lái)說(shuō)明各步驟的具體實(shí)現(xiàn)。為了清晰地分辨圖像的背景信息和圖片信息,需要對(duì)其進(jìn)行二值化處理,得到只含有黑白2種像素的二值化圖片。再經(jīng)過(guò)膨脹、濾波、邊緣檢測(cè)等一系列處理,可得到原始圖片的二值化輪廓如圖3(b)所示。需說(shuō)明的是圖中最外面的虛線構(gòu)成的邊界是原始圖像的邊界,并不實(shí)際存在于二值化圖片中,而其中的實(shí)線框是原始圖像中實(shí)際存在而需要被定位的邊界。2.2.2維液壓圖像中各構(gòu)成二維樣本的td-pcr的圖像背景以圖像的左下頂點(diǎn)為坐標(biāo)原點(diǎn),建立直角坐標(biāo)系如圖3(b)所示。按照式(1)對(duì)二值化圖片進(jìn)行Hough變換,步驟如下:a.建立N×180的二維數(shù)組ρ,其中N為圖片中黑色像素點(diǎn)的個(gè)數(shù);b.取x=xi,y=yi以及θ=k°求解式(1),xi和yi分別為圖像中第i個(gè)黑色像素點(diǎn)的橫、縱坐標(biāo),k=0,1,…,179;c.將b中求解得到的ρ值進(jìn)行向下取整,根據(jù)ρ的特性可知,取整后的ρ值為[0,DT]內(nèi)的一個(gè)整數(shù),DT為以像素為單位的圖片對(duì)角線的長(zhǎng)度,將該值存儲(chǔ)到ρ[i,k]中;d.對(duì)圖片中每個(gè)黑色像素點(diǎn)重復(fù)步驟b、c。2.2.3圖像邊框線段的邊緣定位從圖3(b)中可看出,組成圖片邊框的4條直線段是該圖片中最長(zhǎng)的4條直線段,該結(jié)論對(duì)本文中所涉及的所有變電站標(biāo)識(shí)牌也是成立的,本文利用該特點(diǎn)來(lái)進(jìn)行圖像邊框的檢測(cè)。具體實(shí)現(xiàn)步驟如下:a.建立(DT+1)×180的二維數(shù)組c;b.對(duì)數(shù)組ρ的第k列進(jìn)行掃描,依次取i=0,1,2,…,DT,統(tǒng)計(jì)該列內(nèi)值等于i的元素?cái)?shù)目并存儲(chǔ)到c[i,k]中,c[i,k]的值即是圖片中ρ=i、θ=k°的直線段的像素?cái)?shù)目,也可認(rèn)為是該直線段的長(zhǎng)度;c.對(duì)數(shù)組ρ的每一列重復(fù)步驟b;d.根據(jù)對(duì)c[i,k]值含義的分析,并結(jié)合4個(gè)邊框直線段具有最大長(zhǎng)度這一前提,在所得到的數(shù)組c中搜索出前4個(gè)具有最大值的元素,即可得到圖片中4條邊框直線段的參數(shù)ρ和θ,需要注意的是,由于圖片中的邊框線段具有一定的寬度,可看作是由多個(gè)寬度為1像素的直線段相鄰構(gòu)成,反映在數(shù)組c中,這些線段具有近似相等的ρ和θ,即分布在c中的一個(gè)臨近區(qū)域內(nèi),本文將這些相鄰的元素c[i,k]視為一個(gè)整體,隨機(jī)從中取一個(gè)來(lái)代表相應(yīng)的邊框線段;e.將所得到的4組(ρ,θ)代入式(1),可得到4個(gè)方程,兩兩聯(lián)立分別求解(兩兩聯(lián)立共6組方程,其中有2組方程無(wú)解,對(duì)應(yīng)于上下和左右這2對(duì)平行的直線段無(wú)交點(diǎn)),即可得到原始直角坐標(biāo)下4條邊框線段交點(diǎn)的坐標(biāo),根據(jù)這些交點(diǎn)坐標(biāo)進(jìn)而可定位圖像邊框。采用本節(jié)說(shuō)明的方法對(duì)圖3(b)所示圖像進(jìn)行邊框定位,4條邊框直線段所對(duì)應(yīng)的參數(shù)(ρ,θ)分別為(95,89°)、(622,90°)、(453,179°)和(44,179°);所得到的4個(gè)邊框直線段交點(diǎn)的坐標(biāo)分別為(99,469)、(99,39)、(612,469)和(612,39)。邊框定位后的圖片如圖4所示,圖中為了突出顯示所定位的邊框,對(duì)其進(jìn)行了加粗處理。3基于投影法和聚類分析的字符分割法定位邊框后即可獲知圖像中包含字符的區(qū)域,為進(jìn)行圖像匹配還需對(duì)這些字符進(jìn)行分割,以獲知圖像中包含哪些字符。字符分割主要的方法有投影法和基于聚類分析的字符分割方法。投影法首先進(jìn)行字符的垂直投影,利用投影的極小值找到候選間隔點(diǎn),再根據(jù)字符的固定寬度、間距比例關(guān)系等先驗(yàn)知識(shí)來(lái)分割字符。投影法算法實(shí)現(xiàn)簡(jiǎn)單,其實(shí)現(xiàn)前提是已對(duì)標(biāo)志牌字符區(qū)域進(jìn)行了準(zhǔn)確定位?；诰垲惙治龅淖址指罘椒▌t按照屬于同一個(gè)字符的像素構(gòu)成一個(gè)連通域的原則,并結(jié)合某些先驗(yàn)知識(shí)來(lái)進(jìn)行字符分割。本文中所涉及的標(biāo)志牌大小基本相同、背景簡(jiǎn)單且邊框檢測(cè)準(zhǔn)確率很高(參見(jiàn)本文第5節(jié)中的相應(yīng)結(jié)論),故采用了投影法進(jìn)行字符分割。3.1u3000pl的選取與車牌中僅包含單行字符串不同,本文中涉及的標(biāo)志牌圖像均具有2行字符,因此首先需要將圖像進(jìn)行上下分割,得到2個(gè)僅包含一行字符的子圖像,然后再分別進(jìn)行字符分割。上下分割的基本思路是找出2行字符間白色區(qū)域的上下邊界。實(shí)現(xiàn)圖像上下分割的步驟如下:a.建立一個(gè)數(shù)組a,其長(zhǎng)度等于原始圖像去除邊框外部分后圖像的行像素點(diǎn)數(shù);b.對(duì)標(biāo)志牌圖像進(jìn)行逐行掃描,把第i行中黑色像素點(diǎn)的個(gè)數(shù)存放到數(shù)組元素a[i]中;c.根據(jù)式(2)、式(3)分別搜索出2行字符間白色區(qū)域的上下邊界對(duì)應(yīng)的行號(hào):其中,PL為閾值,設(shè)置為每行像素?cái)?shù)的固定百分比。式(2)表明在由下向上逐行掃描圖片的過(guò)程中,由圖片中白色區(qū)域進(jìn)入字符區(qū)域,在有2行字符的情況下,滿足該條件的m值有2個(gè),其中較大的m值即對(duì)應(yīng)白色區(qū)域的上邊界;式(3)表明在由下向上逐行掃描圖片的過(guò)程中,由字符區(qū)域進(jìn)入白色區(qū)域,在有2行字符的情況下,滿足該條件的n值也有2個(gè),其中較小的n值即對(duì)應(yīng)白色區(qū)域的下邊界。得到白色區(qū)域上下邊界行號(hào)m和n后,以圖像中第(m+n)/2行作為分界線來(lái)分割圖像。以對(duì)經(jīng)過(guò)邊框定位后的圖4進(jìn)行圖像分割為例,邊框定位后,圖像中包含字410符區(qū)域的大小為513×410(像素),取PL=513×5%≈26像素,搜索得到的2行字符間白色區(qū)域上下邊界對(duì)應(yīng)的行號(hào)為m=265和n=186,取第226行作為分界線,結(jié)果如圖5所示。需說(shuō)明的是,PL的合理選擇能濾除標(biāo)志牌2行字符間白色區(qū)域內(nèi)某些污跡(如圖5中的A區(qū)域)所造成的干擾。一般情況下污跡范圍較小,每行黑色像素點(diǎn)的數(shù)目也較小,PL的增大能夠?yàn)V除更大范圍污跡的干擾。圖5中的分割結(jié)果即是未受到污跡A影響的結(jié)果。3.2逐列掃描的結(jié)果標(biāo)志牌圖像經(jīng)過(guò)水平分割后可得到各種僅包含一行字符的上下2個(gè)子圖像,采用下述4個(gè)步驟分別進(jìn)行字符分割。a.建立數(shù)組a、b和c,數(shù)組a的長(zhǎng)度為標(biāo)志牌圖像的行像素點(diǎn)數(shù),數(shù)組b和c的長(zhǎng)度為標(biāo)志牌中一行可能出現(xiàn)的最大字符數(shù),可根據(jù)對(duì)所有標(biāo)志牌進(jìn)行統(tǒng)計(jì)后得到。b.對(duì)圖像進(jìn)行逐列掃描,將第i列中黑色像素點(diǎn)的個(gè)數(shù)存儲(chǔ)于a[i]中。c.根據(jù)式(4)和式(5)在數(shù)組a中搜索各字符的左右邊界:其中,PC為閾值,設(shè)置為每列像素?cái)?shù)的固定百分比。式(4)和式(5)表明在由左至右逐列掃描圖片的過(guò)程中,由圖片中字符間白色區(qū)域進(jìn)入字符區(qū)域,mk即對(duì)應(yīng)第k個(gè)字符的左邊界;式(5)表明在由左至右逐列掃描圖片的過(guò)程中,由字符區(qū)域進(jìn)入圖片中字符間的白色區(qū)域,nk即對(duì)應(yīng)第k個(gè)字符的右邊界。將mk存儲(chǔ)于b[k]中,將nk存儲(chǔ)于c[k]中。d.在以b[k]和c[k]為左右邊界的圖片范圍內(nèi)進(jìn)行逐行掃描,按照類似于3.1節(jié)中圖像水平分割的方法找出第k個(gè)字符在圖像中的上下邊界;根據(jù)左右分界和上下分界即可分割出該字符。對(duì)圖5中上下2行字符進(jìn)行字符分割,取PC=410×7%≈29(像素),所得結(jié)果如圖6所示。3.3閾值的方法設(shè)置當(dāng)標(biāo)志牌上出現(xiàn)污跡時(shí)(如圖6中所示的區(qū)域B),會(huì)對(duì)圖像字符分割產(chǎn)生干擾,有可能該污跡被分割為單獨(dú)的字符從而降低后續(xù)圖像匹配的準(zhǔn)確度。一般情況下,污跡區(qū)域的寬度和長(zhǎng)度都遠(yuǎn)小于標(biāo)志牌中字符的寬度和長(zhǎng)度。本文采用設(shè)置閾值的方法來(lái)濾除污跡的干擾。在3.2節(jié)的步驟d中加入判定條件,在得到該字符或污跡的上下邊界后可計(jì)算出該區(qū)域的長(zhǎng)度lk,得到其左右邊界后可計(jì)算出該區(qū)域的寬度wk,并根據(jù)式(6)和式(7)進(jìn)行判定:其中,PIW和PIL均為閾值,通常設(shè)置為標(biāo)志牌字符平均寬度和長(zhǎng)度的固定百分比,而字符平均寬度和長(zhǎng)度可根據(jù)對(duì)所有標(biāo)志牌進(jìn)行統(tǒng)計(jì)后計(jì)算得到。只有同時(shí)滿足式(6)和式(7)的區(qū)域才被認(rèn)為是字符區(qū)域,否則該區(qū)域?qū)⒈缓雎浴１疚闹凶址骄鶎挾群烷L(zhǎng)度分別為48和89個(gè)像素點(diǎn),閾值分別為PIW=48×20%≈10個(gè)像素點(diǎn)和PIL=89×20%≈18個(gè)像素點(diǎn),從圖6中可以看到,采用該干擾濾除方法后字符分割未受到污跡B的影響。4統(tǒng)計(jì)模型法識(shí)別字符在分割出標(biāo)志牌圖像中的字符后,還需要對(duì)每個(gè)字符進(jìn)行識(shí)別,將每個(gè)識(shí)別后的字符進(jìn)行組合即可得到標(biāo)志牌中的文字信息,從而識(shí)別出標(biāo)志牌。字符識(shí)別的常用技術(shù)有模板匹配法、統(tǒng)計(jì)模型法和人工神經(jīng)網(wǎng)絡(luò)法等。模版匹配法是直接進(jìn)行模板與字符圖像的逐點(diǎn)匹配,其對(duì)字符圖像要求較高。統(tǒng)計(jì)模型法是提取待識(shí)別字符的一組統(tǒng)計(jì)特征來(lái)進(jìn)行字符識(shí)別,其運(yùn)算復(fù)雜,且由于不同字符庫(kù)之間統(tǒng)計(jì)特征的選取千差萬(wàn)別,導(dǎo)致其擴(kuò)展性差。車牌識(shí)別系統(tǒng)中常用BP神經(jīng)網(wǎng)絡(luò)法識(shí)別字符。BP神經(jīng)網(wǎng)絡(luò)采用反向誤差傳播學(xué)習(xí)算法,將一組樣本的輸入輸出問(wèn)題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問(wèn)題,并可實(shí)現(xiàn)從輸入到輸出的任意連續(xù)的非線性映射。本文設(shè)計(jì)了包括輸入、輸出和隱含層在內(nèi)的3層BP神經(jīng)網(wǎng)絡(luò)。將字符圖像歸一化為32×32像素,以這些像素組成長(zhǎng)度為1024的數(shù)組作為輸入,而對(duì)每個(gè)字符給予一個(gè)7位二進(jìn)制的編碼作為輸出,提取了所有標(biāo)志牌的字符圖像信息作為樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。將字符分割環(huán)節(jié)后得到的字符圖像歸一化為32×32像素,輸入至訓(xùn)練好的神經(jīng)網(wǎng)絡(luò),輸出值即為該字符的二進(jìn)制代碼,從而識(shí)別出該字符。將所有字符識(shí)別后,即可得到原始圖像中的文字信息,進(jìn)而可與目標(biāo)圖像進(jìn)行比對(duì)。5字符分割和識(shí)別提取了某變電站中112張標(biāo)志牌的原始圖像,圖像大小均為40cm×30cm。隨機(jī)從中提取了40張進(jìn)行測(cè)試。在邊框定位環(huán)節(jié)中,39張圖像的邊框能準(zhǔn)確定位,準(zhǔn)確率高達(dá)97.5%。未能準(zhǔn)確定位的一張圖像是由于其位置過(guò)高、圖像采集不清晰所導(dǎo)致。對(duì)39張邊框準(zhǔn)確定位的圖像進(jìn)行字符分割,全部的字符分割準(zhǔn)確。但存在一個(gè)問(wèn)題是某個(gè)圖像中含有“北”字,它會(huì)被分割成“丬”和“匕”兩部分。由于所有標(biāo)志牌中的字符是有限集合,測(cè)試中若某圖像中同時(shí)分割并識(shí)別出“丬”和“匕”,則認(rèn)定這2個(gè)字符組成“北”。因此,結(jié)合特定字符判定方法,本文提出的字符分割方法的準(zhǔn)確率可達(dá)到100%。對(duì)準(zhǔn)確分割的39張圖片中的471個(gè)字符利