基于深度學(xué)習(xí)的車牌識(shí)別方法及系統(tǒng)實(shí)現(xiàn)

摘要車牌識(shí)別技術(shù)作為智能交通系統(tǒng)中的一個(gè)重要組成部分，在實(shí)際生活中得到了廣泛的應(yīng)用。傳統(tǒng)的車牌識(shí)別方法存在著準(zhǔn)確性和穩(wěn)定性等方面的問(wèn)題，因此需要采用新的方法進(jìn)行改進(jìn)和優(yōu)化。本研究旨在探究基于深度學(xué)習(xí)的車牌識(shí)別方法及其系統(tǒng)實(shí)現(xiàn)，通過(guò)構(gòu)建車牌識(shí)別系統(tǒng)，提高車牌識(shí)別的準(zhǔn)確性和穩(wěn)定性，為智能交通系統(tǒng)的發(fā)展做出貢獻(xiàn)。本文首先介紹了深度學(xué)習(xí)技術(shù)及其在圖像識(shí)別中的應(yīng)用，卷積神經(jīng)網(wǎng)絡(luò)（CNN）。接著，基于這些技術(shù)，我們提出了一種車牌識(shí)別系統(tǒng)的框架設(shè)計(jì)，包括車牌定位、字符分割、字符識(shí)別等步驟。隨后，通過(guò)對(duì)某地區(qū)真實(shí)拍攝的車牌圖像進(jìn)行實(shí)驗(yàn)與結(jié)果分析，驗(yàn)證了該方法的準(zhǔn)確性和穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的車牌識(shí)別系統(tǒng)可以有效地提高車牌識(shí)別的準(zhǔn)確性和穩(wěn)定性。該方法不受光線、角度等因素的干擾，可以實(shí)現(xiàn)對(duì)不同車輛的快速識(shí)別，具有廣泛的應(yīng)用前景?？傊?，本文提出了一種基于深度學(xué)習(xí)的車牌識(shí)別方法及系統(tǒng)實(shí)現(xiàn)，具有較高的準(zhǔn)確性和穩(wěn)定性。隨著智能交通系統(tǒng)的不斷發(fā)展，該研究具有極大的應(yīng)用價(jià)值和發(fā)展前景。未來(lái)可以考慮對(duì)該方法進(jìn)行進(jìn)一步優(yōu)化和改進(jìn)，從而更好地服務(wù)于社會(huì)和人民群眾的需要。本文使用輕量級(jí)CNN來(lái)實(shí)現(xiàn)車牌識(shí)別。關(guān)鍵詞：深度學(xué)習(xí);車牌識(shí)別;系統(tǒng)實(shí)現(xiàn);輕量級(jí)CNN;AbstractAsanimportantpartofintelligenttransportationsystem,licenseplaterecognitiontechnologyhasbeenwidelyusedinreallife.Traditionallicenseplaterecognitionmethodshaveproblemsinaccuracyandstability,sonewmethodsareneededtoimproveandoptimizethem.Thepurposeofthisstudyistoexplorethemethodoflicenseplaterecognitionbasedondeeplearninganditssystemimplementation.Byconstructingalicenseplaterecognitionsystem,theaccuracyandstabilityoflicenseplaterecognitionareimproved,anditcontributestothedevelopmentofintelligenttransportationsystem.Thispaperfirstintroducesthedeeplearningtechnologyanditsapplicationinimagerecognition,includingconvolutionalneuralnetwork(CNN).Then,basedonthesetechnologies,aframeworkdesignoflicenseplaterecognitionsystemisproposed,includinglicenseplatelocation,charactersegmentation,characterrecognitionandothersteps.Subsequently,theaccuracyandstabilityofthemethodareverifiedbyexperimentsandresultsanalysisofreallicenseplateimagestakeninacertainarea.Theexperimentalresultsshowthatthelicenseplaterecognitionsystembasedondeeplearningcaneffectivelyimprovetheaccuracyandstabilityoflicenseplaterecognition.Themethodisnotinterferedbylight,angleandotherfactors,andcanrealizetherapidrecognitionofdifferentvehicles,whichhasawiderangeofapplicationprospects.Inshort,thispaperproposesamethodandsystemimplementationoflicenseplaterecognitionbasedondeeplearning,whichhashighaccuracyandstability.Withthecontinuousdevelopmentofintelligenttransportationsystem,thisresearchhasgreatapplicationvalueanddevelopmentprospects.Inthefuture,wecanconsiderfurtheroptimizationandimprovementofthismethod,soastobetterservetheneedsofsocietyandthepeople.ThisarticleuseslightweightCNNtoachievelicenseplaterecognition.Keyword：Deeplearning;licenseplaterecognition;systemimplementation；lightweightcnn第一章緒論1.1研究背景及意義深度學(xué)習(xí)行業(yè)的發(fā)展前景非常廣闊。深度學(xué)習(xí)是一種人工智能技術(shù)，可以幫助計(jì)算機(jī)系統(tǒng)從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)并做出決策。隨著數(shù)據(jù)量的不斷增加，深度學(xué)習(xí)技術(shù)的應(yīng)用范圍也將不斷擴(kuò)大。深度學(xué)習(xí)技術(shù)可以應(yīng)用于許多領(lǐng)域，包括自然語(yǔ)言處理、計(jì)算機(jī)視覺、醫(yī)療信息、金融、交通等[1]。在醫(yī)療信息領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于腫瘤檢測(cè)、放射學(xué)圖像分析等[2]。在金融領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于風(fēng)險(xiǎn)評(píng)估、信用評(píng)分等。在交通領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于自動(dòng)駕駛、路況預(yù)測(cè)等。另外，深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域的發(fā)展也是十分迅速的。隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)將在許多領(lǐng)域發(fā)揮重要作用[3]。隨著我國(guó)經(jīng)濟(jì)的發(fā)展，私家車已經(jīng)走進(jìn)家家戶戶，但是在方便生活的同時(shí)也帶來(lái)了不少問(wèn)題，比如停車場(chǎng)人工管理效率的低下，快速準(zhǔn)確處理違章交通等，但是目前市場(chǎng)上產(chǎn)品通用性不夠,尤其是識(shí)別條件比較惡劣的情況下,因此對(duì)車牌識(shí)別系統(tǒng)進(jìn)行進(jìn)一步的研究有著重大的應(yīng)用價(jià)值[4]。深度學(xué)習(xí)行業(yè)的發(fā)展前景非常廣闊。深度學(xué)習(xí)是一種人工智能技術(shù)，可以幫助計(jì)算機(jī)系統(tǒng)從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)并做出決策。隨著數(shù)據(jù)量的不斷增加，深度學(xué)習(xí)技術(shù)的應(yīng)用范圍也將不斷擴(kuò)大。深度學(xué)習(xí)技術(shù)可以應(yīng)用于許多領(lǐng)域，包括自然語(yǔ)言處理、計(jì)算機(jī)視覺、醫(yī)療信息、金融、交通等。例如，在自然語(yǔ)言處理領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于機(jī)器翻譯、自動(dòng)問(wèn)答等。在計(jì)算機(jī)視覺領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于圖像分類、目標(biāo)檢測(cè)等。在醫(yī)療信息領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于腫瘤檢測(cè)、放射學(xué)圖像分析等。在金融領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于風(fēng)險(xiǎn)評(píng)估、信用評(píng)分等。在交通領(lǐng)域，深度學(xué)習(xí)技術(shù)可以用于自動(dòng)駕駛、路況預(yù)測(cè)等。另外，深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域的發(fā)展也是十分迅速的。隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)將在許多領(lǐng)域發(fā)揮重要作用。1.2研究?jī)?nèi)容本文研究的是基于深度學(xué)習(xí)的車牌識(shí)別方法及系統(tǒng)實(shí)現(xiàn)。隨著社會(huì)交通工具和機(jī)動(dòng)車數(shù)量的增加，以及交通事故、違章等問(wèn)題的不斷發(fā)生，車牌識(shí)別技術(shù)成為了交通安全管理和智能交通系統(tǒng)等領(lǐng)域研究的熱點(diǎn)。傳統(tǒng)的車牌識(shí)別方法主要基于模板匹配或圖像處理等算法，但由于待識(shí)別的車牌顏色、光照等情況多樣化，傳統(tǒng)方法的準(zhǔn)確率較低，且對(duì)算法的設(shè)計(jì)和車牌的處理較為繁瑣。深度學(xué)習(xí)技術(shù)隨著近年來(lái)的快速發(fā)展已經(jīng)成為圖像識(shí)別領(lǐng)域的主流方法之一，具有高準(zhǔn)確率和穩(wěn)定性的優(yōu)勢(shì)。本文采用pytorch進(jìn)行車牌識(shí)別，將車牌圖像輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提取特征后進(jìn)行分類，從而將車牌快速準(zhǔn)確的識(shí)別出來(lái)。深度學(xué)習(xí)技術(shù)主要包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等[5]，本文選擇使用輕量級(jí)CNN實(shí)現(xiàn)車牌識(shí)別系統(tǒng)。本文研究工作主要有以下幾部分：對(duì)車牌識(shí)別系統(tǒng)的框架進(jìn)行了設(shè)計(jì)，包括車牌圖像預(yù)處理、深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試、分類器的指定以及車牌字符還原等模塊。最后，對(duì)設(shè)計(jì)的車牌識(shí)別系統(tǒng)進(jìn)行了實(shí)驗(yàn)及結(jié)果分析。

1.3深度學(xué)習(xí)技術(shù)及其在圖像識(shí)別中的應(yīng)用一、深度學(xué)習(xí)原理深度學(xué)習(xí)技術(shù)是一種基于多層神經(jīng)網(wǎng)絡(luò)模型的機(jī)器學(xué)習(xí)技術(shù)。其使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行自動(dòng)化的特征提取和學(xué)習(xí)。深度學(xué)習(xí)技術(shù)的主要優(yōu)勢(shì)在于其能夠針對(duì)高緯度、復(fù)雜的數(shù)據(jù)進(jìn)行有效的學(xué)習(xí)和預(yù)測(cè)，而且在數(shù)據(jù)量和計(jì)算能力允許的情況下，其預(yù)測(cè)準(zhǔn)確率甚至比人類還要高[6]。深度學(xué)習(xí)技術(shù)運(yùn)用了反向傳播算法，通過(guò)不斷調(diào)整模型參數(shù)，使得模型能夠更好地適應(yīng)數(shù)據(jù)，并達(dá)到更高的預(yù)測(cè)準(zhǔn)確率[7]。深度學(xué)習(xí)技術(shù)中神經(jīng)網(wǎng)絡(luò)的層數(shù)是很關(guān)鍵的因素。層數(shù)較少的網(wǎng)絡(luò)只能提取一些簡(jiǎn)單的特征[8]，而層數(shù)太多的網(wǎng)絡(luò)在訓(xùn)練過(guò)程中則會(huì)出現(xiàn)梯度消失和梯度爆炸等問(wèn)題。因此，在構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，需要根據(jù)數(shù)據(jù)的類型和任務(wù)的要求來(lái)確定合適的神經(jīng)網(wǎng)絡(luò)層數(shù)。除了深度神經(jīng)網(wǎng)絡(luò)模型之外，深度學(xué)習(xí)技術(shù)還包括許多相關(guān)技術(shù)，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）以及多層感知機(jī)（MLP）等[9]。這些技術(shù)在不同的圖像分類和識(shí)別任務(wù)中都有廣泛的應(yīng)用。綜上所述，深度學(xué)習(xí)技術(shù)是一種非常強(qiáng)大的圖像識(shí)別技術(shù)，它能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測(cè)，并且在許多領(lǐng)域中都已經(jīng)獲得了廣泛的應(yīng)用。在本研究中，我們將運(yùn)用深度學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)車牌的識(shí)別和識(shí)別率的提升。二、深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用隨著計(jì)算機(jī)圖像處理技術(shù)的不斷發(fā)展，深度學(xué)習(xí)技術(shù)在圖像識(shí)別領(lǐng)域的應(yīng)用變得越來(lái)越廣泛。通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)可以對(duì)圖像中的特征進(jìn)行自動(dòng)學(xué)習(xí)和提取[10]。在圖像識(shí)別中，深度學(xué)習(xí)已經(jīng)被廣泛應(yīng)用于人臉識(shí)別、物體識(shí)別等識(shí)別任務(wù)，并取得了較好的效果。卷積神經(jīng)網(wǎng)絡(luò)是主要代表網(wǎng)絡(luò)。CNN通過(guò)卷積層、池化層和全連接層構(gòu)成，卷積層負(fù)責(zé)對(duì)圖像特征的提取，池化層對(duì)卷積層輸出的特征圖進(jìn)行降維處理，全連接層對(duì)特征進(jìn)行分類和識(shí)別[11]。此外，CNN還可以通過(guò)增加深度、使用不同的卷積核等方式對(duì)模型進(jìn)行優(yōu)化，提高識(shí)別精度和魯棒性。在車牌識(shí)別領(lǐng)域，深度學(xué)習(xí)技術(shù)同樣發(fā)揮了重要作用。針對(duì)車牌圖像中的復(fù)雜背景、光照變化等問(wèn)題，在車牌識(shí)別中使用CNN模型對(duì)車牌圖像進(jìn)行特征提取和識(shí)別，通過(guò)對(duì)車牌區(qū)域進(jìn)行剪裁、提取像素等方式對(duì)車牌圖像進(jìn)行預(yù)處理，可以有效提高車牌識(shí)別的準(zhǔn)確率和魯棒性?？偟膩?lái)說(shuō)，深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用已經(jīng)成為研究領(lǐng)域的熱點(diǎn)。在車牌識(shí)別領(lǐng)域，深度學(xué)習(xí)技術(shù)同樣能夠發(fā)揮重要作用，并為車牌識(shí)別系統(tǒng)的實(shí)現(xiàn)提供了有力支持。未來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的不斷拓展，相信車牌識(shí)別技術(shù)將會(huì)得到進(jìn)一步提升和完善。三、車牌識(shí)別與深度學(xué)習(xí)的相關(guān)研究現(xiàn)狀車牌識(shí)別一直是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要研究方向，在過(guò)去的幾十年中，研究者通過(guò)不斷的探索和實(shí)踐，取得了一系列的成果。然而，由于車牌種類繁多、字體差異顯著、尺度、角度或光照變化等因素的干擾，基于傳統(tǒng)的識(shí)別方法實(shí)現(xiàn)高精度的車牌識(shí)別依然存在許多問(wèn)題。隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)，車牌識(shí)別面臨的問(wèn)題開始得到有效的解決。淺層學(xué)習(xí)早期的ALPR系統(tǒng)在檢測(cè)、分割和識(shí)別子任務(wù)中使用淺層機(jī)器學(xué)習(xí)來(lái)替代人工特征選擇和分類。經(jīng)典的機(jī)器學(xué)習(xí)算法，如SVM，AdaBoost，可以方便地與不同的組合特征結(jié)合起來(lái)，以獲得更好的性能。在中，由AdaBoost分類器獲得一組可能的初始字符區(qū)域，然后傳遞給支持向量機(jī)（SVM），其中非字符區(qū)域被拒絕。對(duì)于車牌識(shí)別，除了SVM外，還可以使用許多分類器來(lái)識(shí)別具有有效的特征提取的字符，如ANN。深度學(xué)習(xí)隨著近年來(lái)深度學(xué)習(xí)的顯著發(fā)展，在深度神經(jīng)網(wǎng)絡(luò)的幫助下，檢測(cè)和識(shí)別任務(wù)可以達(dá)到更好的精度和魯棒性，使人們從人工特征選擇中解放出來(lái)。RaysonLaroca等。使用了一個(gè)單級(jí)檢測(cè)器來(lái)有效地定位車牌區(qū)域，而Z.Selmi等人。采用簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)（CNN）完成單字符分類任務(wù)，獲得了較高的識(shí)別精度。此外，目前一些最先進(jìn)的ALPR框架采用了無(wú)分割的方法，可以對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練，從而實(shí)現(xiàn)了一個(gè)高效的學(xué)習(xí)過(guò)程，并取得了良好的性能。典型的RPNet等工作采用一個(gè)簡(jiǎn)單的CNN作為車牌檢測(cè)的骨干，并采用全連接層對(duì)每個(gè)檢測(cè)圖像中的字符進(jìn)行分類。深度學(xué)習(xí)技術(shù)的應(yīng)用主要是字符識(shí)別和車牌檢測(cè)。在車牌識(shí)別領(lǐng)域中，深度學(xué)習(xí)技術(shù)主要集中在字符識(shí)別和車牌檢測(cè)這兩個(gè)方面。我們利用深度學(xué)習(xí)方法的字符識(shí)別技術(shù)，可以通過(guò)深度神經(jīng)網(wǎng)絡(luò)提取字符特征，并將其分類識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)是目前主要的識(shí)別網(wǎng)絡(luò)，通過(guò)在卷積神經(jīng)網(wǎng)絡(luò)中輸入字母圖像來(lái)獲得核參數(shù)。優(yōu)化卷積，提高字符識(shí)別的準(zhǔn)確性和耐久性。在車牌檢測(cè)方面，傳統(tǒng)方法對(duì)光照變化、車牌旋轉(zhuǎn)、車型變化等因素的適應(yīng)性較差，存在較大的局限性，而基于深度學(xué)習(xí)的車牌檢測(cè)方法由于其具有高度的自適應(yīng)性，更好地適應(yīng)了車牌的各種變化。對(duì)于車牌檢測(cè)，主要的方法是使用卷積神經(jīng)網(wǎng)絡(luò)，其在目標(biāo)檢測(cè)領(lǐng)域中有較為廣泛的應(yīng)用，如經(jīng)典的FasterR-CNN和YOLO等。這些方法可以非常高效地定位車牌位置。當(dāng)前，基于深度學(xué)習(xí)的車牌識(shí)別方法廣泛應(yīng)用于各種場(chǎng)景中，包括出入口管理、智能停車、交通管理等。但同時(shí)也存在一些問(wèn)題，例如數(shù)據(jù)集的質(zhì)量和數(shù)量不足、車牌檢測(cè)的實(shí)時(shí)性、識(shí)別準(zhǔn)確度等，這些問(wèn)題仍需要解決。因此，未來(lái)研究方向需要把握好深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特點(diǎn)，進(jìn)一步提升算法性能，在實(shí)際車牌識(shí)別場(chǎng)景下實(shí)現(xiàn)較高的魯棒性和準(zhǔn)確性。四、CNN卷積神經(jīng)網(wǎng)絡(luò)介紹在人工的全連接神經(jīng)網(wǎng)絡(luò)中，每一層的所有神經(jīng)元都與上一層和下一層的所有神經(jīng)元都相互連接，形成了一張密集的神經(jīng)網(wǎng)絡(luò)。當(dāng)輸入層的特征維度變得很高時(shí)，由于全連接網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)隨之增多，因此計(jì)算速度會(huì)因此而變慢。在卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）中，卷積層的神經(jīng)元只與前一層的一部分神經(jīng)元節(jié)點(diǎn)相連，在神經(jīng)元間的連接上是非全連接的。同一層中的某些神經(jīng)元之間的連接具有共享的權(quán)重和偏移量，因此可以大幅減少需要訓(xùn)練的參數(shù)的數(shù)量。卷積神經(jīng)網(wǎng)絡(luò)CNN的結(jié)構(gòu)通常包括一下幾層：輸入層，卷積層，激勵(lì)層，池化層，全連接層，輸出層。當(dāng)然，中間還可以使用其他功能層。歸一化層，切分層，融合層。（1）輸入層：CNN處理黑白圖片時(shí)，輸入數(shù)據(jù)是一個(gè)二維的神經(jīng)元矩陣，矩陣中的每個(gè)元素對(duì)應(yīng)原始圖片中的一個(gè)像素點(diǎn)。這個(gè)二維神經(jīng)元矩陣的結(jié)構(gòu)和大小取決于圖片的分辨率和CNN的設(shè)計(jì)?？梢杂孟聢D來(lái)展示這個(gè)二維神經(jīng)元矩陣的結(jié)構(gòu)。圖SEQ圖\*ARABIC1.1改寫后：在CNN處理RGB格式的圖片時(shí)，輸入為一個(gè)具有三個(gè)維度的神經(jīng)元，其中每個(gè)顏色通道都擁有一個(gè)獨(dú)立的矩陣，這一情形可用下圖進(jìn)行展示：圖1.2（2）卷積層：我們假設(shè)輸入一個(gè)二維的神經(jīng)元，對(duì)于隱藏層的神經(jīng)元來(lái)說(shuō)，它與輸入層的一定范圍內(nèi)的神經(jīng)元相連，在這個(gè)神經(jīng)元周圍的5*5的區(qū)域內(nèi)，我們稱之為感受視野。換句話說(shuō)，隱藏層的神經(jīng)元通過(guò)一定大小的感受視野去感知上一層的一些特征。在全連接神經(jīng)網(wǎng)絡(luò)中，隱藏層的神經(jīng)元具有足夠廣闊的感知范圍，以至于它們能夠識(shí)別上層的所有特征。這樣的隱藏層神經(jīng)元可以監(jiān)控并參與到神經(jīng)網(wǎng)絡(luò)的復(fù)雜信息處理中。卷積神經(jīng)網(wǎng)絡(luò)中，隱藏層中的神經(jīng)元只能看到之前的一部分特征，視野比較小。但可以通過(guò)平移視野來(lái)獲取同一層的其他特征。一個(gè)神經(jīng)元的視野帶有一個(gè)卷積核，其權(quán)重矩陣被稱為感受視野。當(dāng)步長(zhǎng)較大（stride>1）時(shí)，為了能夠覆蓋到邊緣的特征，感受視野有可能會(huì)超出圖像邊緣，并導(dǎo)致信息的丟失或減少。為了避免這種情況，需要進(jìn)行邊緣擴(kuò)充（pad），有多種方法可供選擇，如可將邊界擴(kuò)充為0或其他數(shù)值。用戶可以根據(jù)需要來(lái)定義卷積核的大小，從而決定所需要的感受視野大小。（3）激勵(lì)層：卷積層輸出結(jié)果為線性計(jì)算，需要通過(guò)激勵(lì)層進(jìn)行非線性映射處理。使用的激勵(lì)函數(shù)一般為ReLu函數(shù)，通常會(huì)使用ReLu函數(shù)作為激勵(lì)函數(shù)，而卷積層和激勵(lì)層常常會(huì)結(jié)合在一起，稱為“卷積層”。（4）池化層：當(dāng)輸入經(jīng)過(guò)卷積層時(shí)，若感受視野比較小，布長(zhǎng)stride比較小，得到的featuremap（特征圖）還是比較大，可以通過(guò)池化層來(lái)對(duì)每一個(gè)featuremap進(jìn)行降維操作，輸出的深度還是不變的，依然為featuremap的個(gè)數(shù)。池化層也有一個(gè)“池化視野（filter）”來(lái)對(duì)featuremap矩陣進(jìn)行掃描，對(duì)“池化視野”中的矩陣值進(jìn)行計(jì)算，一般有兩種計(jì)算方式[18]：Maxpooling：取“池化視野”矩陣中的最大值A(chǔ)veragepooling：取“池化視野”矩陣中的平均值掃描的過(guò)程中同樣地會(huì)涉及的掃描布長(zhǎng)stride，掃描方式同卷積層一樣，先從左到右掃描，結(jié)束則向下移動(dòng)布長(zhǎng)大小，再?gòu)淖蟮接摇Ｈ缦聢D示例所示：圖1.3其中“池化視野”filter：；布長(zhǎng)stride：2。最后可將3個(gè)的featuremap下采樣得到3個(gè)的特征矩陣：圖1.4（5）歸一化層：批量歸一化技術(shù)通過(guò)在神經(jīng)網(wǎng)絡(luò)中間層進(jìn)行預(yù)處理，在上一層的輸入經(jīng)過(guò)歸一化處理后再進(jìn)入下一層，從而有效預(yù)防了梯度消失問(wèn)題，提高了網(wǎng)絡(luò)訓(xùn)練速度。BatchNormalization具體的算法如下圖所示：

圖1.5每次訓(xùn)練時(shí)，取batch_size大小的樣本進(jìn)行訓(xùn)練，在BN層中，將一個(gè)神經(jīng)元看作一個(gè)特征，batch_size個(gè)樣本在某個(gè)特征維度會(huì)有batch_size個(gè)值，然后在每個(gè)神經(jīng)元維度上的進(jìn)行這些樣本的均值和方差，通過(guò)公式得到

，再通過(guò)參數(shù)

和

進(jìn)行線性映射得到每個(gè)神經(jīng)元對(duì)應(yīng)的輸出

。在BN層中，可以看出每一個(gè)神經(jīng)元維度上，都會(huì)有一個(gè)參數(shù)

和

，它們同權(quán)重一樣可以通過(guò)訓(xùn)練進(jìn)行優(yōu)化[19]。在批量歸一化是卷積神經(jīng)網(wǎng)絡(luò)中常用的調(diào)整激勵(lì)函數(shù)的方法之一，一般情況下，我們會(huì)對(duì)未進(jìn)行ReLu激活的特征圖進(jìn)行批量歸一化處理，再將處理后的結(jié)果作為激勵(lì)層的輸入，這樣可以有效地調(diào)整激勵(lì)函數(shù)的偏導(dǎo)數(shù)。可以通過(guò)將featuremap中的神經(jīng)元作為特征維度，來(lái)增加參數(shù)的數(shù)量，一般來(lái)說(shuō)，參數(shù)的數(shù)量將等于原來(lái)的兩倍，這種做法通常會(huì)導(dǎo)致參數(shù)數(shù)量龐大；另一種方法是將特征圖視為一個(gè)維度。特征圖上的神經(jīng)元共享該特征圖的參數(shù)和總和。參數(shù)之和等于計(jì)算的平均值，方差以批次大小表示?；谳p量級(jí)CNN的車牌檢測(cè)識(shí)別2.1SLPNET介紹本文使用一種基于輕量級(jí)全卷積網(wǎng)絡(luò)的被稱為Skip-shuffeLicensePlateNetwork(SLPNet)的ALPR框架。如下圖2.1所示，我們將框架分為兩個(gè)部分：檢測(cè)部分和識(shí)別部分。并且我們的方法通過(guò)定位每個(gè)車牌的四個(gè)角來(lái)實(shí)現(xiàn)檢測(cè)任務(wù)。然后，對(duì)檢測(cè)到的和裁剪后的LP區(qū)域進(jìn)行透視校正處理，有效地降低了識(shí)別難度。[17]。對(duì)于LP識(shí)別，我們將其視為一個(gè)類似于LPRNet的序列標(biāo)記問(wèn)題。雖然不同部分的網(wǎng)絡(luò)是單獨(dú)設(shè)計(jì)的，但整個(gè)網(wǎng)絡(luò)可以進(jìn)行端到端訓(xùn)練，并通過(guò)聯(lián)合檢測(cè)和識(shí)別損失函數(shù)進(jìn)行優(yōu)化。圖SEQ圖\*ARABIC2.1ALPT框架整體結(jié)構(gòu)2.2檢測(cè)子網(wǎng)絡(luò)(1)角本地化為了進(jìn)行無(wú)錨目標(biāo)檢測(cè)，我們?cè)贔SAF中提出了一種內(nèi)部區(qū)域被視為有效區(qū)域（或正區(qū)域）的有效的模型，只有來(lái)自有效區(qū)域的單元格才能進(jìn)行對(duì)象坐標(biāo)回歸。并且我們用有效區(qū)域進(jìn)行LP角的定位，而不是利用直矩形的形狀來(lái)定位LP區(qū)域。與FSAF類似，選擇了兩個(gè)收縮因子，δ1和δ2（δ1<δ2）獲取有效框和忽略框，如圖所示。圖2.2（a）真實(shí)車牌；（b）邊框（綠色）忽略框（黑色）（有效框）（紅色）；（c）有效區(qū)域（紅色）；（d）由綠色邊框決定的藍(lán)色邊框（實(shí)時(shí)）對(duì)于不同大小的LP圖像，分別使用三對(duì)收縮因子，即（0.8，1.2）、（1.0，1.5）和（0.6，0.9）。大型收縮因子被用于小型LPs，而小型收縮因子對(duì)則被用于大型LPs。這意味著在訓(xùn)練過(guò)程中更多地關(guān)注體型較小的LP。根據(jù)LP的大小將其分為三類，即小型、中型和大型，其分類由基于LP角決定的矩形框的k-均值聚類決定。(2)非線性變換每一個(gè)真實(shí)車牌的邊界框都包含4個(gè)邊界角，并且由一個(gè)向量表示g=(x1,y1,x2,y2,x3,y3,x4,y4)。我們的目標(biāo)是學(xué)習(xí)一個(gè)非線性變換網(wǎng)絡(luò)的輸出o=(tx1,ty1,tx2,ty2,tx3,ty3,tx4,ty4)，每一個(gè)(txi,tyi)i∈{1,2,3,4}是第i個(gè)角到單元中心（x，y）的子集。公式為：txi=其中L是金字塔級(jí)別，z是縮小輸出的整數(shù)因子范圍。首先將坐標(biāo)（x，y）映射到輸入圖像，然后計(jì)算投影坐標(biāo)和g之間的偏移，并正則化結(jié)果為一個(gè)立方根函數(shù)。(3)檢測(cè)輸出的置信度歸一化的2D高斯函數(shù)用于計(jì)算實(shí)例邊界角與檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)的角的置信度txi=其中（x，y）是一對(duì)預(yù)測(cè)的角坐標(biāo)，（x0，y0）是實(shí)例。W和H是由4個(gè)角確定的矩形邊界框的寬度和高度。此外，使用比例因子α∈（0，1）來(lái)控制高斯方差。(4)檢測(cè)網(wǎng)絡(luò)提出了一種稱為DSNet的輕量級(jí)全卷積網(wǎng)絡(luò)用于LP檢測(cè)，其中采用Shu-sulueNetv2單元作為基本塊，并添加了不同基本塊之間的跳過(guò)連接[，如2.3圖所示。為了進(jìn)一步提高性能，采用了幾個(gè)全局上下文（GC）塊來(lái)增強(qiáng)特征表示的能力。特別地，用于空間下采樣的干塊被用于DSNet，并且復(fù)雜的特征圖由不同階段的三個(gè)金字塔特征圖生成。在我們的實(shí)現(xiàn)中，輸入圖像大小設(shè)置為512×512，因此，輸出映射的大小為32×32。因此，在公式（1）中，金字塔級(jí)別L等于4，并且z可以設(shè)置為128。圖2.3DSNET的網(wǎng)絡(luò)結(jié)構(gòu)，c表示鏈接，+表示加法，s表示卷積(5)檢測(cè)網(wǎng)絡(luò)的損耗函數(shù)檢測(cè)網(wǎng)絡(luò)的目標(biāo)是通過(guò)回歸計(jì)算LP角的非線性變換，并在所有區(qū)域的核心中獲得高的高斯分?jǐn)?shù)，為了實(shí)現(xiàn)這一目標(biāo)，我們?cè)贑IoU損失的啟發(fā)下提出了一種多約束高斯距離損失（MG損失）,MG損失在每一個(gè)識(shí)別區(qū)域核心的定義為conf代表LP的置信度，該置信度由四個(gè)角的真實(shí)高斯分?jǐn)?shù)的平均值決定。LMG=(1?Con?f)+ρρ(b,bgt)和c是與CLOU損失相似的距離和比例因子,我們順時(shí)針列舉了每個(gè)LP上的四個(gè)角，因此，在上面的公式中(w1,h1)是從角1和角3計(jì)算出來(lái)的,(wgt1,hgt1,w2)是角從實(shí)例產(chǎn)生的寬度和高度。Gsi表示第i個(gè)角的預(yù)測(cè)高斯分?jǐn)?shù)，而2.2識(shí)別子網(wǎng)絡(luò)(1)序列預(yù)測(cè)由于中國(guó)LP上的字符數(shù)根據(jù)車輛類型而不固定，我們使用LPRNet中使用的CTC將LP識(shí)別視為序列標(biāo)記問(wèn)題，這是一種無(wú)分割的車牌識(shí)別方法。(2)識(shí)別網(wǎng)絡(luò)被命名為RSNet的識(shí)別網(wǎng)絡(luò)也基于Shu-sulueNetv2單元，如圖2.4所示，其中設(shè)計(jì)了四種區(qū)塊，用于不同空間下采樣的PDB（a）~PDB（d），這些區(qū)塊得益于并行結(jié)構(gòu)，并且善于通過(guò)下采樣提取特征。與上面提到的DSNet一樣，中間特征圖用全局上下文嵌入塊（GCE塊）進(jìn)行了擴(kuò)充，為了提高識(shí)別性能，我們還聚合了不同金字塔級(jí)別的特征圖，以獲得更復(fù)雜的圖片。圖2.4(3)識(shí)別網(wǎng)絡(luò)的損耗函數(shù)由于RSNet是基于CTC的，因此在訓(xùn)練識(shí)別網(wǎng)絡(luò)中采用了CTC損耗。2.3網(wǎng)絡(luò)級(jí)聯(lián)對(duì)于端到端訓(xùn)練，我們需要將兩個(gè)分離的網(wǎng)絡(luò)連接起來(lái)，并依次處理檢測(cè)和識(shí)別任務(wù)。來(lái)自DSNet的預(yù)測(cè)角用于從原始圖像中裁剪LP區(qū)域，然后將其輸入RSNet。因此，RSNet可以更好地與DSNet兼容，從而減少中間誤差的傳播，并實(shí)現(xiàn)更高的識(shí)別精度。由于DSNet使用小尺寸的圖像進(jìn)行檢測(cè)，被檢測(cè)到和裁剪的LP區(qū)域不適合識(shí)別。為了解決這個(gè)問(wèn)題，我們重新映射了檢測(cè)區(qū)域到原始圖像，并根據(jù)DSNet輸出的LP坐標(biāo)進(jìn)行透視校正。該多分辨率策略可以有效地提高識(shí)別精度。我們利用NMS，根據(jù)預(yù)測(cè)的置信度得到最終的檢測(cè)結(jié)果。在對(duì)識(shí)別輸出進(jìn)行解碼時(shí)，對(duì)RSNet的輸出序列進(jìn)行貪婪搜索，得到具有最大概率的種類。第三章實(shí)驗(yàn)過(guò)程及結(jié)果3.1CCPD數(shù)據(jù)集我們使用在CSDN上的CCPD2019數(shù)據(jù)集。CCPD數(shù)據(jù)集是迄今為止中國(guó)最大的公開標(biāo)記車牌數(shù)據(jù)集。我們從CCPD中隨機(jī)選擇了6萬(wàn)張圖像進(jìn)行實(shí)驗(yàn)。與往常一樣，隨后將所有圖像按8：1：1的比例分成3個(gè)子集，分別進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。3.2訓(xùn)練過(guò)程所有訓(xùn)練實(shí)驗(yàn)都是由pytorch在NVIDIA3070TIGPU上執(zhí)行的。我們?cè)谟?xùn)練中將高斯比例因子設(shè)置為0.2，并使用批量大小為22的Adam優(yōu)化器。初始學(xué)習(xí)率設(shè)置為0.005如下圖所示。圖SEQ圖\*ARABIC3.1我們以指數(shù)衰減的方式降低每個(gè)時(shí)期的學(xué)習(xí)率，并且衰減因子為0.98。為了使訓(xùn)練更加穩(wěn)定，整個(gè)過(guò)程由兩個(gè)階段組成。在第一階段，對(duì)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到驗(yàn)證集中預(yù)測(cè)角點(diǎn)的平均高斯分?jǐn)?shù)大于0.6，然后對(duì)兩個(gè)子網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。在此階段使用如式（4）所述的具有檢測(cè)和識(shí)別損失的損失函數(shù)化合物，其中λ是加權(quán)因子。dλ∈(0,1)Llp=L此處，λ設(shè)置為0.5。該模型總共被聯(lián)合訓(xùn)練了70代。所有超參數(shù)都經(jīng)過(guò)實(shí)驗(yàn)調(diào)整，可以進(jìn)一步優(yōu)化。在訓(xùn)練過(guò)程中，不進(jìn)行數(shù)據(jù)增強(qiáng)，只使用訓(xùn)練集中的原始圖像，評(píng)估了所提出的SLPNet與其他公開報(bào)道的模型在中國(guó)LP識(shí)別方面的性能。識(shí)別精度的計(jì)算規(guī)則如下所述：僅當(dāng)成功檢測(cè)到LP時(shí)（IoU≥0.5或GaussianScore≥0.6），并且圖像上LP的所有字符都被正確的識(shí)別到，結(jié)果才被認(rèn)為是正確的。識(shí)別精度不同的方法如表3.1所示。表3.1不同方法在CCPD上的結(jié)果模型端到端精度框架參數(shù)HyperLRP[15]不78.8%-11MMTCNN+LPRNet[14]不91.8%12FPS3.6MRPNeT[13]是93.4%58FPS210MSLPNeT是99.8%25FPS3.4M我們與之比較的其他三個(gè)公開的模型分別是HyperLPR、MTCNN+LPRNet和RPNet。HyperLPR是一個(gè)開源的、高速的中國(guó)車牌檢測(cè)和識(shí)別框架。該框架混合使用了深度神經(jīng)網(wǎng)絡(luò)和經(jīng)典的圖像處理算法來(lái)執(zhí)行檢測(cè)、分割和識(shí)別。MTCNN+LPRNet是另一個(gè)基于LPRNet的開源輕量級(jí)ALPR框架。它使用MTCNN來(lái)檢測(cè)車牌，并使用LPRNet，一種無(wú)分割的方法來(lái)進(jìn)行識(shí)別。RPNet是一個(gè)很好的端到端LP識(shí)別模型，它首次發(fā)布了CCPD數(shù)據(jù)集。可以看出，與其他模型相比，SLPNet在參數(shù)最小的情況下，識(shí)別精度最高，為98.8%，推理速度達(dá)到25FPS。為了證明所提出的MG損失的可行性，在LP檢測(cè)方面，還采用了另外兩個(gè)損失函數(shù)。不同損耗函數(shù)下的檢測(cè)精度如表3.2所示。表3.2不同損失函數(shù)下的檢測(cè)精度損失函數(shù)MG損失高斯損失平滑L1損失檢測(cè)精度98.2%97.7%96.3%LP檢測(cè)可以被視為一個(gè)特殊的自然場(chǎng)景文本檢測(cè)問(wèn)題，DB[12]是最近流行的實(shí)時(shí)場(chǎng)景文本檢測(cè)器。所以我們利用DB來(lái)檢測(cè)LPs并和我們的SLPNeT進(jìn)行比較，結(jié)果如表3.3所示表3.3不同檢測(cè)器在CCPD上的檢測(cè)結(jié)果模型準(zhǔn)確率召回率f1值DB44.55%81%57.49%SLPNeT99.87%99.25%99.59%3.3驗(yàn)證準(zhǔn)確率使用data_process.py將要使用的image數(shù)據(jù)集的圖片標(biāo)簽以.txt的文本文檔形式儲(chǔ)存在label文件夾里。注意代碼內(nèi)image和label的路徑要認(rèn)真檢查。通過(guò)識(shí)別數(shù)據(jù)集內(nèi)車牌的結(jié)果并和label進(jìn)行比對(duì)可以得出準(zhǔn)確率。圖3.2運(yùn)行結(jié)果得到準(zhǔn)確率為99.8%然后通過(guò)test_demo運(yùn)行得到先驗(yàn)概率為：96%左右圖3.3圖3.4圖3.53.4實(shí)驗(yàn)結(jié)果打開mian.py并運(yùn)行，點(diǎn)擊open選擇需要進(jìn)行車牌識(shí)別的圖片，點(diǎn)擊process，即可完成識(shí)別，如下圖3.6所示。可見識(shí)別結(jié)果快速準(zhǔn)確高效。圖3.6第四章結(jié)論總結(jié)與體會(huì)本文旨在實(shí)現(xiàn)基于深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)車牌識(shí)別系統(tǒng)。為此，我們針對(duì)車牌圖像的特點(diǎn)設(shè)計(jì)了相應(yīng)的數(shù)據(jù)處理流程，并建立了以卷積神經(jīng)網(wǎng)絡(luò)為核心的識(shí)別模型。通過(guò)大量實(shí)驗(yàn)驗(yàn)證，我們發(fā)現(xiàn)該模型能夠有效地識(shí)別車牌圖像，并且具有較高的準(zhǔn)確率和魯棒性。在具體的實(shí)現(xiàn)過(guò)程中，我們首先從車牌圖像的獲取入手，采用了合適的圖像增強(qiáng)方法和邊緣檢測(cè)算法，以便得到更清晰的車牌圖像。接著，我們將圖像進(jìn)行了裁剪和分割，得到了每個(gè)字符的單獨(dú)圖像，并運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行分類識(shí)別。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，我們發(fā)現(xiàn)，深度學(xué)習(xí)技術(shù)在車牌識(shí)別領(lǐng)域具有廣泛的應(yīng)用前景。未來(lái)，我們將繼續(xù)探索更加有效的圖像處理方法和模型設(shè)計(jì)，以進(jìn)一步提升車牌識(shí)別系統(tǒng)的性能和實(shí)用性，為社會(huì)交通管理和安全提供更加優(yōu)質(zhì)的服務(wù)。在系統(tǒng)實(shí)現(xiàn)中，對(duì)于性能評(píng)估這一環(huán)節(jié)的重要性不可忽視。在本研究中，我們采用了一系列準(zhǔn)確度評(píng)價(jià)指標(biāo)來(lái)衡量我們所設(shè)計(jì)的車牌識(shí)別系統(tǒng)的性能。其中，我們的主要評(píng)價(jià)指標(biāo)為準(zhǔn)確識(shí)別率和誤判率。準(zhǔn)確識(shí)別率是指正確識(shí)別車牌號(hào)碼的總數(shù)與圖像總數(shù)的比率，而誤判率則是指被錯(cuò)誤識(shí)別的車牌數(shù)與所有車牌數(shù)的比率。在本文中，我們引入了SLPNet，一個(gè)無(wú)分割的端到端框架，以實(shí)現(xiàn)高效的許可腭檢測(cè)和識(shí)別，它可以實(shí)現(xiàn)高達(dá)98%的識(shí)別準(zhǔn)確率。該模型基于輕量級(jí)卷積網(wǎng)絡(luò)，運(yùn)行速度快，總參數(shù)只有3.4M。為了提高檢測(cè)率，所提出的檢測(cè)子網(wǎng)絡(luò)使用角代替區(qū)域來(lái)定位車牌，并引入了一種新的MG損失函數(shù)。利用透視變換對(duì)LP圖像進(jìn)行校正，提高了字符識(shí)別率。為了獲得更好的性能，采用了多分辨率策略，幾乎不增加任何計(jì)算成本。與現(xiàn)有的ALPR方法相比，我們的方法在LP檢測(cè)和識(shí)別方面具有顯著的性能和巨大的潛力?；谝陨蠈?shí)驗(yàn)結(jié)果，我們認(rèn)為所提出的車牌識(shí)別方法具有非常好的可行性和商業(yè)應(yīng)用潛力。該識(shí)別系統(tǒng)適用于道路監(jiān)控、停車場(chǎng)管理、出入口安全控制等多個(gè)領(lǐng)域，具有廣泛的應(yīng)用前景。除此之外，我們將在后期工作中進(jìn)一步對(duì)該系統(tǒng)進(jìn)行優(yōu)化和拓展，以適應(yīng)更為復(fù)雜的道路環(huán)境和使用場(chǎng)景。系統(tǒng)實(shí)現(xiàn)的技術(shù)路線是基于深度學(xué)習(xí)的車牌識(shí)別，其主要包括以下幾個(gè)方面的技術(shù)：首先是圖像預(yù)處理技術(shù)，該技術(shù)能夠?qū)Σ杉能嚺茍D片進(jìn)行噪聲和模糊去除、裁剪、縮放等，以滿足后續(xù)的識(shí)別需求；其次是特征提取技術(shù)，該技術(shù)采用深度學(xué)習(xí)算法，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，能夠提取特征信息，將其轉(zhuǎn)化為對(duì)車牌的識(shí)別；再次是車牌字符識(shí)別技術(shù)，該技術(shù)使用深度學(xué)習(xí)算法，將車牌的字符進(jìn)行識(shí)別，并通過(guò)與數(shù)據(jù)庫(kù)中的字符進(jìn)行比對(duì)，將車牌信息與數(shù)據(jù)庫(kù)信息進(jìn)行關(guān)聯(lián)；最后是后處理技術(shù)，該技術(shù)通過(guò)去除異常匹配的車牌信息，提高識(shí)別率。綜上所述，基于深度學(xué)習(xí)的車牌識(shí)別方法及系統(tǒng)實(shí)現(xiàn)技術(shù)路線是一個(gè)不斷發(fā)展和完善的領(lǐng)域，而本研究所提出的系統(tǒng)實(shí)現(xiàn)方案，則對(duì)于更高效、精準(zhǔn)的車牌識(shí)別技術(shù)應(yīng)用和發(fā)展提供了有力的支持。

參考文獻(xiàn)[1]韓英.人工智能在智慧城市中的應(yīng)用和發(fā)展前景[J]無(wú)線互聯(lián)科技,2021,(21):95-96[2]蘇記柱.基于預(yù)測(cè)不確定性的卷積神經(jīng)網(wǎng)絡(luò)模型魯棒性評(píng)估[J].北京交通大學(xué),2021,(03).[3]司旭.基于深度學(xué)習(xí)的地震數(shù)據(jù)降噪方法研究[D].中國(guó)優(yōu)秀碩士學(xué)位論文全文數(shù)據(jù)庫(kù),2020,(04).[4]王夢(mèng)偉.基于深度學(xué)習(xí)的車輛特征識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D].電子科技大學(xué)2016,(02):82.[5]齊晴.基于改進(jìn)RBF及CNN神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別研究[D].燕山大學(xué),2018,(05).[6]昌泉.基于平行卷積神經(jīng)網(wǎng)絡(luò)特征融合的人臉表情識(shí)別[D].重慶郵電大學(xué).[7]蘭利彬.基于深度學(xué)習(xí)的無(wú)線膠囊內(nèi)鏡視頻異常模式檢測(cè)及去冗余方法研究[D].重慶大學(xué),2021,(10).[8]陳毅.基于激光雷達(dá)和攝像頭融合的車輛檢測(cè)方法研究[D].長(zhǎng)安大學(xué),2020,(06).[9]鄒寶旭.融合視頻內(nèi)容與彈幕分析的短視頻推薦方法研究[D].遼寧大學(xué),2021,(12).[10]李春曉尹振紅.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用研究[J].衛(wèi)星電視與寬帶多媒體,2019,(19):43-44.[11]胡躍虹.基于復(fù)數(shù)全卷積神經(jīng)網(wǎng)絡(luò)和卷積自編碼器的SAR目標(biāo)分類[D].江西理工大學(xué),2020,(01).[12]Liao,M.,Wan,Z.,Yao,C.,Chen,K.,Bai,X.:Real-timescenetextdetectionwithdifffferentiablebinarization.In:AAAIConferenceonArtifificialIntelligence,pp.11474–11481(2020).[13]Xu,Z.,Yang,W.,Meng,A.,Lu,N.,Huang,L.:Towardsend-to-endlicenseplatedetectionandrecognition:alargedatasetandbaseline.In:2018EuropeanConferenceonComputerVision,pp.261–277(2018).[14]Xue,X.:AtwostagelightweightandhighperformancelicenseplaterecognitioninMTCNNandLPRNet(2019)./xuexingyu24/LicensePlateDetectionPytorch.[15]Zeussees:Highperformancechineselicenseplaterecognitionframework(2020)./zeusees/HyperLPR.[16]ZhaolinJ,XueyuanH,SunxinW.ImageClassificationofCarPaintDefectDetectionBasedonConvolutionalNeuralNetworks[J].JournalofPhysics:ConferenceSeries,2023,2456(1).[17]ZhangW,MaoY,HanY.SLPNet:TowardsEnd-to-EndCarLicensePlateDetectionandRecognitionUsingLightweightCNN[C]//2020.[18]王軍茹.復(fù)雜場(chǎng)景下無(wú)人駕駛模擬仿真[J].北京信息科技大學(xué)自動(dòng)化學(xué)院,2022,(5):8.[19]周影.基于神經(jīng)網(wǎng)絡(luò)的軟件缺陷嚴(yán)重性預(yù)測(cè)和修復(fù)分派模型[D].湖南大學(xué),2018,(01);附錄1.IntroductionThereexistsarelentlessquestforanefficientimagedenoisingalgorithm.Indigitalimagestorageandcompressionprocessing,imagenoiseisinevitableduetosomeinternalandexternalproblems,whichpollutevaluableinformationandunderminethevisualeffect.Numerouseffortshavebeenpaidtopushthelimitofdenoisingeffect,suchaspartialdifferentialequation-basedschemes[17],sparsecodingmethods[12],low-rankapproximations[14],filteringtechniques[1]andothermethodsinvariousapplicationsachievedsuccessfulresultstodonoiseremoval.Populardenoisingmethodscanaccomplishthetaskofimagedenoising.Asaclassicalfiltering-baseddenoisingmethod,BM3D[5]utilizesnon-localself-similarityofimageandachievesrelativelysatisfieddenoisingresultcontrastedwithclassicaldenoisingtechniques.However,thefiltering-basedmethodsufferedfromseveraldrawbacks,morespecifically,theedgeeffectandmanualsettingparameters[19].Thefiltering-basedmethodsregardthecenterofthewindowsasthetargetpixel.Forpixelsonimageedges,suchastrategyisoneofthefundamentalcausesthatresultinmanyfilteringalgorithmsblurringtheedges[24].Convolutionneuralnetworks(CNNs)haveshownadvantagesinthefieldofimageprocessingapplicationsandhavebeenappliedforimagedenoising.SuccessfuldenoisingapproachesbasedonCNNs,suchasDnCNN[26]andFFDNet[28],obtainedstate-of-artresultsinbothnumericalandvisualeffects,generallybetterthanthatoftraditionalmethods.DuringthecontinuousdevelopmentofCNNs,itsshortcomingshavebeenfound,suchastherepeatedcombinationofmax-poolinganddownsampling[2].Toalleviatetheabove-mentioneddifficulties,differentversionsofconvolutionwereproposed,suchasdilatedconvolution,graphconvolution[18],anddeformableconvolution[6],[30].Denoisingatimagesedgeisanimportantissue.WegenerallyspreadtheareaaroundthepixelevenlywithCNNsandlocalmethods.Irregularconvolutions,mainlybasedonconvolution,effectivelysolvethisproblem.Thisworkdevelopsaconvolutionalnetworkmodulewithirregularconvolutions,whichtakescareoftheimages’geometricstructures.Ablock-structuredCNNforimagedenoisingisconstructedbycombiningconvolutionandirregularconvolution,utilizingnon-localinformation.Finally,wealsoanalyzethenetworkbehaviorexhaustivelyandextendedexperimentalresultsongrayscaleandcolorimages.Thiswork’scontributionsareintwofolders:Firstly,eachpixelhasareceptivefieldthatfitsthegeometricstructurebetterthroughtheirregularrevolution.Ontheotherhand,sidewindowtechnologyisusedinthenetworktorecovertheimageedgemoreclearly.2.Relatedworks2.1.ImagedenoisingMostdeeplearningmethodscanachievehigherqualityimagesthantraditionalmethods.Chenet

al.[3]proposedTNRD,learningalltheparametersoffilterandinfluencefunctionsfromtraindata.Zhanget

al.[26]proposedDnCNNwithbatchnormalizationandReLU,paddingzerostoreduceboundaryartifacts.Toachieveblinddenoising,DnCNNdeepenedthenetandtrainedwithlargerimagepatches.FFDNet[28]upgradedbasedonDnCNNwithatunablenoiselevelmapastheinput.Downsamplingsub-imagesmadeitfastandflexible.Imagedenoisingmethodsareappliedinthemedicalfield,suchasCNN-DMRI[21]fordenoisingofMRIscans.Torestoremoredetails,imagedenoisingmethodsofstrengtheningneuralnetworkscanbegroupedintotwomajorcategories:obtainingmoreusefullow-levelfeatureswiththemultiscalemethodandmanagingnon-localinformation.RDN[29]proposedaresidualdenseblockeffectuallygatheringhierarchicalfeatures.Lefkimmiatis[9]proposedNLRNandUDNettoutilizethenon-localmethodinimagedenoising.FOCNet[8]gainlong-termmemorybythecharacteristicofthefractional-orderdifferentialequation.[16]withacontinuousdeterministicrelaxationofKNNselection,takingadvantageofimages’self-similarity.Liet

al.[10]proposedalifelongCycleGANformulit-taskimcludingdebluringanddenoisingwithkonwledgedistillation,memoryreplay,localdiscriminatorandfeatureconsistencyconstraint.2.2.IrregularconvolutionDespitethatCNNshaveearnedsignificantsuccessinimageprocessing,ithassomelimitations.Thus,mainlybasedonCNNs,irregularconvolutionshavebeenproposedtoenhancethecapabilityofconvolutionalneuralnetworks.Atrousconvolution[2]enlargethereceptivefieldofthenetworkandenhanceresolution.However,ithasaninherentproblemknownasgridding,maybelosingsomeneighboringinformation.Graphconvolution[18],whichdemandsmultiplecalculations,catchesself-similaritiesbythepowerfulrepresentationalfeaturesofneuralnetworks.Bothatrousconvolutionandgraphconvolutionhasbeenusedforimagedenoising.Atrousconvolutionaldenoisingneuralnetwork[20]reduceparameterswithsimilardenoisingresults.Atrousconvolutionalwithskipconnctionismorefeasiblefordenoisingwithlessparameters[15].Valsesiaet

al.[22]gatheredlocalandnon-localsimilaritiesbyagraph-convolutionalneuralforimagedenoising.Accommodatinggeometricvariationsormodelgeometrictransformationsisahardnuttocrack.Withtherelativelyfixedshapeofthereceptivefield,CNNsareshortofgeometrictransformations.Daiet

al.[6]proposeddeformableconvolutionalnetwork,enhancingthetraditionalconvolutionandpooling.BasedonCNNs,deformableconvolutionaugmentthespatialsamplewithlearnableadditionaloffsets,whichadjustthereceptivefield.Similarly,Daiet

al.proposedDeformableROIPooling.Insemanticsegmentation,objectdetection,andotherfields,thismethodshowedadvantagesinjustusingthelastfewlayers.Afterall,deformableconvolutionusuallysamplestooelastictobeofinterest.Zhuet

al.[30]proposeDeformableConvNetsv2toimproveitsabilitytofocusonpertinentimageregions.Deformableconvolutionalnetworkshavebeenusedinimageclassification,objectdetection,imagesegmentation,pointcloudandsoon.Invideorestoration,deformableconvolutionalsogainedattention.Wanget

al.[23]proposedadeformablealignmentmoduleforvideorestoration.1.簡(jiǎn)介人們一直在不懈地尋求一種有效的圖像去噪算法。在數(shù)字圖像的存儲(chǔ)和壓縮處理中，由于一些內(nèi)部和外部的問(wèn)題，圖像噪聲不可避免地會(huì)污染有價(jià)值的信息，破壞視覺效果。為了突破去噪效果的極限，人們付出了大量的努力，如基于偏微分方程的方案[17]、稀疏編碼方法[12]、低秩近似[14]、濾波技術(shù)[1]等方法在各種應(yīng)用中都取得了成功的去噪效果。常用的去噪方法可以完成圖像去噪的任務(wù)。作為一種經(jīng)典的基于濾波的去噪方法，BM3D[5]利用了圖像的非局部自相似性，與經(jīng)典的去噪技術(shù)相比，取得了相對(duì)滿意的去噪效果。然而，基于濾波的方法存在幾個(gè)缺點(diǎn)，更具體地說(shuō)，邊緣效應(yīng)和手動(dòng)設(shè)置參數(shù)[19]。基于濾波的方法將窗口的中心視為目標(biāo)像素。對(duì)于圖像邊緣上的像素，這種策略是導(dǎo)致許多濾波算法模糊邊緣的根本原因之一[24]。卷積神經(jīng)網(wǎng)絡(luò)在圖像處理應(yīng)用領(lǐng)域顯示出優(yōu)勢(shì)，并已被應(yīng)用于圖像去噪?；诩?xì)胞神經(jīng)網(wǎng)絡(luò)的成功去噪方法，如DnCNN[26]和FFDNet[28]，在數(shù)值和視覺效果方面都獲得了最先進(jìn)的結(jié)果，通常優(yōu)于傳統(tǒng)方法。在細(xì)胞神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展過(guò)程中，發(fā)現(xiàn)了其不足之處，如最大池化和下采樣的重復(fù)組合[2]。為了緩解上述困難，提出了不同版本的卷積，如擴(kuò)張卷積、圖卷積[18]和可變形卷積[6]、[30]。圖像邊緣去噪是一個(gè)重要的問(wèn)題。我們通常使用細(xì)胞神經(jīng)網(wǎng)絡(luò)和局部方法均勻地分布像素周圍的區(qū)域。主要基于卷積的不規(guī)則卷積有效地解決了這一問(wèn)題。這項(xiàng)工作開發(fā)了一個(gè)具有不規(guī)則卷積的卷積網(wǎng)絡(luò)模塊，該模塊負(fù)責(zé)處理圖像的幾何結(jié)構(gòu)。利用非局部信息，將卷積和不規(guī)則卷積相結(jié)合，構(gòu)造了一種用于圖像去噪的塊結(jié)構(gòu)CNN。最后，我們還詳盡地分析了網(wǎng)絡(luò)行為，并擴(kuò)展了灰度和彩色圖像的實(shí)驗(yàn)結(jié)果。這項(xiàng)工作的貢獻(xiàn)有兩個(gè)方面：首先，每個(gè)像素都有一個(gè)感受野，通過(guò)不規(guī)則旋轉(zhuǎn)更適合幾何結(jié)構(gòu)。另一方面，在網(wǎng)絡(luò)中使用側(cè)窗技術(shù)來(lái)更清晰地恢復(fù)圖像邊緣。2.相關(guān)工作2.1圖像去噪大多數(shù)深度學(xué)習(xí)方法可以獲得比傳統(tǒng)方法更高質(zhì)量的圖像。Chen等人[3]提出了TNRD，從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)濾波器的所有參數(shù)和影響函數(shù)。張等人[26]提出了具有批量歸一化和ReLU的DnCNN，填充零以減少邊界偽影。為了實(shí)現(xiàn)盲去噪，DnCNN加深了網(wǎng)絡(luò)并使用更大的圖像塊進(jìn)行訓(xùn)練。FFDNet[28]基于可調(diào)諧噪聲水平圖作為輸入的DnCNN進(jìn)行了升級(jí)。下采樣子圖像使其快速而靈活。圖像去噪方法應(yīng)用于醫(yī)學(xué)領(lǐng)域，如用于MRI掃描去噪的CNN-DMRI[21]。為了恢復(fù)更多的細(xì)節(jié)，增強(qiáng)神經(jīng)網(wǎng)絡(luò)的圖像去噪方法可以分為兩大類：用多尺度方法獲得更有用的低級(jí)特征和管理非局部信息。RDN[29]提出了一種有效收集層次特征的殘差密集塊。Lefkimatis[9]提出了NLRN和UDNet在圖像去噪中利用非局部方法。FOCNet[8]通過(guò)分?jǐn)?shù)階微分方程的特性獲得長(zhǎng)期記憶。[16]利用圖像的自相似性，對(duì)KNN選擇進(jìn)行連續(xù)的確定性松弛。李等人[10]提出了一種用于多任務(wù)的終身CycleGAN，包括利用邊緣提取、記憶重放、局部鑒別器和特征一致性約束進(jìn)行去毛刺和去噪。2.2不規(guī)則卷積盡管細(xì)胞神經(jīng)網(wǎng)絡(luò)在圖像處理方面取得了巨大成功，但它也有一些局限性。因此，主要基于細(xì)胞神經(jīng)網(wǎng)絡(luò)，提出了不規(guī)則卷積來(lái)增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的能力。巨大的卷積[2]擴(kuò)大了網(wǎng)絡(luò)的感受野并提高了分辨率。然而，它有一個(gè)固有的問(wèn)題，即網(wǎng)格化，可能會(huì)丟失一些相鄰的信息。圖卷積[18]需要多次計(jì)算，通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的代表性特征來(lái)捕捉自相似性。atrous卷積和圖卷積都已被用于圖像去噪。Atrous卷積去噪神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)項(xiàng)目關(guān)鍵代碼如下：1.Data_process.py（圖像標(biāo)簽處理）#-*-coding:utf-8-*-

"""

CreatedonWedJun918:24:102021

@author:luohenyueji

"""

fromPILimportImage,ImageDraw,ImageFont

importos

importsys

provincelist=[

"皖","滬","津","渝","冀",

"晉","蒙","遼","吉","黑",

"蘇","浙","京","閩","贛",

"魯","豫","鄂","湘","粵",

"桂","瓊","川","貴","云",

"西","陜","甘","青","寧",

"新"]

wordlist=[

"A","B","C","D","E",

"F","G","H","J","K",

"L","M","N","P","Q",

"R","S","T","U","V",

"W","X","Y","Z","0",

"1","2","3","4","5",

"6","7","8","9"]

#---繪制邊界框

defDrawBox(im,box):

draw=ImageDraw.Draw(im)

draw.rectangle([tuple(box[0]),tuple(box[1])],outline="#FFFFFF",width=3)

#---繪制四個(gè)關(guān)鍵點(diǎn)

defDrawPoint(im,points):

draw=ImageDraw.Draw(im)

forpinpoints:

center=(p[0],p[1])

radius=5

right=(center[0]+radius,center[1]+radius)

left=(center[0]-radius,center[1]-radius)

draw.ellipse((left,right),fill="#FF0000")

#---繪制車牌

defDrawLabel(im,label):

draw=ImageDraw.Draw(im)

#draw.multiline_text((30,30),label.encode("utf-8"),fill="#FFFFFF")

font=ImageFont.truetype('simsun.ttc',64)

draw.text((30,30),label,font=font)

#---圖片可視化

defImgShow(imgpath,box,points,label):

#打開圖片

im=Image.open(imgpath)

DrawBox(im,box)

DrawPoint(im,points)

DrawLabel(im,label)

#顯示圖片

im.show()

im.save('result.jpg')

defmain(imgpath):

#圖像路徑

#imgpath=r'F:\SLPNet\data\dev\image\01-89_85-302&497_478&557-478&549_308&552_304&507_474&504-0_0_6_25_25_33_25-74-7.jpg'

#圖像名

imgname=os.path.basename(imgpath).split('.')[0]

#根據(jù)圖像名分割標(biāo)注

_,_,box,points,label,brightness,blurriness=imgname.split('-')

#---關(guān)鍵點(diǎn)信息

points=points.split('_')

points=[list(map(int,i.split('&')))foriinpoints]

#將關(guān)鍵點(diǎn)的順序變?yōu)閺淖笊享槙r(shí)針開始

points=points[-2:]+points[:2]

#---讀取車牌號(hào)

label=label.split('_')

#省份縮寫

province=provincelist[int(label[0])]

#車牌信息

words=[wordlist[int(i)]foriinlabel[1:]]

#車牌號(hào)

label=province+''.join(words)

#---圖片可視化

#ImgShow(imgpath,box,points,label)

withopen(rf"F:\SLPNet\data\dev\label\{imgname}.txt",'w',encoding='utf-8')asf:

S=''

foriinrange(4):

S+=str(points[i][0])+''+str(points[i][1])

S+=','

S+=label

f.write(S)

foriPathinos.listdir(r"F:\SLPNet\data\dev\image"):

main(r"F:\SLPNet\data\dev\image\\"+iPath)2.eval.py(驗(yàn)證準(zhǔn)確率)#-*-coding:utf-8-*-

"""

CreatedonWedJun918:24:102021

@author:luohenyueji

"""

fromPILimportImage,ImageDraw,ImageFont

importos

importsys

provincelist=[

"皖","滬","津","渝","冀",

"晉","蒙","遼","吉","黑",

"蘇","浙","京","閩","贛",

"魯","豫","鄂","湘","粵",

"桂","瓊","川","貴","云",

"西","陜","甘","青","寧",

"新"]

wordlist=[

"A","B","C","D","E",

"F","G","H","J","K",

"L","M","N","P","Q",

"R","S","T","U","V",

"W","X","Y","Z","0",

"1","2","3","4","5",

"6","7","8","9"]

#---繪制邊界框

defDrawBox(im,box):

draw=ImageDraw.Draw(im)

draw.rectangle([tuple(box[0]),tuple(box[1])],outline="#FFFFFF",width=3)

#---繪制四個(gè)關(guān)鍵點(diǎn)

defDrawPoint(im,points):

draw=ImageDraw.Draw(im)

forpinpoints:

center=(p[0],p[1])

radius=5

right=(center[0]+radius,center[1]+radius)

left=(center[0]-radius,center[1]-radius)

draw.ellipse((left,right),fill="#FF0000")

#---繪制車牌

defDrawLabel(im,label):

draw=ImageDraw.Draw(im)

#draw.multiline_text((30,30),label.encode("utf-8"),fill="#FFFFFF")

font=ImageFont.truetype('simsun.ttc',64)

draw.text((30,30),label,font=font)

#---圖片可視化

defImgShow(imgpath,box,points,label):

#打開圖片

im=Image.open(imgpath)

DrawBox(im,box)

DrawPoint(im,points)

DrawLabel(im,label)

#顯示圖片

im.show()

im.save('result.jpg')

defmain(imgpath):

#圖像路徑

#imgpath=r'F:\SLPNet\data\dev\image\01-89_85-302&497_478&557-478&549_308&552_304&507_474&504-0_0_6_25_25_33_25-74-7.jpg'

#圖像名

imgname=os.path.basename(imgpath).split('.')[0]

#根據(jù)圖像名分割標(biāo)注

_,_,box,points,label,brightness,blurriness=imgname.split('-')

#---關(guān)鍵點(diǎn)信息

points=points.split('_')

points=[list(map(int,i.split('&')))foriinpoints]

#將