基于YOLOv5深度學習模型的車牌識別系統(tǒng)設計

湖南商務職業(yè)技術學院畢業(yè)設計

目錄

、宋體、1.5倍行距.

1引言............................................................................................................................1

1.1項目背景......................................................................................................1

1.2開發(fā)環(huán)境與工具..........................................................................................1

1.2.1YOLOv5算法簡介..................................................................................1

1.2.2PyQT5.....................................................................................................1

1.2.3Opencv-python簡介............................................................................2

1.2.4百度智能云API接口...........................................................................2

2需求分析....................................................................................................................2

2.1可行性需求分析..........................................................................................2

2.2數據集采集功能分析..................................................................................3

2.3關鍵技術分析..............................................................................................3

2.3.1數據采集技術.......................................................................................3

2.3.2數據集可視化技術...............................................................................4

2.3.3YOLOv5目標檢測算法..........................................................................4

2.3.4Web框架技術（Flask/Django）........................................................6

3數據采集....................................................................................................................6

3.1數據集需求分析..........................................................................................6

3.2數據集獲取分析..........................................................................................7

3.3編程實現......................................................................................................7

4數據集處理................................................................................................................8

4.1數據預處理..................................................................................................9

4.2數據增強......................................................................................................9

4.3切分訓練集和測試集................................................................................10

5模型構建及評估分析..............................................................................................11

5.1模型構建....................................................................................................11

I

湖南商務職業(yè)技術學院畢業(yè)設計

5.1.1模型網絡結構.....................................................................................11

5.1.2創(chuàng)建模型.............................................................................................12

5.2模型編譯....................................................................................................12

5.2.1優(yōu)化器設置.........................................................................................13

5.2.2損失函數設置.....................................................................................13

5.3模型訓練與調優(yōu)........................................................................................15

5.3.1模型訓練設置.....................................................................................15

5.3.2學習率調優(yōu).........................................................................................15

5.3.3batch_size設置................................................................................16

5.4模型部署....................................................................................................16

5.4.1系統(tǒng)前端設計.....................................................................................16

5.4.2系統(tǒng)后端部署.....................................................................................17

5.4.3設計效果展示及分析.........................................................................18

6小結..........................................................................................................................19

參考資料.........................................................................................................................21

II

湖南商務職業(yè)技術學院畢業(yè)設計

基于YOLOv5深度學習模型的車牌識別系統(tǒng)設計加

1引言

二十年前，紙質信封成為了人們遠距離的溝通方式，現如今只需要一鍵便

可聯系世界。自改革開放以來，中國的經濟得到了日益發(fā)展，互聯網也走進了

中國的大門。科技的不斷進步，互聯網的蓬勃發(fā)展，生活隨處可見。

1.1項目背景

隨著科技的不斷發(fā)展，人們生活水平質量的提高，機動車輛的數量日益增

加，汽車出行已經成為我們生活中的普遍現象。然而，這所引發(fā)出來的問題也

愈來愈嚴重。交通堵塞、私家車亂停放、闖紅燈、超速等各種違章的問題也接

踵而來。面對龐大的車輛，執(zhí)法人員難以人工管理，這個時候則需要一個完美

的車牌識別系統(tǒng)進行依法懲治。

我的畢業(yè)設計就是針對根據攝像頭抓拍到的車輛圖片進行車牌號碼識別出

來并可視化，將識別出來的車牌號碼存入數據到文件或者表格當中，以便以后

可以查看違規(guī)的車牌號。

1.2開發(fā)環(huán)境與工具

1.2.1YOLOv5算法簡介

YOLOv5是一種單階段目標檢測算法在YOLOv4的基礎上添加了一些新的改

進思路，使其速度與精度得到了極大的性能提升。主要的改進思路如下所示:

輸入端：在模型訓練階段，提出了一些改進思路，主要包括Mosaic數據增

強、自適應錨框計算、自適應圖片縮放；基準網絡：融合其它檢測算法中的一

些新思路，主要包括：Focus結構與CSP結構；Neck網絡：目標檢測網絡在

BackBone與最后的Head輸出層之間往往會插入一些層，Yolov5中添加了

FPN+PAN結構；Head輸出層：輸出層的錨框機制與YOLOv4相同，主要改進的是

訓練時的損失函數GIOU_Loss，以及預測框篩選的DIOU_nms。

1.2.2PyQT5

PyQt是Qt框架的Python語言實現，由RiverbankComputing開發(fā)，是最

1

湖南商務職業(yè)技術學院畢業(yè)設計

強大的GUI庫之一。PyQt提供了一個設計良好的窗口控件集合，每一個PyQt控

件都對應一個Qt控件，因此PyQt的API接口與Qt的API接口很接近，但PyQt

不再使用QMake系統(tǒng)和Q_OBJECT宏。

1.2.3Opencv-python簡介

OpenCV是一個基于Apache2.0許可（開源）發(fā)行的跨平臺計算機視覺和機

器學習軟件庫，可以運行在Linux、Windows、Android和MacOS操作系統(tǒng)上。

它輕量級而且高效——由一系列C函數和少量C++類構成，同時提供了Python、

Ruby、MATLAB等語言的接口，實現了圖像處理和計算機視覺方面的很多通用算

法。

1.2.4百度智能云API接口

百度智能云于2015年正式對外開放運營，以“云智一體”為核心賦能千行

百業(yè)，致力于為企業(yè)和開發(fā)者提供全球領先的人工智能、大數據和云計算服務

及易用的開發(fā)工具。憑借先進的技術和豐富的解決方案，全面賦能各行業(yè)，加

速產業(yè)智能化。

2需求分析

2.1可行性需求分析

1.技術可行性

Python編程語言通俗易懂、是一種動態(tài)的面對對象的腳本語言。Python有

大量的第三方庫，此項目用到Opencv和PyQt5,可以更加直觀的可視化給用戶，

讓用戶有更好的體驗感。百度云是一家為企業(yè)和開發(fā)者提供全球領先的人工智

能、大數據和云計算的開發(fā)工具的公司，有著全面的API技術支持。

2.項目可行性

處理違章車輛一直是社會的焦點與熱點，對于大量違章車輛的情況下，人

工處理是一個很困難的事情，如何高效率的解決違章車輛也就變得尤為重要。

本項目就是對于攝像頭抓取到的照片進行車牌識別，利用已有的照片進行識別

車牌號，將車輛的車牌號可視化到界面，查出該車牌的歸屬地及所屬類別(黃牌、

綠牌、藍牌)，根據需求是否保存掃描出的數據。

此項目的數據集來源于自己生活中通關攝像頭拍照而得，通過多次驗證本

項目可以運用到合適的實際生活場所中。

2

湖南商務職業(yè)技術學院畢業(yè)設計

2.2數據集采集功能分析

此次項目的數據集收集了約30W+的檢測數據集（含藍牌綠牌），加上在生

活中拍到的一些車牌照片，用于識別車牌信息所用。主要的數據源自于CCPD車

牌數據集，關于車牌數據集的說明，請參考超鏈

接:/detectRecog/CCPD。

CCPD(ChineseCityParkingDataset)是中國城市車牌數據集，共分為兩類：

CCPD2019和CCPP2020，前者為藍色車牌，而后者為新能源綠色車牌。

CCPD2019數據集包含將近30萬張圖片、圖片尺寸為720*1160*3，共包含8

種類型圖片，每種類型、數量說明如下表：

類型圖片數量說明

ccpd_base199998正常車牌

ccpd_challenge10006比較有挑戰(zhàn)的車牌

ccpd_db20001光纖較暗或較亮的車牌

ccpd_fn19999距離攝像頭很近或者很遠的車牌

ccpd_np3036沒上牌的新車

ccpd_rotate9998水平傾斜20-50度，垂直傾斜10-40度

ccpd_till10000水平傾斜15-45度，垂直傾斜15-45度

ccpd_weather9999雨天、雪天或大霧的車牌

總共283037張車牌圖

片

CCPD2019車牌數據集拍攝的車牌照片的環(huán)境復雜多變，包括了傾斜的、模

糊、雨天、雪天等多個場景的數據，并且大部分圖片有且僅含有一個車牌;由于

采集人員主要在安徽省城市的停車場進行采集，導致大部分數據都是含有【皖】

的牌圖片，而其他省份的車牌比較少，而一些特殊車牌的數據幾乎沒有。

2.3關鍵技術分析

2.3.1數據采集技術

從上方鏈接下載數據集后，打開PyCharm安裝labelme,打開數據集路徑(注

意路徑名中不能含有中文路徑名)。

將CCPD車牌數據集標注一小部分，標注形式為將圖片盡可能小誤差的給車

3

湖南商務職業(yè)技術學院畢業(yè)設計

牌信息標注，標注車牌四個角點，車牌水平和垂直角度以及車牌號碼等信息，

并以圖片文件名的方式進行命名。

2.3.2數據集可視化技術

Python可視化函數如圖2-1顯示：

圖2-1可視化函數

2.3.3YOLOv5目標檢測算法

YOLOv5目標檢測算法的整體框圖。對于一個目標檢測算法而言，我們通常

可以將其劃分為4個通用的模塊，具體包括：輸入端、基準網絡、Neck網絡與Head

輸出端，對應于上圖中的4個紅色模塊。YOLOv5算法具有4個版本，具體包括：

YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四種，本文重點講解YOLOv5s，其它的

版本都在該版本的基礎上對網絡進行加深與加寬。

輸入端-輸入端表示輸入的圖片。該網絡的輸入圖像大小為608*608，該階

段通常包含一個圖像預處理階段，即將輸入圖像縮放到網絡的輸入大小，并進

行歸一化等操作。在網絡訓練階段，YOLOv5使用Mosaic數據增強操作提升模型

的訓練速度和網絡的精度；并提出了一種自適應錨框計算與自適應圖片縮放方

法。

4

湖南商務職業(yè)技術學院畢業(yè)設計

基準網絡-基準網絡通常是一些性能優(yōu)異的分類器種的網絡，該模塊用來提

取一些通用的特征表示。YOLOv5中不僅使用了CSPDarknet53結構，而且使用了

Focus結構作為基準網絡。

圖2-2YOLOV5模型結構

Neck網絡-Neck網絡通常位于基準網絡和頭網絡的中間位置，利用它可以

進一步提升特征的多樣性及魯棒性。雖然YOLOv5同樣用到了SPP模塊、FPN+PAN

模塊，但是實現的細節(jié)有些不同。

圖2-3SPP模塊

Head輸出端-Head用來完成目標檢測結果的輸出。針對不同的檢測算法，

輸出端的分支個數不盡相同，通常包含一個分類分支和一個回歸分支。YOLOv4

利用GIOU_Loss來代替SmoothL1Loss函數，從而進一步提升算法的檢測精度。

5

湖南商務職業(yè)技術學院畢業(yè)設計

2.3.4W

eb

框

架

技

術

（

Fl

as

k/

Dj

圖2-4YOLOv5模塊a

n

go）

可視化技術起源于圖形學、計算機圖形學、科學可視化、人工智能以及用

戶界面等領域，也是當前計算機科學的一個重要研究方向，它利用計算機對抽

象信息進行直觀的表示，以利于快速檢索信息和怎強認知能力。

數據可視化是項目中十分重要的一環(huán)，主要通過計算機圖形圖像技術手段

展現出數據的基本特征或者隱含規(guī)律，它將復雜的數據轉化為更容易的方式傳

遞給受眾，并給人意想不到的洞察力，所以建立數據可視化確實可以使分析的

數據任務更清晰、更容易理解，特別是對于大規(guī)模的數據集。

3數據采集

3.1數據集需求分析

CCPD車牌數據集是屬于一個免費開源的數據集，且數據集總量達到35W

左右，能夠很好的作為訓練模型的參數，也可用于車牌檢測識別模型算法開發(fā)。

其中類型分為藍色車牌和綠色車牌，藍色車牌約34萬張，綠色車牌約1萬張。

種類豐富，應用場景多變，包括各類場景以及天氣等特殊情況，利于模型訓練

6

湖南商務職業(yè)技術學院畢業(yè)設計

的多變性和學習性。

3.2數據集獲取分析

打開瀏覽器，在搜索欄中輸入：/detectRecog/CCPD。

數據集說明如下：

CCPD2019:官方原始數據，主要是藍牌數據，約34W。

CCPD2020:官方原始數據，主要是新能源綠牌數據，約1萬。

CCPD2019-voc:將數據集CCPD2019轉換為VOC數據格式（數據在

Annotations，JPEGImages文件夾），可以直接用于目標檢測模型訓練。

CCPD2020-voc:將數據集CCPD2020轉換為VOC數據格式（數據在

Annotations，JPEGImages文件夾），可以直接用于目標檢測模型訓練。

為了方便后續(xù)訓練車牌識別模型，數據集提供已經剪裁好的車牌圖片，并

放在plates文件夾中。

圖3-1數據集展示

3.3編程實現

導入依賴包文件，在PyCharm中terminal中下載所需庫。所需要的庫如圖

所示。

7

湖南商務職業(yè)技術學院畢業(yè)設計

圖3-2導入所需庫依賴包

4數據集處理

數據集處理是指發(fā)現不恰當的數據集，并改正數據中可能識別錯誤的圖片，

還包括檢查數據一致性，處理無效值和缺失值等。其中數據集包括三種處理方

法：離散值的處理、屬性歸一化、分割數據集。其中后兩種使用的頻率較高，

尤其是分割數據集，在深度學習當中使用的頻度最高。

1.離散值的處理：因為離散值的差值是沒有實際意義的。比如如果用0,1,2

代表紅黃藍，1-0的差值代表黃-紅，是沒有意義的。因此，我們往往會把擁有d

個取值的離散值變?yōu)閐個取值為0,1的離散值或者將其映射為多維向量。

2.屬性歸一化：歸一化的目標是把各位屬性的取值范圍放縮到差不多的區(qū)

間，例如[-0.5,0.5]。這里我們使用一種很常見的操作方法：減掉均值，然后

除以原取值范圍。

做歸一化至少有以下3個理由：

1過大或過小的數值范圍會導致計算時的浮點上溢或下溢。

2不同的數值范圍會導致不同屬性對模型的重要性不同（至少在訓練的初

始階段如此），而這個隱含的假設常常是不合理的。這會對優(yōu)化的過程造成困

難，使訓練時間大大的加長。

3很多的機器學習技巧/模型（例如L1，L2正則項，向量空間模型-Vector

SpaceModel）都基于這樣的假設：所有的屬性取值都差不多是以0為均值且取

值范圍相近的。

3.分割數據集一般把數據集分為兩部分，一部分為訓練集，用于訓練數據，

一部分為測試集，用于測試訓練的數據，測試集不應過多或過少，數據較少時

訓練集：測試集可以為8:2，較多時比例可以達到9:1。

8

湖南商務職業(yè)技術學院畢業(yè)設計

4.1數據預處理

圖4-1高斯處理

圖4-2數據預處理

4.2數據增強

數據增強也叫數據擴增，意思是在不實質性的增加數據的情況下，讓有限

9

湖南商務職業(yè)技術學院畢業(yè)設計

的數據產生等價于更多數據的價值。

比如，對原始數據進行一系列的隨機裁剪、旋轉操作得來。

每張圖對于網絡來說都是不同的輸入，加上原圖就將數據擴充到原來的10

倍。假如我們輸入網絡的圖片的分辨率大小是256*256，若采用隨機裁剪成

224*224的方式，那么一張圖最多可以產生32*32張不同的圖，數據量擴充將近

1000倍。雖然許多的圖片相似度太高，且實際的效果并不等價，但僅僅是這樣

的簡單的操作，效果已經非凡了。如果再輔助其他的數據增強方法，將會獲得

更好的多樣性，這就是數據增強的本質。

其中，數據增強的分類可以分為有監(jiān)督的數據增強和無監(jiān)督的數據增強方

法。另外，有監(jiān)督的數據增強又可以分為單樣本數據增強和多樣本的數據增強

方法。而無監(jiān)督的數據增強分為生成新的數據和學習增強策略兩個方向。

4.3切分訓練集和測試集

為了更好的使得模型訓練，我們需要將獲取的數據集進行切分成訓練集與

測試集。

訓練集：訓練集是機器學習模型用于訓練和學習的數據集。通常情況下，

訓練集是原始數據集的一部分，用于訓練模型的參數，模型通過訓練集來學習

數據的特征，并產生一個模型，以便在預測中使用。

測試集：測試集是用于評估模型最終性能的數據集。它通常是從原始數據

集中劃分出來的，與訓練集和驗證集互不重疊。測試集的作用是評估模型在未

見過的數據上的性能，并判斷模型是否足夠準確和魯棒性。

一般情況下，我們習慣將訓練集劃分為80%，測試集劃分20%，并且訓練集

和測試集需要遵循如下的要點：

只有訓練集才可以用在模型的訓練過程中，測試集必須在模型完成

之后才被用來評估模型優(yōu)劣的依據。

訓練集中樣本數量必須夠多，一般至少要大于總樣本數的一半。

兩組子集必須從完整集合中均勻取樣。

其中最后一點特別重要，均勻取樣的目的是希望減少訓練集/測試集與完整

集合之間的偏差（bias），但卻也不易做到。一般的作法是隨機取樣，當樣本

數量足夠時，便可達到均勻取樣的效果，然而隨機也正是此作法的盲點，也是

經常是可以在數據上做手腳的地方。舉例來說，當辨識率不理想時，便重新取

樣一組訓練集/測試集，直到測試集的識別率滿意為止，但嚴格來說這樣便算是

10

湖南商務職業(yè)技術學院畢業(yè)設計

作弊了。

圖4-3劃分數據集

5模型構建及評估分析

5.1模型構建

5.1.1模型網絡結構

圖5-1模型結構

訓練Pipeline采用YOLOv5:/ultralytics/yolov5，原

始官方代碼訓練需要轉換為YOLO的格式，不支持VOC的數據格式。為了適配VOC

數據，本人新增了LoadVOCImagesAndLables用于解析VOC數據集，以便正常訓

練。另外，為了方便測試，還增加了demo.py文件，可支持對圖片，視頻和攝

11

湖南商務職業(yè)技術學院畢業(yè)設計

像頭的測試。

導入相關庫，創(chuàng)建模型，如圖5-2。

圖5-2導入相關庫

5.1.2創(chuàng)建模型

項目實現了三個車牌識別模型:CRNN，LPRNet和PlateNet，其計算量和參

數量如下：

CRNN：最經典的OCR模型了，采用CNN+RNN的網絡結構，提出CTC-Loss對

齊算法解決不定長序列對齊問題；原始碼元是用于文字識別的，稍微改成車牌

數據集，即可用于車牌識別。

LPRNet:相比經典的CRNN模型，LPRnet沒有采用RNN結構；是專門設計用

于車牌識別的輕量級的模型，整個網絡結構設計高度輕量化，參數量僅有0.48。

PlateNet:LPRNet網絡結構中存在MaxPool3d等算子，在端上部署時，會存

在OP不支持等問題，PlateNet模型去除MaxPool3d，改成使用MaxPool2d，保

證模型可端上部署成功。

圖5-3數據展示頁面

5.2模型編譯

12

湖南商務職業(yè)技術學院畢業(yè)設計

5.2.1優(yōu)化器設置

圖5-4yaml文件

準備好數據，下一步是修改配置文件config_crnn.yaml的路徑：

1.修改train_data和test_data為你自己的數據路徑。

2.其他參數保存默認即可。

修改參數代碼如圖5-4.

5.2.2損失函數設置

13

湖南商務職業(yè)技術學院畢業(yè)設計

圖5-5數據展示頁面

從圖5-5中可以看出大部分的車牌數據源自于安徽省，而其他省份的(如寧，

藏等省份)的車牌比較少，而一些特殊的車牌數據是幾乎沒有。導致數據長尾問

題。

數據長尾問題：是指數據集拍攝的照片環(huán)境復雜多變，包括了傾斜、模糊、

雨天雪天等多個場景的數據，但大部分圖片有且僅含有一個車牌。【前文已經

提到CCPD數據集的采集人員來自安徽省，所以數據集多數為安徽省的車牌照】

因此我們需要進行樣本均衡操作，實現該操作有兩種方式：

1.手動增加一些比較稀少的數據集，如西藏等省份、警用車牌、武警

車牌的圖片。使得數據豐富多樣，更好的訓練模型，提高模型的泛

化能力，提高模型的準確率。

2.實現Re-Sampling機制，本項目使用此機制，配置文件將resample

設置True即可。

Re-Sample說明：又稱作重采樣，重新采樣數據集以在訓練期間重新平衡類

分布，比如對多數類進行欠采樣，或對少數類進行過采用。

14

湖南商務職業(yè)技術學院畢業(yè)設計

5.3模型訓練與調優(yōu)

5.3.1模型訓練設置

圖5-6運行代碼(部分截圖)

整套訓練代碼非常簡單操作，項目源碼已經給出CRNN、LPRNet的配置文件；

只需要修改好配置文件的數據路徑，即可以開始訓練了。代碼如圖5-6.

5.3.2學習率調優(yōu)

圖5-7lr設置

15

湖南商務職業(yè)技術學院畢業(yè)設計

可以看到模型設置為0.001時，準確率已經達到了0.957，后續(xù)已經達到了

0.98。因此，此時學習率已經達到了較不錯的理想程度。也可以將學習率上下

微調值。運行結果如圖5-7。

5.3.3batch_size設置

圖5-8數據展示頁面

訓練模型時，設置2個epochs，并每次以64一組batch_size作為一批數

據傳給模型訓練。后續(xù)可以加載更多的batch_size來調優(yōu)模型，避免錯過最優(yōu)

模型，然后在最優(yōu)的模型情況下微微調參數。運行結果可以參考運行結果圖

5-7。Acc值已經達到0.97，當然也可以調下lr值來確保模型的是否達到最優(yōu)。

5.4模型部署

5.4.1系統(tǒng)前端設計

圖5-9可視化窗口

16

湖南商務職業(yè)技術學院畢業(yè)設計

由于在PyCharm運行中的可視化效果沒有很好的展示出來，因此，我自己

采用的PyQt5的界面自定義了一個可視化窗口。當然，如果不想重新寫窗口界

面也可以采用Tensorflow自帶的Tensorboard或者matplotlib庫來一一展示

圖片，為了可以更好的展示數據，并且讓數據得到可觀的體現。另外寫了一個

項目，該項目調用了百度云API接口，百度云接口已經將模型已經具體實現。

只需要將識別出來的結果可視化到PyQT5即可。

PyQT5功能強大，能夠自定義窗口，有強大的用戶交互功能，PyQT5能夠將

用戶自定義窗口自動生成代碼，支持瀏覽器的網頁功能、支持CSS大部分功能。

顏色相比較tkinter多樣化，美觀且直觀。這也是選擇用PyQT5作為可視化界

面的原因之一。

5.4.2系統(tǒng)后端部署

圖5-10后端部署代碼(部分)

將讀入的數據（車牌圖片）進行一系列的操作，通過調用API接口得到識

別圖片之后的結果。將識別出來的文字信息顯示到指定的位置中，其中包括圖

片的名稱、識別的時間、車牌號碼、車牌顏色與歸屬地。分別為：

圖片名稱：需要識別的圖片，也就是我們導入的數據集車牌圖片。

17

湖南商務職業(yè)技術學院畢業(yè)設計

識別時間：程序調用API接口并識別圖片的具體時間。

車牌號碼：識別出來的車牌照片，通常是包括是指的某個省份某個

城市加上后面跟五位字母或數字。

車牌類型：是指的車牌顏色，一般情況是藍色車牌和綠色車牌，也

有少量的黃色車牌照片。并將識別出來的顏色作為背景色顯示到窗

口中。

車牌信息：除了幾個特定的直轄市，一般是指的某省某市。具體的

哪個市是由當省的字母決定，相關的參數已經另外提取到Json文

件當中。

將抓拍到的車牌位置放置到界面指定的位置，這其中涉及到圖像分割的操

作。代碼如圖5-10（部分）。代碼截圖過長，因此選取特定有針對性的代碼塊。

5.4.3設計效果展示及分析

圖5-11可視化界面

圖5-12保存數據

18