基于深度學(xué)習(xí)vgg16模型的水果種類識(shí)別方法設(shè)計(jì)

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

目錄

1引言...............................................................................................................................1

1.1項(xiàng)目背景............................................................................................................1

1.2開發(fā)環(huán)境與工具................................................................................................1

1.2.1Python簡介............................................................................................1

1.2.2PaddlePaddle簡介................................................................................2

1.2.3BMLCodeLab簡介....................................................................................3

1.2.4Python第三方庫簡介............................................................................3

2需求分析.......................................................................................................................4

2.1可行性需求分析................................................................................................4

2.2數(shù)據(jù)集采集功能分析........................................................................................4

2.3關(guān)鍵技術(shù)分析....................................................................................................5

2.3.1數(shù)據(jù)集預(yù)處理與數(shù)據(jù)器讀取技術(shù).........................................................5

2.3.2卷積神經(jīng)網(wǎng)絡(luò)原理.................................................................................5

2.3.3VGG網(wǎng)絡(luò)結(jié)構(gòu)（vgg-16模型）.............................................................6

3數(shù)據(jù)采集與處理...........................................................................................................7

3.1數(shù)據(jù)集獲取分析................................................................................................7

3.2數(shù)據(jù)集處理........................................................................................................8

4模型構(gòu)建及評估分析...................................................................................................9

4.1模型構(gòu)建............................................................................................................9

4.1.1定義卷積池化網(wǎng)絡(luò).................................................................................9

4.1.2搭建VGG網(wǎng)絡(luò).......................................................................................10

4.2模型訓(xùn)練..........................................................................................................10

4.2.1優(yōu)化器設(shè)置與損失函數(shù)設(shè)置...............................................................10

4.2.2繪制loss和acc圖像.........................................................................11

4.3模型評估..........................................................................................................12

4.4模型預(yù)測...........................................................................................................13

5小結(jié).............................................................................................................................15

I

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

參考資料.........................................................................................................................17

II

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

基于深度學(xué)習(xí)vgg16模型的水果種類識(shí)別方法設(shè)計(jì)

1引言

人工智能（AI）如同信息科技發(fā)展時(shí)代的計(jì)算機(jī)和互聯(lián)網(wǎng)、電氣時(shí)代的發(fā)

電機(jī)、蒸汽時(shí)代的蒸汽機(jī)，正賦能各個(gè)產(chǎn)業(yè)，推動(dòng)著我們進(jìn)入新科技時(shí)代?，F(xiàn)

在是一個(gè)高速發(fā)展的社會(huì)，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等技

術(shù)的發(fā)展，人工智能在社會(huì)中的應(yīng)用也越來越廣泛。

其中各類深度學(xué)習(xí)模型的運(yùn)用也越來越多，人工智能（Artificial

Intelligence，AI）本研究的目的是幫助智能代理像人一樣聽（例如語音識(shí)

別）、看（圖像、文本識(shí)別等）、說話（文本到語音、人機(jī)對話等）、思考問

題（人機(jī)游戲、專家系統(tǒng)等），像人一樣學(xué)習(xí)（知識(shí)表示）。人工智能的經(jīng)典

定義是“智能代理理解和學(xué)習(xí)數(shù)據(jù)并從數(shù)據(jù)中學(xué)習(xí)的能力，并利用這些知識(shí)來

實(shí)現(xiàn)特定的目標(biāo)和任務(wù)。

1.1項(xiàng)目背景

隨著人們生活質(zhì)量的提高，世界各地的水果逐漸進(jìn)入到大家的生活中，相

較于人們?nèi)粘５拇蟊娝?，可能?huì)出現(xiàn)一些人們不認(rèn)識(shí)的新品種，這個(gè)時(shí)候就

需要對這一部分水果進(jìn)行識(shí)別分類。

我的畢業(yè)設(shè)計(jì)就是針對各種水果進(jìn)行提取特征和分析，從而進(jìn)行識(shí)別水果

種類，可以很好的識(shí)別水果種類。

本篇使用VGG網(wǎng)絡(luò)進(jìn)行水果識(shí)別。

1.2開發(fā)環(huán)境與工具

1.2.1Python簡介

Python是由GuidoRossum于1989年誕生。

2005-2012年，Google大量應(yīng)用python，引起廣泛關(guān)注，促進(jìn)了python的

發(fā)展。

2012年云計(jì)算興起，其中最主要的OpenStack框架由python開發(fā)，使得

python火了一把。2014年AI興起，AI中大量關(guān)鍵算法都是由python開發(fā)，因

為python中含有很好的第三方庫特別適合做算法，加上入門低、開發(fā)效率高，

這樣又進(jìn)一步促使python的火爆。

1

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

2017年python走進(jìn)大眾視野（指非IT人士），走進(jìn)學(xué)科教育。

如今已經(jīng)發(fā)展成一門廣泛使用的高級編程語言。它可應(yīng)用于網(wǎng)絡(luò)爬蟲、機(jī)

器學(xué)習(xí)、數(shù)據(jù)分析和可視化等多種領(lǐng)域。它的特點(diǎn)是開源（免費(fèi)）、豐富的庫、

簡單易學(xué)、支持跨平臺(tái)而且可移植性強(qiáng)。

1.2.2PaddlePaddle簡介

飛漿（PaddlePaddle）它是中國第一個(gè)自主研發(fā)、功能化、開源、開放的

行業(yè)級深度學(xué)習(xí)平臺(tái)?；诎俣榷嗄甑募夹g(shù)研究和商業(yè)化應(yīng)用，它集成了端到

端的推理框架和開發(fā)工具包、豐富的工具組件、基本的深度學(xué)習(xí)訓(xùn)練和基本模

型庫。

目前，飛漿服務(wù)于10萬家公司和265萬開發(fā)者，基于飛漿開源深度學(xué)習(xí)

平臺(tái)生成了34萬個(gè)模型。飛漿幫助開發(fā)人員快速實(shí)施AI創(chuàng)意并快速啟動(dòng)AI

服務(wù)。我們將幫助越來越多的行業(yè)完成AI賦能，實(shí)現(xiàn)產(chǎn)業(yè)智能化升級。支持多

種深度學(xué)習(xí)模型DNN（深度神經(jīng)網(wǎng)絡(luò)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（遞歸神

經(jīng)網(wǎng)絡(luò)），以及NTM這樣的復(fù)雜記憶模型。支持Python和C++語言。

飛槳內(nèi)置了CV領(lǐng)域的MNIST、FashionMNIST、Flowers、Cifar10、

Cifar100、VOC2012數(shù)據(jù)集，以及NLP領(lǐng)域的Conll05st、Imdb、Imikolov、

Movielens、UCIHousing、WMT14、WMT16數(shù)據(jù)集。

支持分布式計(jì)算。與原始設(shè)計(jì)類似，這允許PaddlePaddle在多個(gè)GPU和多

臺(tái)機(jī)器上執(zhí)行并行計(jì)算。

易用性。語法簡潔，API的設(shè)計(jì)干凈清晰豐富的模型庫。借助于其豐富的

模型庫，可以非常容易的復(fù)現(xiàn)一些經(jīng)典方法。

圖1-1paddle開發(fā)大致步驟圖

2

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

1.2.3BMLCodeLab簡介

BMLCodeLab是百度團(tuán)隊(duì)自主研發(fā)的面向機(jī)器學(xué)習(xí)集成開發(fā)環(huán)境，提供了強(qiáng)

大的交互式編碼體驗(yàn)、方便的多環(huán)境管理能力、彈性資源擴(kuò)展，內(nèi)置豐富的AI

工具，而且支持企業(yè)快速集成，極大提升用戶和企業(yè)數(shù)據(jù)處理與建模效率。

BMLCodeLab除了提供好用的編輯器外，也提供了非常人性化的云端計(jì)算資

源彈性擴(kuò)展能力，不僅支持本地開發(fā)訓(xùn)練，還可以直接使用云端算力進(jìn)行編碼

調(diào)試，無需多次配置環(huán)境，端云項(xiàng)目可自動(dòng)同步。

BML全面的AI開發(fā)平臺(tái)為企業(yè)AI算法開發(fā)人員提供機(jī)器學(xué)習(xí)和深度學(xué)習(xí)

的一站式AI開發(fā)服務(wù)，通過易于使用的開發(fā)環(huán)境，豐富的功能組件和高性價(jià)比

的計(jì)算資源，幫助他們高效創(chuàng)建高精度AI應(yīng)用。

在模型開發(fā)環(huán)節(jié)中，BML支持Notebook、腳本調(diào)參、CodeLab本地開發(fā)、自

定義作業(yè)的建模方式，給予開發(fā)者更高的靈活度，完成高精度模型的定制開發(fā)。

1.2.4Python第三方庫簡介

PIL:是python的第三方圖像處理庫。可以進(jìn)行圖像歸檔以及圖像的批處理

任務(wù)，還有圖像展示，圖像處理等。

Keras：是一個(gè)基于Python的開源軟件庫，它允許快速構(gòu)建神經(jīng)網(wǎng)絡(luò)模型

并提供后端支持。

OpenCV：是一個(gè)流行的開源計(jì)算機(jī)視覺庫，它專注于實(shí)時(shí)應(yīng)用程序。該庫

具有模塊化結(jié)構(gòu)，并包含數(shù)百種計(jì)算機(jī)視覺算法。

os：是python的標(biāo)準(zhǔn)庫，其中包含了幾百個(gè)函數(shù)，常用的有路徑操作、進(jìn)

程管理、環(huán)境參數(shù)等。例如：os.path子庫它就是以path為入口，然后用于操

作和處理文件路徑。

sys：該模塊提供了一些接口，用于訪問Python解釋器自身使用和維護(hù)的

變量，同時(shí)模塊中還提供了一部分函數(shù)，可以與解釋器進(jìn)行比較深度的交互。

Random：Python中的random模塊可以實(shí)現(xiàn)各種分布的偽隨機(jī)數(shù)生成器。

Numpy：是Python數(shù)據(jù)分析的基礎(chǔ)，是處理數(shù)組的Python庫，NumPy庫的

數(shù)據(jù)結(jié)構(gòu)比Python自帶的更加高效。

matplotlib：繪圖庫，主要是偏向于二維繪圖包括折線圖、條形圖、扇形

圖、散點(diǎn)圖、直方圖等等。

3

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

2需求分析

2.1可行性需求分析

1.技術(shù)可行性

Python編程語言通俗易懂、是一種動(dòng)態(tài)的面對對象的腳本語言。這讓它對

于爬蟲領(lǐng)域有著巨大的優(yōu)勢，是當(dāng)前爬蟲的首選語言。本項(xiàng)目便是利用python

采集數(shù)據(jù)，通過python第三方庫進(jìn)行數(shù)據(jù)分析、與數(shù)據(jù)可視化的展示。

本項(xiàng)目是直接使用百度飛漿所提供的數(shù)據(jù)集，通過python第三方庫進(jìn)行分

析，在BMLCodeLab上進(jìn)行編譯，構(gòu)建基于vgg-16模型的水果分類識(shí)別方法。

2.項(xiàng)目可行性

水果分類，在水果產(chǎn)業(yè)和社會(huì)經(jīng)濟(jì)發(fā)展中具有重要意義.當(dāng)前,水果分類方

法主要有人工分類和機(jī)器分類等.人工分類不僅浪費(fèi)大量人力物力而且效率低,

而機(jī)器分類的性能有待提高。

目前，我國共有1萬多個(gè)品種，其中栽培果樹300余種。由于傳統(tǒng)的水果

分類分種方法主要依靠人類分工的方法，因此對水果種類識(shí)別的檢測非常必要。

近年來，由于勞動(dòng)力成本上升，這種方法大大降低了盈利能力。

隨著人工智能和機(jī)器視覺的迅速發(fā)展。研究基于深度學(xué)習(xí)的水果分類方法

對于提高水果分類準(zhǔn)確率和效率具有重要的意義和廣泛的應(yīng)用價(jià)值。

2.2數(shù)據(jù)集采集功能分析

此次項(xiàng)目的數(shù)據(jù)集來源于百度飛漿數(shù)據(jù)集：

/aistudio/datasetdetail/137852。

圖片數(shù)據(jù)集一共分為五種水果，分別為蘋果，香蕉，葡萄，橘子和梨子。其

中每一種水果的圖片均為200張以上。

圖2-1水果種類文件夾展示圖

4

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖2-2部分水果展示圖

2.3關(guān)鍵技術(shù)分析

2.3.1數(shù)據(jù)集預(yù)處理與數(shù)據(jù)器讀取技術(shù)

數(shù)據(jù)預(yù)處理（datapreprocessing）是指在主要處理之前的特定數(shù)據(jù)處理。

為了更好的訓(xùn)練效果要將數(shù)據(jù)集切分成訓(xùn)練集、測試集和驗(yàn)證集。

在飛槳框架中，可通過如下兩個(gè)核心步驟完成數(shù)據(jù)集的定義與加載：

1.定義數(shù)據(jù)集：將磁盤中保存的原始圖片、文字等樣本和對應(yīng)的標(biāo)簽映射

到Dataset，方便后續(xù)通過索引（index）讀取數(shù)據(jù)，在Dataset中還可以進(jìn)行

一些數(shù)據(jù)變換、數(shù)據(jù)增廣等預(yù)處理操作。在飛槳框架中可使用

paddle.io.Dataset自定義數(shù)據(jù)集，另外在paddle.vision.datasets和

paddle.text目錄下飛槳內(nèi)置了一些經(jīng)典數(shù)據(jù)集方便直接調(diào)用。

2.迭代讀取數(shù)據(jù)集：自動(dòng)將數(shù)據(jù)集的樣本進(jìn)行分批（batch）、亂序（shuffle）

等操作，方便訓(xùn)練時(shí)迭代讀取，同時(shí)還支持多進(jìn)程異步讀取功能可加快數(shù)據(jù)讀

取速度。在飛槳框架中可使用paddle.io.DataLoader迭代讀取數(shù)據(jù)集。

2.3.2卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）是一種多層感知器或深

度學(xué)習(xí)模型，類似于通常用于分析視覺圖像的人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的

5

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

創(chuàng)始人是著名的計(jì)算機(jī)科學(xué)家YannLeCun，他首先通過卷積神經(jīng)網(wǎng)絡(luò)解決了

MNIST數(shù)據(jù)集上的手寫數(shù)字問題，目前在Facebook工作。

2.3.3VGG網(wǎng)絡(luò)結(jié)構(gòu)（vgg-16模型）

VGG16網(wǎng)絡(luò)是2014年GoogleDeepMind公司研究員和牛津大學(xué)計(jì)算機(jī)視覺

組一起研發(fā)的深度網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)共有16個(gè)訓(xùn)練參數(shù)，其姊妹版本如下圖所

示，清晰地顯示了從11層網(wǎng)絡(luò)到19層網(wǎng)絡(luò)的每個(gè)級別的參數(shù)數(shù)量。

VGG16網(wǎng)絡(luò)在ILSVRC2014競賽的定位項(xiàng)目中獲得了第一名和分類類別項(xiàng)目

的第二名。VGGNet遷移到其他圖像數(shù)據(jù)的泛化性能非常好，網(wǎng)絡(luò)結(jié)構(gòu)簡單。

VGGNet仍然用于提取圖像特征，網(wǎng)絡(luò)訓(xùn)練后的模型參數(shù)在網(wǎng)站上開源，可

用于圖像分類等任務(wù)的再次練習(xí)，即：提供了非常好的初始化權(quán)重，使用較為

廣泛。

圖2-3VGG網(wǎng)絡(luò)圖

從圖2-3可知：VGGNet有5個(gè)卷積層，每個(gè)段有2個(gè)或3個(gè)卷積層，最大

池化層連接在每個(gè)段的末端，用于減小圖像大小。每個(gè)段中的卷積核數(shù)量相同，

層越接近全連接層，卷積核的數(shù)量就越多。從圖2-4顯示，每段中的卷積核數(shù)

6

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

量相同，全連接層越近，卷積核數(shù)量越多，對應(yīng)的圖像尺寸越小。

圖2-4VGG16網(wǎng)絡(luò)參數(shù)圖

3數(shù)據(jù)采集與處理

3.1數(shù)據(jù)集獲取分析

打開瀏覽器，直接搜索百度飛漿，在其數(shù)據(jù)集大廳的公共數(shù)據(jù)集中找到

水果識(shí)別數(shù)據(jù)集，其中URL為：

/aistudio/datasetdetail/137852；

圖3-1數(shù)據(jù)集源地址

7

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-2部分圖片展示

3.2數(shù)據(jù)集處理

數(shù)據(jù)預(yù)處理與切分訓(xùn)練集和測試集：

1、導(dǎo)入所需要用的庫，定義基礎(chǔ)的公共變量，寫出數(shù)據(jù)集的基礎(chǔ)路徑，定

義好測試集文件路徑和訓(xùn)練集的文件路徑。

2、劃分測試集和訓(xùn)練集。

遍歷字典，每10筆數(shù)據(jù)分1筆數(shù)據(jù)到測試集，其他到訓(xùn)練集。測試集:訓(xùn)

練集=1:9，預(yù)處理完成。

運(yùn)行結(jié)果圖片如下：

圖4-1數(shù)據(jù)預(yù)處理完成圖

8

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

接著進(jìn)行訓(xùn)練數(shù)據(jù)的加載和評估數(shù)據(jù)的加載：

圖4-2數(shù)據(jù)加載圖

4模型構(gòu)建及評估分析

4.1模型構(gòu)建

4.1.1定義卷積池化網(wǎng)絡(luò)

這一步進(jìn)行卷積網(wǎng)絡(luò)的定義，其中g(shù)roups代表卷積層的數(shù)量，添加子層實(shí)

例，定義通道數(shù)，卷積核個(gè)數(shù)和卷積核大小等。

圖5-1定義卷積網(wǎng)絡(luò)部分代碼

9

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

4.1.2搭建VGG網(wǎng)絡(luò)

定義VGG網(wǎng)絡(luò)，首先進(jìn)行初始化，進(jìn)行5個(gè)卷積池化操作，其中3：通道數(shù)

，64：卷積核個(gè)數(shù)，3：卷積核大小，2：池化核大小，2：池化步長，2：連續(xù)

卷積個(gè)數(shù)，接著建立三個(gè)全連接層。

VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)由13個(gè)卷積層和3個(gè)全連接層組成。VGG網(wǎng)絡(luò)使用由卷

積層3×3和池化層組成的基礎(chǔ)模塊提取特征，并將全連接三層置于網(wǎng)絡(luò)末端形

成分類器，最后一個(gè)全連接層的輸出為分類預(yù)測。

圖5-2搭建VGG網(wǎng)絡(luò)的過程圖

4.2模型訓(xùn)練

4.2.1優(yōu)化器設(shè)置與損失函數(shù)設(shè)置

進(jìn)行模型訓(xùn)練，其中優(yōu)化器設(shè)置：Adam，損失函數(shù)設(shè)置：

nn.CrossEntropyLoss()

10

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖5-3進(jìn)行模型訓(xùn)練圖

4.2.2繪制loss和acc圖像

定義繪制損失函數(shù)和acc的圖像函數(shù)，進(jìn)行標(biāo)題，顏色，迭代次數(shù)，使用

數(shù)據(jù)和標(biāo)簽的定義。使用plt.matplotlib.pyplot進(jìn)行繪制。紅色的為損失函

數(shù)，綠色的為acc。

loss是我們預(yù)先設(shè)定的損失函數(shù)計(jì)算得到的損失值；accuracy是模型在數(shù)

據(jù)集上基于給定label得到的評估結(jié)果。

圖5-4繪制loss和acc圖像代碼

由圖像可得到，當(dāng)損失函數(shù)越小的時(shí)候，訓(xùn)練的準(zhǔn)確率越高。

11

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖5-5loss和acc圖像展示圖

4.3模型評估

在VGG網(wǎng)絡(luò)中，如果我們想要得到感受野為5的特征圖，最直接的方法是

使用5×5的卷積層，但是我們也可以使用兩層3×3卷積層達(dá)到同樣的效果，

并且只需要更少的參數(shù)。另外由于卷積核比較小，我們可以堆疊更多的卷積層，

提取到更多的圖片信息，來提高圖像分類的準(zhǔn)確率。

我們的目標(biāo)是極大化降低損失函數(shù)，但這不僅僅是學(xué)習(xí)過程中對訓(xùn)練數(shù)據(jù)

有良好的預(yù)測能力（極低的訓(xùn)練損失），根本上還在于要對新數(shù)據(jù)（測試集）

能有很好的預(yù)測能力（泛化能力）。

圖5-6模型評估圖

12

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

4.4模型預(yù)測

決策應(yīng)用是我們的最終目的，對模型預(yù)測信息加以分析解釋，并應(yīng)用于實(shí)

際的工作領(lǐng)域。其中我們對預(yù)測的圖片進(jìn)行選擇，為預(yù)測圖片打上標(biāo)簽。導(dǎo)入

時(shí)間庫（importtime）加載訓(xùn)練過程中保存的最后一個(gè)模型，對預(yù)測圖片進(jìn)行

打印，預(yù)測圖片為五張。

打印出來的格式為：print("樣本:{},被預(yù)測為

:{}".format(infer_img_path,label_dic[lab])

圖5-7預(yù)測圖片圖

圖5-8步驟代碼圖

13

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖5-9步驟代碼展示圖

打印出來的圖片是五張，樣本和預(yù)測結(jié)果均表現(xiàn)一致，這個(gè)結(jié)果說明了訓(xùn)練

出來的模型較為準(zhǔn)確，準(zhǔn)確率較高。

圖5-10香蕉預(yù)測結(jié)果圖圖5-11梨子預(yù)測結(jié)果圖

14

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖5-12橘子預(yù)測結(jié)果圖圖5-13葡萄預(yù)測結(jié)果圖

圖5-14蘋果預(yù)測結(jié)果圖

5小結(jié)

VGG16模型它的網(wǎng)絡(luò)深，卷積核小，而且池化核也小。它是測試重用訓(xùn)練時(shí)

的參數(shù)，讓測試所得到的全卷積網(wǎng)絡(luò)因?yàn)闆]有全連接的限制。所以它不僅可以

接收任意的寬的輸入，并且可以接收任