基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法.pdf

第 31 卷 第 5 期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol.31 No.5 2015 年 3 月 Transactions of the Chinese Society of Agricultural Engineering Mar. 2015 181 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法 趙凱旋，何東健 （西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，楊凌 712100） 摘 要：視頻分析技術(shù)已越來越多地應(yīng)用于檢測(cè)奶牛行為以給出養(yǎng)殖管理決策，基于圖像處理的奶牛個(gè)體身份識(shí)別方法 能夠進(jìn)一步提高奶牛行為視頻分析的自動(dòng)化程度。為實(shí)現(xiàn)基于圖像處理的無接觸、高精確度、適用性強(qiáng)的奶牛養(yǎng)殖場(chǎng)環(huán) 境下的奶牛個(gè)體有效識(shí)別，提出用視頻分析方法提取奶牛軀干圖像，用卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確識(shí)別奶牛個(gè)體的方法。該方法 采集奶牛直線行走時(shí)的側(cè)視視頻，用幀間差值法計(jì)算奶牛粗略輪廓，并對(duì)其二值圖像進(jìn)行分段跨度分析，定位奶牛軀干 區(qū)域，通過二值圖像比對(duì)跟蹤奶牛軀干目標(biāo)，得到每幀圖像中奶牛軀干區(qū)域圖像。通過理論分析和試驗(yàn)驗(yàn)證，確定了卷 積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，并將軀干圖像灰度化后經(jīng)插值運(yùn)算和歸一化變換為 4848 大小的矩陣，作為網(wǎng)絡(luò)的輸入進(jìn)行 個(gè)體識(shí)別。對(duì) 30 頭奶牛共采集 360 段視頻，隨機(jī)選取訓(xùn)練數(shù)據(jù) 60 000 幀和測(cè)試數(shù)據(jù) 21 730 幀。結(jié)果表明，在訓(xùn)練次數(shù) 為 10 次時(shí)，代價(jià)函數(shù)收斂至 0.0060，視頻段樣本的識(shí)別率為 93.33%，單幀圖像樣本的識(shí)別率為 90.55%。該方法可實(shí)現(xiàn) 養(yǎng)殖場(chǎng)中奶牛個(gè)體無接觸精確識(shí)別，具有適用性強(qiáng)、成本低的特點(diǎn)。 關(guān)鍵詞：圖像技術(shù)；算法；識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；視頻分析；奶牛；目標(biāo)檢測(cè) doi：10.3969/j.issn.1002-6819.2015.05.026 中圖分類號(hào)：TP391.41; S823.9+1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1002-6819(2015)-05-0181-07 趙凱旋，何東健. 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法J. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：181187. Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networksJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181187. (in Chinese with English abstract) 0 引 言 發(fā)源于智能監(jiān)控的視頻分析技術(shù)已逐步深入到畜 禽養(yǎng)殖的許多領(lǐng)域1-4， 其中智能感知和識(shí)別奶牛的行為 并給出養(yǎng)殖管理決策支持成為當(dāng)今研究的熱點(diǎn)5-8。 個(gè)體 身份識(shí)別方法是自動(dòng)分析奶牛行為的技術(shù)前提和應(yīng)用 基礎(chǔ) 9。動(dòng)物個(gè)體識(shí)別常采用無線射頻識(shí)別（radio frequency identification，RFID）技術(shù)10-12。但 RFID 技術(shù) 識(shí)別視頻視野中的奶牛個(gè)體時(shí)需要額外的設(shè)備與同步識(shí) 別方法，增加了奶牛行為視頻分析系統(tǒng)的復(fù)雜度和成本 13-15。然而奶牛視頻中包含奶牛的個(gè)體信息，可直接對(duì) 視頻進(jìn)行圖像處理實(shí)現(xiàn)奶牛個(gè)體識(shí)別16-17。因此，迫切 需要一種基于圖像處理的高精度自動(dòng)奶牛個(gè)體識(shí)別方 法，以提高行為檢測(cè)的自動(dòng)化程度并降低成本，進(jìn)一步 提高視頻分析技術(shù)在奶牛行為感知領(lǐng)域的實(shí)用性。 用圖像處理與分析的方法實(shí)現(xiàn)奶牛個(gè)體身份識(shí)別已 引起學(xué)者的關(guān)注。 Xia 等16提出了一種基于局部二值模式 （local binary patterns，LBP）紋理特征的臉部描述模型， 并使用主成分分析（principal component analysis，PCA） 結(jié)合稀疏編碼分類（sparse representation-based classifier， 收稿日期：2014-12-17 修訂日期：2015-02-10 基金項(xiàng)目：國(guó)家自然科學(xué)基金面上項(xiàng)目（61473235） 作者簡(jiǎn)介：趙凱旋，男，博士生，研究方向?yàn)閯?dòng)物行為視頻分析與感知。楊 凌 西北農(nóng)林科技大學(xué)機(jī)電學(xué)院，712100。Email：zkx 通信作者：何東健，男，教授，研究方向?yàn)樯飯D像分析及識(shí)別、智能化 檢測(cè)與控制。楊凌 西北農(nóng)林科技大學(xué)機(jī)電學(xué)院，712100。 Email：hdj168 SRC） 對(duì)奶牛臉部圖像進(jìn)行識(shí)別。 但識(shí)別系統(tǒng)對(duì)奶牛臉部 圖像的拍攝位置和角度敏感，難以實(shí)現(xiàn)自動(dòng)化識(shí)別。Kim 等17設(shè)計(jì)了一個(gè)基于奶牛身體圖像特征的計(jì)算機(jī)圖像系 統(tǒng)以識(shí)別奶牛個(gè)體，該系統(tǒng)使用純色背景，提取奶牛的 身體區(qū)域圖像，二值化后對(duì)圖像進(jìn)行分塊處理得到 100 個(gè)特征值，構(gòu)建 100168 結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，用 49 幅圖像訓(xùn)練網(wǎng)絡(luò)，10 幅圖像測(cè)試網(wǎng)絡(luò)性能。該系統(tǒng)證明 了使用身體圖像識(shí)別奶牛是可行的。但是該系統(tǒng)試驗(yàn)環(huán) 境與奶牛實(shí)際養(yǎng)殖環(huán)境差別大，構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)數(shù) 較多，且訓(xùn)練與測(cè)試樣本較少，易產(chǎn)生過學(xué)習(xí)，系統(tǒng)對(duì) 于環(huán)境光變化、圖像平移與畸變的魯棒性低。圖像距離 量度法和尺度不變特征變換匹配算法（scale invariant feature transform，SIFT）可用于奶牛個(gè)體身份識(shí)別。但 圖像距離量度法依賴于圖像特征的提取，對(duì)光線變化較 為敏感18，不適用于露天養(yǎng)殖的奶牛；在有前景遮擋的 情況下，SIFT 方法匹配準(zhǔn)確率會(huì)受到影響19?；谏疃?學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用到模式匹配的相關(guān)研究 中20-21，并表現(xiàn)出良好的抗干擾能力，具有應(yīng)用到復(fù)雜 場(chǎng)景下奶牛個(gè)體識(shí)別的潛力。 因此，為提供一種在奶牛實(shí)際養(yǎng)殖環(huán)境下，基于圖 像處理的非接觸、低成本的奶牛個(gè)體識(shí)別方法，本文利 用視頻中圖像序列樣本量充足這一特點(diǎn)，研究并提出基 于視頻分析和卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體識(shí)別方法，在設(shè) 計(jì)奶牛行走視頻采集方案的基礎(chǔ)上，對(duì)奶牛視頻進(jìn)行分 析，提取并跟蹤奶牛運(yùn)動(dòng)過程中的軀干圖像。根據(jù)軀干 圖像的特點(diǎn)，設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，用軀干 農(nóng)業(yè)工程學(xué)報(bào) 2015 年 182 圖像訓(xùn)練并測(cè)試網(wǎng)絡(luò)性能，最終實(shí)現(xiàn)奶牛實(shí)際養(yǎng)殖環(huán)境 下的個(gè)體精確高效識(shí)別。 1 材料與方法 1.1 圖像采集 試驗(yàn)視頻采集自陜西楊凌科元克隆股份有限公司的 規(guī)模奶牛養(yǎng)殖場(chǎng)，采集于 2013 年 7 月至 8 月，拍攝對(duì)象 為健康的美國(guó)荷斯坦奶牛。奶牛會(huì)頻繁地經(jīng)過固定的窄 道行走至飲水池飲水，在與窄道平行的采食棚支撐梁上 安裝 1 臺(tái) DS-2DM1-714 球型攝像機(jī) （?？低?， 杭州） ， 使攝像機(jī)傳感器與牛只行走方向基本平行，并調(diào)整視野 寬度大于 2 個(gè)牛身長(zhǎng)度。奶牛目標(biāo)與攝像機(jī)之間有柵欄 前景遮擋，柵格大小為 0.5 m1.2 m。 在無霧、無霾的晴天 7：0018：00 時(shí)段獲取 30 頭 奶牛的視頻片段。奶牛個(gè)體全部出現(xiàn)在視野左側(cè)時(shí)開始 采集，持續(xù)采集到奶牛行走至視野右側(cè)邊緣作為一個(gè)視 頻段，并剔除包含奶牛停頓和異常行為的視頻。每頭奶 牛得到 12 段視頻，共計(jì) 360 段視頻，每段視頻持續(xù)時(shí)長(zhǎng) 約為 10 s。采集視頻為 PAL 制式并保存在攝像機(jī)本地存 儲(chǔ)卡內(nèi)，幀率/碼率為 25 fps/2 000kbps，分辨率為 704 像 素（水平）576 像素（垂直）。 后續(xù)視頻處理平臺(tái)處理器為 Inter Quad Q8400，主頻 為 2.66 GHz，4 GB 內(nèi)存，500 GB 硬盤，算法開發(fā)平臺(tái)為 MATLAB 2012a。 由于奶牛沿直線行走通過視野， 視頻中 奶牛的活動(dòng)區(qū)域固定在圖像的中間區(qū)段，因此通過預(yù)設(shè) 的感興趣區(qū)域（ROI）參數(shù)剔除無效的圖像區(qū)域。根據(jù) 30 頭奶牛最大體高確定 ROI 區(qū)域的大小和位置，最終得 到的奶牛行走圖像大小為 704 像素 （水平） 242 像素 （垂 直）。 1.2 供試數(shù)據(jù) 將 30 頭奶牛從 1 到 30 進(jìn)行編號(hào)，對(duì)每頭奶牛的 12 段視頻隨機(jī)挑選出 3 段作為測(cè)試樣本，剩余視頻作為該 奶牛個(gè)體的訓(xùn)練樣本， 共得到 90 段測(cè)試用視頻段， 及 270 段訓(xùn)練用視頻段。每段視頻持續(xù)時(shí)長(zhǎng)為 10 s 左右，視頻 幀率為 25 fps/s，經(jīng)過視頻分析與處理共得到奶牛軀干圖 像約 90 000 幅。由于奶牛通過視野時(shí)運(yùn)動(dòng)速度有差異， 導(dǎo)致奶牛個(gè)體間的訓(xùn)練樣本數(shù)不同。為避免樣本量差異 對(duì)識(shí)別結(jié)果的影響，需要保證不同模式中參與訓(xùn)練的樣 本數(shù)量基本一致，故從每個(gè)奶牛個(gè)體訓(xùn)練視頻段的軀干 圖像集中隨機(jī)挑選出 2 000 幅作為該奶牛個(gè)體的訓(xùn)練集， 對(duì)于測(cè)試視頻段中的圖像則無需進(jìn)行篩選。最終得到包 括 30 頭奶牛軀干圖像的訓(xùn)練圖像為 60 000 幅， 測(cè)試圖像 為 21 730 幅。 測(cè)試集中每個(gè)奶牛個(gè)體的圖像數(shù)量在 650 850 之間，訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)之間無重疊。 1.3 提取軀干圖像 1.3.1 軀干定位 幀間差值法對(duì)目標(biāo)的運(yùn)動(dòng)邊緣具有優(yōu)良的檢測(cè)性 能，對(duì)奶牛進(jìn)行幀間差值處理可得到奶牛的粗略輪廓， 對(duì)得到的二值圖像進(jìn)行跨度分析，以剔除外部干擾，并 分割出尾巴、頭和頸部，最終得到軀干區(qū)域。 如圖 1 所示，將得到的幀間差值圖像劃分成等間距 的片段，分別計(jì)算每個(gè)片段內(nèi)二值圖像真值的上邊界和 下邊界，并計(jì)算兩者的差值作為圖像跨度。 圖 1 幀間差值圖像分布跨度 Fig. 1 Distribution of frames difference image 當(dāng)各片段內(nèi)邊界和跨度值滿足如式 （1） 所示條件時(shí)， 說明第 i 片段包含軀干區(qū)域，予以保留；否則視為無效片 段，清除該片段內(nèi)的圖像值。 1 1 max, max, iii rn un iuur irr RUD MRR MUU UMT M RT M = = = L L （1） 式中：Ui為第 i 片段內(nèi)的上邊界；Di為第 i 片段內(nèi)的下邊 界；Tu為軀干上邊界偏移閾值；Tr為軀干片斷跨度閾值； n 為圖像中片段的總數(shù)。 從樣本庫中隨機(jī)選取 30 段視頻進(jìn)行統(tǒng)計(jì)分析知，當(dāng) Tu及 Tr分別取 0.06 和 0.4 時(shí)，能夠去除大部分無用區(qū)域 并保留軀干片段。 計(jì)算修剪后的二值圖像的外接矩形，其上半部分為 軀干區(qū)域，下半部分為奶牛四肢。對(duì)于荷斯坦品種的奶 牛，其軀干縱向高度與體高之比 rb/t變化幅度較小22。因 此，本研究對(duì) 30 頭奶牛通過試驗(yàn)確定 rb/t平均值為 0.6。 將定位的軀干區(qū)域以中心為基點(diǎn)縮小到 80%，以去除邊 界處的背景區(qū)塊。軀干定位結(jié)果如圖 2 所示。 圖 2 奶牛軀干定位結(jié)果 Fig.2 Result of locating cows body 1.3.2 軀干跟蹤 第 5 期 趙凱旋等：基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法 183 考慮到奶牛行走過程中軀干無明顯的幾何變化，只 產(chǎn)生平移運(yùn)動(dòng)，故采用在后續(xù)幀中跟蹤軀干的策略，以 提高軀干圖像提取精度。常用的跟蹤方法有粒子濾波跟 蹤法23和 Meanshift 算法24， 粒子濾波對(duì)大目標(biāo)跟蹤耗時(shí) 長(zhǎng)，不適于奶牛目標(biāo)的跟蹤；試驗(yàn)發(fā)現(xiàn)，Meanshift 算法 不能準(zhǔn)確跟蹤行走中的奶牛目標(biāo)。主要原因是基于顏色 直方圖的 Meanshift 算法對(duì)于顏色變化敏感，奶牛軀干主 要由白色和黑色組成，而背景中包含了過多的顏色信息， 導(dǎo)致 Meanshift 極易跟蹤到背景區(qū)域。因此，本文用模板 比對(duì)法對(duì)奶牛軀干區(qū)域進(jìn)行跟蹤。其基本原理是以當(dāng)前 幀軀干區(qū)域所在的位置為中心，在下一幀中尋找與軀干 區(qū)域最接近的圖像。 設(shè)已定位的奶牛軀干區(qū)域?yàn)?A， 并從 原圖像中提取軀干的 RGB 圖像 f0作為跟蹤的基準(zhǔn)圖像。 在下一幀圖像中，以 A 為中心向 4 周擴(kuò)展 10%得 Ap，對(duì) Ap內(nèi)所有子圖像 fm與 f0按式（2）進(jìn)行差異度比對(duì)評(píng)價(jià)， 以最接近 f0的子圖作為跟蹤結(jié)果。 00 0 bitxor(,) NT()/ NF() mm m bfgfT bfgfT bxbf bf rabxbx = = = = （2） 式中：gf0為 f0的灰度圖像；gfm為 fm的灰度圖像；T 為奶 牛白色體斑灰度閾值；bitxor 為對(duì) 2 個(gè)二值圖像進(jìn)行按位 異或操作；NT 為計(jì)算矩陣中值為 1 的元素個(gè)數(shù)；NF 為 計(jì)算矩陣中值為 0 的元素個(gè)數(shù)；ra 為圖像比對(duì)評(píng)價(jià)值， ra 越小表明 f0和 fm越接近。 式 （2） 中 ra 值實(shí)質(zhì)上是目標(biāo)二值圖像與待比較二值 圖像中非重疊區(qū)域與重疊區(qū)域的面積比。每次跟蹤開始 時(shí)對(duì) gf0采用 OTSU 方法得到二值化閾值 T，為保證二值 圖像的可比性， 對(duì)所有子圖 gfm使用相同的閾值 T 進(jìn)行二 值化。用式（2）計(jì)算的圖像評(píng)價(jià)值能夠有效地找出新的 軀干圖像，且方法耗時(shí)短。奶牛沿直線行走時(shí)側(cè)視圖像 中，奶牛軀干區(qū)域變形可忽略不計(jì)，故模板比較法跟蹤 準(zhǔn)確度高，可實(shí)現(xiàn)實(shí)時(shí)穩(wěn)定跟蹤。 1.4 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建 卷積神經(jīng)網(wǎng)絡(luò) （convolutional neural networks， CNNs） 是基于深度學(xué)習(xí)理論的一種人工神經(jīng)網(wǎng)絡(luò)，由于該網(wǎng)絡(luò) 可直接將圖像數(shù)據(jù)作為輸入，避免了圖像預(yù)處理和特征 抽取等復(fù)雜操作25。 LeNet-5 是一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò) 應(yīng)用案例，準(zhǔn)確性高、可用性強(qiáng)，已被美國(guó)多家銀行用 于支票手寫數(shù)字的識(shí)別26。 將每頭奶牛視為一種模式，奶牛個(gè)體識(shí)別即對(duì)某一 未知奶牛圖像進(jìn)行識(shí)別和匹配，其群體中奶牛的頭數(shù)為 識(shí)別模式的個(gè)數(shù)，該過程與手寫字符的識(shí)別相似，因此 LeNet-5 能夠應(yīng)用于奶牛個(gè)體識(shí)別。但是奶牛軀干圖像不 同于手寫數(shù)字圖像。首先，手寫圖像的有效信息集中在 圖像的字跡上，而奶牛軀干圖像的特征遍布于整個(gè)圖像 區(qū)域內(nèi)；其次，字符的特征主要為圖形的角點(diǎn)和定向邊 緣，而奶牛個(gè)體間的特征為圖像特定灰度值像素的形狀 和分布。此外，由于手寫數(shù)字的有效信息在圖像中的位 置是不確定的，因此要求網(wǎng)絡(luò)具有較強(qiáng)平移不變性，但 由目標(biāo)跟蹤得到奶牛軀干圖像的偏移量較小。手寫數(shù)字 識(shí)別與奶牛個(gè)體識(shí)別的側(cè)重點(diǎn)也不同，前者在于不同變 形下特定結(jié)構(gòu)的圖形特征提取與識(shí)別，后者在于不同光 照環(huán)境下的圖像重建與匹配?；谝陨戏治?，針對(duì)奶牛 軀干圖像和個(gè)體識(shí)別的特點(diǎn)，構(gòu)建適用于奶牛個(gè)體識(shí)別 的卷積神經(jīng)網(wǎng)絡(luò)。 本研究中，為減少數(shù)據(jù)量并保證輸入圖像的細(xì)節(jié)信 息， 將奶牛軀干圖像灰度化后通過插值計(jì)算變化為 4848 的圖像，并除以 255 歸一化后作為輸入數(shù)據(jù)。 采用 2 組卷積和下采樣層，由于軀干圖像基本不存 在扭轉(zhuǎn)、變形等影響，因此減少 2 個(gè)卷積層中特征圖的 數(shù)量，以提高網(wǎng)絡(luò)對(duì)圖像宏觀信息的利用率。下采樣時(shí) 對(duì)連接區(qū)域求均值得到輸出，不使用權(quán)重系數(shù)和閾值， 省略函數(shù)轉(zhuǎn)換過程。 奶牛個(gè)體識(shí)別中的信息匹配可以通過單層感知器實(shí) 現(xiàn)，在第 2 次下采樣后直接與輸出層連接，以大幅度簡(jiǎn) 化網(wǎng)絡(luò)中的感知層。本研究牛群中共有 30 頭奶牛，故輸 出層為 30 個(gè)感知器，與上一層全連接，輸出編碼采用 one-of-c 方式，即每種奶牛個(gè)體作為一個(gè)模式。 考慮到 sigmoid 函數(shù)有良好的非線性映射特性， 故變 換函數(shù)統(tǒng)一采用 sigmoid 函數(shù)。 網(wǎng)絡(luò)訓(xùn)練中學(xué)習(xí)率取為 1， 訓(xùn)練批大小為 50， 訓(xùn)練終止條件為代價(jià)函數(shù)值小于 0.01。 由于變換函數(shù)為 sigmoid 函數(shù)， 故網(wǎng)絡(luò)輸出為一個(gè)長(zhǎng)度為 30 的浮點(diǎn)型向量，將該向量中最大值置為 1，其余元素 置 0 作為網(wǎng)絡(luò)的輸出模式。若輸出模式與該輸入圖像的 真實(shí)模式不匹配，則表明識(shí)別錯(cuò)誤。 為進(jìn)一步確定卷積層特征圖最佳個(gè)數(shù)，對(duì)不同結(jié)構(gòu) 的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別準(zhǔn)確率及平均耗時(shí)試驗(yàn)，結(jié)果 表明，當(dāng)兩個(gè)卷積層中特征圖個(gè)數(shù)分別為 4 和 6 時(shí)，網(wǎng) 絡(luò)識(shí)別率和效率最高。最終本研究選取的卷積神經(jīng)網(wǎng)絡(luò) 的結(jié)構(gòu)如圖 3 所示。 注：C1、S2、C3 和 S4 分別為第 1 卷積層、第 2 下采樣層、第 3 卷積層和 第 4 下采樣層。 Note: C1, S2, C3, and S4 are the 1st convolutional layer, 2nd subsampling layer, 3rd convolutional layer, and 4th subsampling layer, respectively. 圖 3 奶牛個(gè)體識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)示意圖 Fig.3 Net architecture for individual cow discrimination C3 層與 S2 層之間通常采用不完全的連接機(jī)制，以 減少訓(xùn)練參數(shù)的數(shù)量，并破壞網(wǎng)絡(luò)的對(duì)稱性，保證提取 的特征具有變異性和互補(bǔ)性。根據(jù)非對(duì)稱和交錯(cuò)原則制 定的連接方式如表 1 所示。由表 1 第 1 列可知，C3 層第 1 個(gè)特征圖與 S2 層第 1 和第 2 特征圖連接，對(duì) C3 層中 相連接的區(qū)域進(jìn)行卷積操作，經(jīng)轉(zhuǎn)換函數(shù)后得到輸出。 農(nóng)業(yè)工程學(xué)報(bào) 2015 年 184 表 1 S2 層與 C3 層連接方式 Table 1 Connection pattern between S2 and C3 layer C3 層圖像 Maps in C3 S2 層圖像 Maps in S2 1 2 3 4 5 6 1 2 3 4 注：表示相連接。 Note: is connection. 卷積神經(jīng)網(wǎng)絡(luò)中，決定網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)為卷積層特 征圖個(gè)數(shù)和下采樣大小。為方便描述網(wǎng)絡(luò)結(jié)構(gòu)，用數(shù)字 結(jié)合字母表示網(wǎng)絡(luò)的基本參數(shù)， 分別以字母 p 和 a 表示網(wǎng) 絡(luò)中是否存在部分連接的特征層，因此本文的網(wǎng)絡(luò)結(jié)構(gòu) 可表示為 4c-2s-6c-2s-30o-p。 1.5 傳統(tǒng)圖像檢索方法 本研究中奶牛個(gè)體識(shí)別是典型的圖像檢索問題，即 在已建立索引的目標(biāo)圖像集合中找到與未知圖像相近的 圖像。為進(jìn)一步比較卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的圖像檢索方 法的優(yōu)劣，本文對(duì)圖像距離量度法27和尺度不變特征變 換匹配算法 （SIFT） 282 種常見的圖像索引方法進(jìn)行對(duì)比 研究。 圖像距離量度方法中通常先提取圖像的特征值序 列，然后計(jì)算待比較圖像與目標(biāo)圖像集合中各已知圖像 的距離值，選取與未知圖像距離最小的目標(biāo)圖像作為匹 配與識(shí)別的結(jié)果。本研究中，用圖像的灰度直方圖向量 （分段數(shù)為 10）和 LBP 紋理特征向量作為圖像的特征值 序列，用 Housdorff 距離量度方法29計(jì)算圖像間相近度。 在目標(biāo)圖像集合中，與未知圖像相近度值最高的圖像索 引值即為識(shí)別結(jié)果。 SIFT 是基于局部特征的圖像匹配算法，分為關(guān)鍵點(diǎn) 尋找和關(guān)鍵點(diǎn)匹配 2 個(gè)步驟30。對(duì)比試驗(yàn)中，算法的關(guān) 鍵參數(shù)取值見表 2。 兩幅圖像中成功匹配的關(guān)鍵點(diǎn)數(shù)量越 多，說明 2 幅圖像越相似，匹配度越高。 表 2 SIFT 算法中關(guān)鍵參數(shù)的選取 Table 2 Values of key parameters in SIFT method 參數(shù)描述 Parameters 數(shù)值 Values 參數(shù)描述 Parameters 數(shù)值 Values 尺度空間個(gè)數(shù) Number of octaves 4 空間分塊數(shù) Number of spatial bins 4 分層數(shù) Number of levels 3 方向分塊數(shù) Number of orient bins 8 點(diǎn)閾值 Point Threshold 0.03 圖像擴(kuò)充因子 Magnification 3 邊緣閾值 Edge Threshold 18 匹配閾值 Ratio Threshold 0.75 2 結(jié)果與分析 2.1 識(shí)別結(jié)果與分析 使用訓(xùn)練集樣本訓(xùn)練網(wǎng)絡(luò)，當(dāng)訓(xùn)練到第 10 次時(shí)，網(wǎng) 絡(luò)代價(jià)函數(shù)收斂至 0.0060。用測(cè)試樣本集中 90 段視頻共 計(jì) 21730 幅圖像對(duì)網(wǎng)絡(luò)進(jìn)行驗(yàn)證，結(jié)果如表 3 所示。由 表 3 可知，網(wǎng)絡(luò)能夠以較高的可靠性（準(zhǔn)確性 90.55%和 93.33%）識(shí)別出未知圖像或者視頻中的奶牛個(gè)體。同時(shí) 平均耗時(shí)短，能夠滿足實(shí)時(shí)識(shí)別的要求。 表 3 卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率及效率 Table 3 Discrimination rate and efficiency of CNNs 準(zhǔn)確率 Recognition rate/% 平均耗時(shí) Elapsed time/s 網(wǎng)絡(luò)結(jié)構(gòu) Net architecture 單幀 In frame 視頻段 In video 單幀 In frame 視頻段* In video 4c-2s-6c-2s-30o-p 90.55 93.33 0.0091 59.8550 注：*，軀干定位和跟蹤的用時(shí)。 Note: *, the time of body locating and tracking. 90 段測(cè)試視頻中 6 段視頻被誤識(shí)別，圖 4 顯示了發(fā) 生 3 次錯(cuò)誤交叉識(shí)別的 16 號(hào)和 30 號(hào)奶牛的軀干圖像。 由圖 4 可知，誤識(shí)別的主要原因在于奶牛軀干圖像過于 相似。圖像灰度化、插值變化、下采樣等操作均會(huì)損失 細(xì)節(jié)信息，導(dǎo)致網(wǎng)絡(luò)難以區(qū)別過于相似的圖像。同時(shí)， 當(dāng)奶牛軀干以白色或黑色為主體顏色時(shí)，可用于區(qū)分奶 牛個(gè)體的信息較少，易發(fā)生錯(cuò)誤識(shí)別。 圖 4 發(fā)生錯(cuò)誤交叉識(shí)別的奶牛軀干圖像 Fig.4 Body images of crisscross recognized cows 鑒于以上分析，為進(jìn)一步提高識(shí)別率，對(duì)于軀干圖 像比較接近，尤其是接近純色的奶牛個(gè)體，可以通過在 奶牛軀干上添加標(biāo)志符號(hào)的方法以增加個(gè)體特征信息， 以保證相似的奶牛個(gè)體間具有一定的差異度。 2.2 特征圖分析 與圖 3 中所示的網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)應(yīng)，圖 5 用灰度圖像 顯示了奶牛軀干圖像在卷積神經(jīng)網(wǎng)絡(luò)的卷積層和下采樣 層中對(duì)應(yīng)各個(gè)特征圖的變換結(jié)果， 各矩陣數(shù)據(jù)分布于 0 1 之間，數(shù)值 1 顯示為白色，0 顯示為黑色。 a. 卷積（全連接 ） b. 下采樣 c. 卷積(部分連接) d. 下采樣 a. Convolutions (full connection) b. Subsampling c. Convolutions (part connection) d. Subsampling 圖 5 卷積神經(jīng)網(wǎng)絡(luò)中各層的處理結(jié)果示例 Fig.5 Results in each layer of CNNs 第 5 期 趙凱旋等：基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法 185 通過比較圖 5 中 C1 層與輸入圖像可知， 卷積操作具 有平滑圖像的效果，能夠降低遮擋干擾、增強(qiáng)信號(hào)特征。 C1 和 C3 卷積層特征圖像將上層圖像映射到不同的灰度 值區(qū)間內(nèi)，實(shí)現(xiàn)自動(dòng)亮度調(diào)制，表明網(wǎng)絡(luò)所提取的特征 分布在不同的灰度空間域內(nèi)，該特性保證了網(wǎng)絡(luò)對(duì)于不 同光照條件的魯棒性。由于圖像像素間的相關(guān)性，故在 S2 和 S4 下采樣層對(duì)圖像進(jìn)行抽樣，可以減少數(shù)據(jù)處理 量，同時(shí)保留主要圖像信息，并提高網(wǎng)絡(luò)的抗畸變能力。 2.3 與傳統(tǒng)圖像檢索方法的比較 用卷積神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練集圖像作為圖像檢索的目 標(biāo)圖像集合，測(cè)試集圖像作為未知的圖像樣本，對(duì) 3 種 方法的性能進(jìn)行比較，奶牛個(gè)體識(shí)別的準(zhǔn)確率及耗時(shí)如 表 4 所示。 表 4 圖像檢索法與卷積神經(jīng)網(wǎng)絡(luò)奶牛個(gè)體識(shí)別結(jié)果比較 Table 4 Comparing of image indexing method and CNNs for individual discrimination of cows 方法 Methods 準(zhǔn)確率 Recognition rate/% 平均耗時(shí) Time/s 圖像距離度量法 Image comparing 32.95 0.2228 SIFT 匹配法 SIFT method 37.89 17.5247 卷積神經(jīng)網(wǎng)絡(luò) CNNs 90.55 0.0091 圖像距離度量法中，基于像素灰度值的圖像特征對(duì) 圖像變形、光線、視角等變化敏感，因此對(duì)于露天養(yǎng)殖 的奶牛個(gè)體識(shí)別準(zhǔn)確率較低。SIFT 方法較圖像距離量度 法精度有所提高，而且對(duì)于外表接近的奶牛也具有更高 的識(shí)別率， 說明SIFT方法具有較強(qiáng)的細(xì)節(jié)信息提取能力。 但 SIFT 方法的整體識(shí)別率仍偏低，這是由于某些復(fù)雜的 奶牛軀干圖像通常包含過多的冗余關(guān)鍵點(diǎn)，發(fā)生錯(cuò)誤匹 配的可能性也隨之增大。同時(shí)，本研究中奶牛養(yǎng)殖環(huán)境 復(fù)雜，在有前景遮擋的情況下，SIFT 方法的魯棒性下降。 由于 SIFT 方法的計(jì)算量大，當(dāng)奶牛群體較大時(shí)，難以實(shí) 現(xiàn)實(shí)時(shí)識(shí)別。綜上所述，卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的抗外 界干擾能力，且識(shí)別過程耗時(shí)短，對(duì)光線變化、前景遮 擋均具有較高的魯棒性。但卷積神經(jīng)網(wǎng)絡(luò)方法對(duì)于接近 純色的相似奶牛圖像的細(xì)節(jié)信息提取能力處于圖像距離 度量法和 SIFT 方法之間。 3 結(jié) 論 1）幀間差值法能夠檢測(cè)奶牛的運(yùn)動(dòng)邊緣及粗略輪 廓。對(duì)輪廓的二值圖像進(jìn)行分段跨度分析，可以剔除尾 巴、頭部以得到軀干區(qū)域。 2）基于二值圖像比對(duì)的模塊跟蹤方法能夠?qū)崿F(xiàn)奶牛 在復(fù)雜環(huán)境中的時(shí)實(shí)準(zhǔn)確跟蹤，較 Meanshift 方法具有更 強(qiáng)的抗背景干擾能力。以非重疊區(qū)域與重疊區(qū)域的面積 比作為圖像比較的評(píng)價(jià)值，能夠快速準(zhǔn)確的在新一幀圖 像中定位目標(biāo)區(qū)域。 3）構(gòu)建 4c-2s-6c-2s-30o 結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，對(duì) 90 段視頻共 21730 幅圖像的識(shí)別結(jié)果表明，單幅圖像的識(shí) 別率為 90.55%，視頻段的識(shí)別率為 93.33%。網(wǎng)絡(luò)對(duì)環(huán)境 光變化和小區(qū)域前景遮擋有較強(qiáng)的魯棒性。測(cè)試樣本和 訓(xùn)練樣本沒有重疊，表明網(wǎng)絡(luò)具有較強(qiáng)的泛化能力。 與其他圖像檢索方法相比，卷積神經(jīng)網(wǎng)絡(luò)具有耗時(shí) 短、 魯棒性高的優(yōu)點(diǎn)， 但圖像細(xì)節(jié)信息分辨能力低于 SIFT 方法。今后的研究中可將 SIFT 方法得到的關(guān)鍵點(diǎn)的方向 參數(shù)作為網(wǎng)絡(luò)的輸入，以提高網(wǎng)絡(luò)對(duì)于純色奶牛軀干圖 像的特征提取能力，進(jìn)一步提高奶牛個(gè)體識(shí)別的準(zhǔn)確率。 參 考 文 獻(xiàn) 1 王玲，王超峰，鄭奎. 基于 ARM 的蛋雞養(yǎng)殖場(chǎng)網(wǎng)絡(luò)視頻 監(jiān)控系統(tǒng)設(shè)計(jì)J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(2)：186191. Wang Ling, Wang Chaofeng, Zheng Kui. Design and implementation of network video surveillance system for laying hens farm based on ARMJ. Transactions of the Chinese Society of Agricultural Machinery (Transactions of the CSAM), 2012, 43(2): 186191.(in Chinese with English abstract) 2 朱偉興，浦雪峰，李新城，等. 基于行為監(jiān)測(cè)的疑似病豬 自動(dòng)化識(shí)別系統(tǒng)J. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(1)：188 192. Zhu Weixing, Pu Xuefeng, Li Xincheng, et al. Automatic identification system of pigs with suspected case based on behavior monitoringJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(1): 188192.(in Chinese with English abstract) 3 紀(jì)濱，朱偉興，劉波，等. 基于脊腹線波動(dòng)的豬呼吸急促 癥狀視頻分析J. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(1)：191195. Ji Bin, Zhu Weixing, Liu Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomeJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 191 195.(in Chinese with English abstract) 4 朱偉興，紀(jì)濱，秦鋒. 基于偽球算子邊緣模型的豬前景幀 檢測(cè)J. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(12)：189194. Zhu Weixing, Ji Bin, Qin Feng. Detection of foreground-frame of pig using edge model based on pseudosphere-operatorJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(12): 189194.(in Chinese with English abstract) 5 趙凱旋，何東健，王恩澤. 基于視頻分析的奶牛呼吸頻率 與異常檢測(cè)J. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(10)：258263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysisJ. Transactions of the Chinese Society of Agricultural Machinery (Transactions of the CSAM), 2014, 45(10): 258263.(in Chinese with English abstract) 6 Viazzi S, Bahr C, Schlageter-Tello A, et al. Analysis of individual classification of lameness using automatic measurement of back posture in dairy cattleJ. Journal of Dairy Science, 2013, 96(1): 257266. 7 Porto S, Arcidiacono C, Anguzza U, et al. A computer vision-based system for the automatic detection of lying 農(nóng)業(yè)工程學(xué)報(bào) 2015 年 186 behaviour of dairy cows in free-stall barnsJ. Biosystems Engineering, 2013, 115(2): 184194. 8 Viazzi S, Bahr C, Van Hertem T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cowsJ. Computers and Electronics in Agriculture, 2014, 100(1): 139 147. 9 Yajuvendra S, Lathwal S S, Rajput N, et al. Effective and accurate discrimination of individual dairy cattle through acoustic sensingJ. Applied Animal Behaviour Science, 2013, 146(1-4): 1118. 10 龐超，何東健，李長(zhǎng)悅，等. 基于 RFID 與 WSN 的奶牛養(yǎng) 殖溯源信息采集與傳輸方法J. 農(nóng)業(yè)工程學(xué)報(bào)，2011， 27(9)：147152. Pang Chao, He Dongjian, Li Zhangyue, et al. Method of traceability information acquisition and transmission for dairy cattle based on integrating of RFID and WSNJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(9): 147 152.(in Chinese with English abstract) 11 耿麗微，錢東平，趙春輝. 基于射頻技術(shù)的奶牛身份識(shí)別 系統(tǒng)J. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(5)：137141. Geng Liwei, Qian Dongping, Zhao Chunhui. Cow identification technology system based on radio frequencyJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(5): 137 141.(in Chinese with English abstract) 12 郭衛(wèi)，錢東平，王輝，等. 奶牛身份射頻識(shí)別系統(tǒng)的防沖 突技術(shù)J. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(11)：222225. Guo Wei, Qian Dongping, Wang Hui, et al. Anti-collision technique in the radio-frequency identification system for dairy cattleJ. Transaction of the Chinese Society of Agricultural Engineering