“集成學(xué)習(xí)在增量學(xué)習(xí)中的應(yīng)用”調(diào)研報告

#“集成學(xué)習(xí)在增量學(xué)習(xí)中的應(yīng)用”調(diào)研報告基于負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)集成的增量學(xué)習(xí)及其在人臉檢測方面的應(yīng)用姓名：于宏皓學(xué)號：11201519501、應(yīng)用領(lǐng)域當(dāng)今社會，信息安全與個人隱私越來越重要，傳統(tǒng)的身份認(rèn)證方法存在著不可靠性，利用人體特征進(jìn)行識別具有更高的可靠性。與虹膜指紋相比，人臉識別有著直觀，隱蔽，友好等優(yōu)勢。通過人臉檢測，人臉定位并抽取人臉圖，人臉特征識別完成身份認(rèn)證，所以人臉識別是一種理想的生物識別技術(shù)。2、要解決的關(guān)鍵問題隨著技術(shù)的發(fā)展，數(shù)據(jù)量爆炸式的增長，傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要同時處理所有的數(shù)據(jù)，使存儲代價和計算代價越來越高，沒有考慮到學(xué)習(xí)環(huán)境的改變和繼續(xù)學(xué)習(xí)的情況。所以在這種情況下，增量學(xué)習(xí)有著廣闊的應(yīng)用前景，但卻缺少實際應(yīng)用的例子。這篇文章提出的負(fù)相關(guān)學(xué)習(xí)是一種有效構(gòu)建神經(jīng)網(wǎng)絡(luò)集成的算法，具有神經(jīng)網(wǎng)絡(luò)和集成算法的雙重優(yōu)點，因此在增量學(xué)習(xí)方面具有獨特的優(yōu)勢。這篇文章嘗試將增量學(xué)習(xí)應(yīng)用到人臉檢測中，以解決其完備訓(xùn)練庫難以獲取的問題使人臉檢測器的性能得以提高。3、算法的核心思想該算法由演化算法確定固定式NCL的初始參數(shù)，是基于神經(jīng)網(wǎng)絡(luò)集成的NCL增量學(xué)習(xí)算法，設(shè)計和訓(xùn)練了一個基于NCL的增量人臉檢測器。集成學(xué)習(xí)是將多個不同的模型以某種方式組合在一起，其目的是利用這些單個模型的差異，來提高整個集合的泛化性能。神經(jīng)網(wǎng)絡(luò)由于其具有自學(xué)習(xí)的能力，不需要人們特別設(shè)置就能夠主動生成具有一定差異性的學(xué)習(xí)器，因此神經(jīng)網(wǎng)絡(luò)集成成為當(dāng)前最常用的集成方法之一。6input0匕??ensembleoutputcombinenetworkoutputs6input0匕??ensembleoutputcombinenetworkoutputs神經(jīng)網(wǎng)絡(luò)集成networkNWJ71Unetwork1W7Xk負(fù)相關(guān)學(xué)習(xí)(NegativeCorrelationLearning，NCL)是一種有效構(gòu)建神經(jīng)網(wǎng)絡(luò)集成的方法，通過在神經(jīng)網(wǎng)絡(luò)集成中各個體網(wǎng)絡(luò)的誤差函數(shù)中引入一個相關(guān)性懲罰項來并發(fā)的訓(xùn)練這些個體網(wǎng)絡(luò)，試圖在同一個學(xué)習(xí)過程中來訓(xùn)練和組合各個體網(wǎng)絡(luò)，目的使整個神經(jīng)網(wǎng)絡(luò)集成取得最好的訓(xùn)練效果。負(fù)相關(guān)學(xué)習(xí)能夠在保證精確度的同時，促進(jìn)個體網(wǎng)絡(luò)間的差異性，所以其在增量學(xué)習(xí)中有著天然的優(yōu)勢。演化計算使負(fù)相關(guān)學(xué)習(xí)系統(tǒng)自動調(diào)節(jié)參數(shù)，使之自動適應(yīng)不同的數(shù)據(jù)集和其增量形式，被證明是提高學(xué)習(xí)系統(tǒng)性能的一種有效的方法和策略。4、實驗數(shù)據(jù)及實驗結(jié)果分析對于人臉檢測來說，一般關(guān)注兩個指標(biāo)，人臉檢測率，即檢測出來的人臉和人臉總數(shù)的比率，錯誤檢測數(shù)，即有多少的非人臉被當(dāng)成是人臉檢測出來了増堆庫初訓(xùn)紅庫増堆庫初訓(xùn)紅庫初始參數(shù)佛定非人竝〔鈿二HAJ.4即址或人脅分類薄芒計増簾學(xué)習(xí)本文提出的算法在分類器上與傳統(tǒng)算法不同，分類器的訓(xùn)練是一個增量的過程，訓(xùn)練樣本的加入是逐漸加入訓(xùn)練的?？梢怨?jié)省樣本收集的時間。實驗的準(zhǔn)備階段，進(jìn)行了神經(jīng)網(wǎng)絡(luò)特征值選擇、人臉樣本的采集及設(shè)定、非人臉圖片的采集以及圖片預(yù)處理和后處理。測試庫選擇了CMU-MIT測試庫的NEWTEST測試集，包含65張圖片共183幅人臉。袤42初始訓(xùn)綁際的檢泗效宋相郞;t比畫垃「止確檜泄人礬和讎數(shù)113471.2%>200L—?11462.3%73初始人臉檢測器的誤檢數(shù)較大。^13堆駐學(xué)習(xí)后的檢灑效果相哪矩題閾值正確橙測人臉數(shù)謀檢數(shù)213774,9%79進(jìn)行10輪增量學(xué)習(xí)后，相鄰矩形閾值同為2時的誤檢數(shù)大幅降低，檢測率也有較大提升。說明分類器的性能隨著增量學(xué)習(xí)的過程有了較大的提高。實驗結(jié)果也驗證了增量學(xué)習(xí)的效果。5、結(jié)論增量算法在原來學(xué)習(xí)的基礎(chǔ)上學(xué)習(xí)新數(shù)據(jù)，這使得他在處理海量數(shù)據(jù)時特別有效。而神經(jīng)網(wǎng)絡(luò)集成在增量學(xué)習(xí)應(yīng)用上有著天然的優(yōu)勢，負(fù)相關(guān)學(xué)習(xí)是一種通過引入懲罰因子來實現(xiàn)神經(jīng)網(wǎng)絡(luò)的算法，并已被用于增量學(xué)習(xí)，取得良好的效果。本文設(shè)計和實現(xiàn)了一種基于NCL的增量式人臉識別系統(tǒng)，并用實驗結(jié)果驗證