《基于極限學(xué)習(xí)機(jī)的高光譜圖像分類方法研究【論文17000字】》

基于極限學(xué)習(xí)機(jī)的高光譜圖像分類方法研究目錄TOC\o"1-3"\h\u301401緒論 1105581.1研究背景和意義 159881.2國內(nèi)外現(xiàn)狀 239331.2.1高光譜圖像分類現(xiàn)狀 227851.2.2極限學(xué)習(xí)機(jī)及其在高光譜圖像分類中的應(yīng)用現(xiàn)狀 4117691.3本文主要研究內(nèi)容 410192高光譜圖像分類基礎(chǔ) 59052.1高光譜圖像分類原理 54642.2主成分分析 6192202.3極限學(xué)習(xí)機(jī) 8128422.3.1單隱層前饋神經(jīng)網(wǎng)絡(luò) 8181002.3.2極限學(xué)習(xí)機(jī) 10134132.3.3核極限學(xué)習(xí)機(jī) 1239213基于判別信息的復(fù)合核極限學(xué)習(xí)機(jī)用于高光譜圖像分類 12247703.1線性判別分析 1269723.2復(fù)合核極限學(xué)習(xí)機(jī)算法 1479643.3CKELM-L算法 16313683.4實(shí)驗(yàn)結(jié)果分析 17287473.4.1IndianPines數(shù)據(jù)集實(shí)驗(yàn)結(jié)果 17326053.4.2PaviaUniversity數(shù)據(jù)集實(shí)驗(yàn)結(jié)果 19101853.4.3SalinasScene數(shù)據(jù)集實(shí)驗(yàn)結(jié)果 21311194局部二值模式信息保持極限學(xué)習(xí)機(jī) 23325934.1LBP特征提取算法 23103034.2LLPKELM算法 27154974.3實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置 28228764.4實(shí)驗(yàn)結(jié)果與分析 2884464.4.1IndianPines圖像數(shù)據(jù)實(shí)驗(yàn)結(jié)果 28118274.4.2UniversityofPavia圖像數(shù)據(jù)實(shí)驗(yàn)結(jié)果 29243125結(jié)論 3030062參考文獻(xiàn) 311緒論1.1研究背景和意義近年來，由于高光譜數(shù)據(jù)具有特殊的特征，包含了特定地理場景中物質(zhì)的豐富光譜和空間信息，鑒于高光譜圖像的分析和處理已成為遙感圖像研究和開發(fā)中的熱點(diǎn)；而高光譜圖像分類的任務(wù)之所以受到更多關(guān)注，主要是因?yàn)橛糜谵r(nóng)業(yè)監(jiān)測的高光譜遙感圖像的分類，國防與軍事、城市增長分析、環(huán)境保護(hù)等。這是非常重要的。與其他光譜結(jié)構(gòu)一樣，高光譜成像從整個(gè)電磁光譜中收集和處理信息。高光譜成像主要用于獲取探測區(qū)域圖像中所有像素的光譜。其目的是尋找物體，識(shí)別材料或檢測程序。超光譜傳感器可以使用大量波段同時(shí)表示識(shí)別區(qū)域，該區(qū)域真正將光譜信息連接到圖像，每一卷都包含豐富的空間和光譜附加信息。它以不同的曲線記錄不同類型的物體或地形特征，以便使用高光譜成像，研究人類表面的物理或地形特征。高光譜圖像可以被視為三維數(shù)據(jù)立方體，與傳統(tǒng)RGB-3通道圖像最大的區(qū)別在于，高光譜圖像有數(shù)百個(gè)通道，高光譜圖像的數(shù)據(jù)特征一般如下：波段相關(guān)性：高光譜圖像附近的波段具有很強(qiáng)的相關(guān)性，即波段之間的距離越近，波段信息值越相似，通過這些特性，我們可以分析圖像中的一些隱藏特性，區(qū)分具有相似波段信息的不同土壤對象。高分辨率：高光譜圖像的光譜分辨率通常很高。在相同的波長范圍內(nèi)，高光譜圖像可以比多光譜圖像在更多的波段中描繪，使得高光譜圖像可以接收例如每個(gè)像素的連續(xù)光譜信息，從而保證光譜信息的完整性。大量數(shù)據(jù)：高光譜圖像通常有數(shù)百個(gè)光譜波段，因此包含大量光譜信息。大量光譜信息可以為我們提供非常豐富的特性，這將非常有助于高光譜圖像的分類。光譜可變性：高光譜圖像具有光譜可變性的特征，即屬于同一類別的不同像素可能具有不同的光譜特性，由于高光譜圖像的每個(gè)像素都反映了不同波段圖像中地物單元的光譜信息，這也給分類帶來了一些困難。高光譜圖像中的像素越接近同一類別，為了盡可能減少光譜變化對分類的影響，必須提取高光譜圖像的空間信息的可能性越大。因此，本文還側(cè)重于地理信息。特別是由于高分辨率、多波段、多信息和“地圖集集成”的特點(diǎn)在高光譜圖像中，高光譜成像技術(shù)已經(jīng)成為光譜成像領(lǐng)域中應(yīng)用最廣泛、價(jià)值最高的技術(shù)，目前，高光譜成像技術(shù)在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用。例如，在農(nóng)業(yè)領(lǐng)域，越來越多地使用高光譜遙感監(jiān)測某些作物和氣候條件下的植物生長和健康。雖然維護(hù)高光譜圖像的成本通常很高，但澳大利亞使用成像光譜儀檢測葡萄品種，并開發(fā)疾病爆發(fā)的早期預(yù)警系統(tǒng)。此外，正在開展檢測植物化學(xué)成分的工作，通過高光譜數(shù)據(jù)，可用于檢測灌溉系統(tǒng)中小麥的營養(yǎng)和水分狀況。在小尺度上，近紅外高光譜成像可用于快速監(jiān)測殺蟲劑對單個(gè)種子的施用情況，控制最佳劑量和均勻覆蓋。在食品加工行業(yè)，高光譜成像和智能軟件的結(jié)合使數(shù)字分揀機(jī)（也稱為光學(xué)分揀機(jī)）能夠識(shí)別和清除錯(cuò)誤和異物，食品加工商的目標(biāo)是提高產(chǎn)品質(zhì)量和產(chǎn)量。在天文學(xué)中，高光譜成像用于提高誤差的準(zhǔn)確性和與調(diào)頻的距離。因?yàn)楣庾V是一種重要的診斷方法，每個(gè)像素都有一個(gè)光譜，可以解決更多的科學(xué)問題。在天文學(xué)中，這項(xiàng)技術(shù)通常被稱為積分場光譜學(xué)，這項(xiàng)技術(shù)的例子是交響樂中的火焰和大型望遠(yuǎn)鏡。錢德拉X射線天文臺(tái)也使用先進(jìn)的CCD成像光譜儀。在環(huán)境保護(hù)方面，大多數(shù)國家要求持續(xù)監(jiān)測煤油廠、城市和危險(xiǎn)廢物焚燒廠的排放物，水泥裝置和許多其他類型的工業(yè)來源。這種監(jiān)測通常通過萃取取樣系統(tǒng)和紅外光譜進(jìn)行。盡管由于數(shù)據(jù)的特點(diǎn)和遙感技術(shù)的限制，高光譜圖像中完整的附加信息和高分辨率為高光譜圖像分類提供了可能性，高光譜圖像分類存在以下問題：第一，由于高光譜數(shù)據(jù)包含豐富的信息，它對信息冗余和復(fù)雜的數(shù)據(jù)處理提出了重大挑戰(zhàn)。因此，有效的特征提取仍然是研究的熱點(diǎn)。第二，真實(shí)樣本標(biāo)簽和數(shù)據(jù)質(zhì)量的高成本。特別是，大量的光譜通道和少量的標(biāo)記訓(xùn)練模式存在休斯現(xiàn)象的問題。因此，存在培訓(xùn)數(shù)據(jù)可能被過度調(diào)整的風(fēng)險(xiǎn)。第三，現(xiàn)有的許多高光譜圖像分類方法雖然在分類精度和分類性能上都有很好的表現(xiàn)，但仍難以滿足應(yīng)用的要求，因此探尋新的分類方法，提高分類精度與分類效率，仍然具有重要的實(shí)用價(jià)值。1.2國內(nèi)外現(xiàn)狀1.2.1高光譜圖像分類現(xiàn)狀高光譜圖像分類的任務(wù)是識(shí)別區(qū)分成像光譜儀采集到的圖像中所包含的多個(gè)地物目標(biāo)。對于每個(gè)像元，根據(jù)其對應(yīng)波段的光譜信息以及空間圖像的紋理結(jié)構(gòu)等空間信息，將該像元按照某種規(guī)則的約束分配一個(gè)對應(yīng)某種地物的類別標(biāo)簽。高光譜圖像分類主要根據(jù)如下理論：在相同或相似的自然條件（如光照、地形或者植被覆蓋等）下，高光譜圖像中同類地物所對應(yīng)的像元擁有的光譜信息和空間分布信息應(yīng)該是相似甚至相同的，不同類別的地物所對應(yīng)的像元反映的數(shù)據(jù)信息之間的差異應(yīng)該很大。而這種類內(nèi)相似性和類間差異性在高光譜圖像中的具體體現(xiàn)是同一種類別的地物對應(yīng)的像元所包含的信息向量會(huì)向同一信息空間區(qū)域聚集，反之，不同類別的地物多對應(yīng)的像元所包含的信息向量會(huì)向不同的信息空間區(qū)域聚集。一直以來，國內(nèi)外研究學(xué)者對于高光譜圖像分類技術(shù)做出了大量的研究，成果也非常多。已經(jīng)提出了許多基于像素的光譜分類方法，例如支持向量機(jī)（SupportVectorMachine，SVM）（Melganietal.，2004），神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，NN）（Ratleetal.，2010）和主動(dòng)學(xué)習(xí)（ActiveLearning，AL）（Bioucasetal.，2011）。然而，上述分類器僅考慮光譜信息，因此，當(dāng)只有很少的標(biāo)記樣本時(shí)，由于休斯現(xiàn)象，大多數(shù)分類器均無法獲得令人滿意的分類性能。而最近的研究表明，充分利用空間特征可以有效地改善分類結(jié)果。Zhouetal.（2015）提出了一種針對高光譜數(shù)據(jù)的DR的空間和光譜正則化局部判別嵌入方法。Sunetal.（2015）開發(fā)了一種利用光譜空間信息對高光譜圖像進(jìn)行分類的新方法。Lietal.（2015）提出了一種新的光譜空間分類策略，通過整合旋轉(zhuǎn)森林和馬爾可夫機(jī)場（MarkovRandomField，MRF）來增強(qiáng)在高光譜圖像上獲得的分類性能。Fangetal.（2014）提出了一種新的框架，用于多特征學(xué)習(xí)，它基于不同類型（線性和非線性）特征的集成。Kangetal.（2014）提出了利用保留邊緣濾波的光譜空間高光譜圖像分類方法，該方法結(jié)合了光譜空間特征對高光譜圖像進(jìn)行分類。Lietal.（2015）提出了用于高光譜圖像分類的多特征學(xué)習(xí)方法。最近，Zhouetal.（2016）提出了一種光譜空間網(wǎng)絡(luò)，它是一種深度層次模型，用于HSI分類。近年來，深度學(xué)習(xí)模型在遙感研究領(lǐng)域引起了很多關(guān)注。許多研究人員已嘗試將深層網(wǎng)絡(luò)應(yīng)用于HSI分類由于具有提取重要特征的能力。例如，Chenetal.（2014）通過使用多層堆疊將深度框架應(yīng)用于HSI分類自動(dòng)編碼器（SAE），以提取HSI的層次結(jié)構(gòu)和強(qiáng)大功能。Romeroetal.（2016）提出了一種無監(jiān)督學(xué)習(xí)的稀疏特征使用貪婪的分層無監(jiān)督預(yù)訓(xùn)練算法。Songetal.（2018）提出了特征融合網(wǎng)絡(luò)（DFFN）來提取HSI的更多區(qū)分特征。但是，這些方法通常僅在少數(shù)情況下會(huì)導(dǎo)致過度擬合現(xiàn)象。提供了訓(xùn)練樣本的數(shù)量。因此，缺乏大量的標(biāo)記樣本是基于深度學(xué)習(xí)的分類方法的主要挑戰(zhàn)。1.2.2極限學(xué)習(xí)機(jī)及其在高光譜圖像分類中的應(yīng)用現(xiàn)狀限學(xué)習(xí)機(jī)又稱超限學(xué)習(xí)機(jī)，它是一種神經(jīng)網(wǎng)絡(luò)模型。極限學(xué)習(xí)機(jī)的本質(zhì)是，隱藏節(jié)點(diǎn)的學(xué)習(xí)參數(shù)（包括輸入權(quán)重和偏差）是隨機(jī)分配的，無需調(diào)整，而輸出權(quán)重可以通過簡單的廣義逆運(yùn)算來分析確定。需要定義的唯一參數(shù)是隱藏節(jié)點(diǎn)的數(shù)量。提供了更快的學(xué)習(xí)速度，更好的泛化性能以及最少的人工干預(yù)。近年來，極限學(xué)習(xí)機(jī)因其程序簡單，訓(xùn)練速度快，泛化能力強(qiáng)等優(yōu)點(diǎn)，吸引廣大專家學(xué)者對其進(jìn)行了廣泛的研究。Huangetal.（2006）提出了一種增量式極限學(xué)習(xí)機(jī)（I-ELM）構(gòu)造增量前饋網(wǎng)絡(luò)。I-ELM將節(jié)點(diǎn)隨機(jī)添加到隱藏層一份一份地凍結(jié)現(xiàn)有的輸出權(quán)重添加新的隱藏節(jié)點(diǎn)時(shí)隱藏的節(jié)點(diǎn)。并且，Huang等人在I-ELM的基礎(chǔ)上，提出了凸I-ELM（CI-ELM）和增強(qiáng)的I-ELM（EI-ELM）。與I-ELM不同，CI-ELM（Huangetal.，2007）重新計(jì)算了輸出新的隱藏節(jié)點(diǎn)之后現(xiàn)有的隱藏節(jié)點(diǎn)的權(quán)重加入。CI-ELM可以實(shí)現(xiàn)更快的收斂速度以及比I-ELM更緊湊的網(wǎng)絡(luò)架構(gòu)，保持I-ELM的簡單性和效率。目前，極限學(xué)習(xí)機(jī)己經(jīng)開始應(yīng)用于高光譜遙感圖像分類之中。Lvetal.（2017）提出了一種基于極限學(xué)習(xí)機(jī)（ELM）神經(jīng)網(wǎng)絡(luò)集成的遙感圖像分類算法，即SAE-ELM。該算法不僅在低分辨率，中分辨率，高分辨率和高光譜遙感圖像上具有較高的分類精度，而且具有較強(qiáng)的穩(wěn)定性和推廣性。Suetal.（2016）提出了一個(gè)新的城市土地覆蓋分類框架，該框架使用了經(jīng)過優(yōu)化的算法（FA）優(yōu)化的極限學(xué)習(xí)機(jī)（ELM）。采用FA來優(yōu)化正則化系數(shù)C用于內(nèi)核ELM。研究表明該方法優(yōu)于傳統(tǒng)的如SVM之類的分類方法。Bzaietal.（2014）開發(fā)了基于自動(dòng)解決方案的差分進(jìn)化（DE）。這種簡單而強(qiáng)大的進(jìn)化優(yōu)化算法將交叉驗(yàn)證的準(zhǔn)確性用作確定最佳ELM參數(shù)的性能指標(biāo)。1.3本文主要研究內(nèi)容HSI中存在著大量的數(shù)據(jù)信息，所以對于如何準(zhǔn)確靈驗(yàn)地提取數(shù)據(jù)中所具備的特征，在HSI的分類學(xué)習(xí)中顯示出至關(guān)重要的地位。但基于內(nèi)核的ELM在有監(jiān)督的HSI分類中存在著學(xué)習(xí)不充分、缺乏對空間信息的有效提取等問題。本文主要從抑制椒鹽噪聲，彌補(bǔ)學(xué)習(xí)不充分，有效提取空間信息與光譜信息進(jìn)行結(jié)合，彌補(bǔ)空間信息提取不充分的問題進(jìn)行研究創(chuàng)新，以下為本文的主要研究內(nèi)容：（1）針對極限學(xué)習(xí)機(jī)及其改進(jìn)算法未充分考慮高光譜圖像分布信息中的判別特征和數(shù)據(jù)中的局部幾何結(jié)構(gòu)，提出了一種有監(jiān)督的光譜空間特征提取算法，基于判別信息的復(fù)合核極限學(xué)習(xí)機(jī)算法(CKELM-L)。所提出的算法分兩個(gè)步驟實(shí)施。第一步，采用線性判別分析方法獲取樣本的光譜特征，以計(jì)算投影矩陣。在第二步中，采用內(nèi)核方法獲取樣本的空間特征。最后，將提取的特征提供給極限學(xué)習(xí)機(jī)進(jìn)行分類。（2）針對在HSI的分類任務(wù)中，很多分類算法都沒有很充分地提取圖像所包含的空間信息的問題，我們提出一種新的局部二值模式信息保持極限學(xué)習(xí)機(jī)（LLPKELM）。該算法采用局部二值模式來提取局部圖像特征，從而獲取到高光譜遙感圖像更為豐富的紋理信息，提高其分類精度。本文選擇在兩組常用的IndianPines和UniversityofPavia高光譜數(shù)據(jù)集上來進(jìn)行實(shí)驗(yàn)，與傳統(tǒng)的分類算法SVM和目前較為流行的分類算法KELM，KCRT-CK，MLR和LPKELM相比，該算法表現(xiàn)了更好的分類效果。2高光譜圖像分類基礎(chǔ)2.1高光譜圖像分類原理高光譜分辨率高，波段眾多，研究表明，大多數(shù)地物的吸收特征在吸收峰深度一半的位置，其寬度為20-40nm。又因?yàn)槌上窆庾V系統(tǒng)的光譜分辨率高達(dá)5-10nm，因此高光譜能輕松的探測到很多在寬波段遙感中無法探測到的物質(zhì)。并且當(dāng)空間分辨率相同的情況下，遙感器能覆蓋更寬的波長范圍，不僅僅是可見光，亦能覆蓋中紅外光和熱紅外光。又由于地物對電磁波的響應(yīng)特征成正比，要想探測到更多的地物，就需要覆蓋范圍更寬的光譜。由于高光譜圖像數(shù)據(jù)的這些特點(diǎn)，因此可以利用高光譜圖像來對地物目標(biāo)進(jìn)行精準(zhǔn)識(shí)別分類(張兵等，2011)。高光譜圖像分類是以圖像像元的光譜與空間特性為基礎(chǔ)的，因?yàn)椴煌悇e的地物的反射光譜和空間特性都是不同的。不同的地物類型的高光譜圖像，如水體、植被、巖石和土壤等，有著不同的光譜信息和空間特性，如圖2-1所示。先對不同類別的地物進(jìn)行不同的標(biāo)記劃分，再通過對圖像中不同地物的光譜信息和幾何空間信息進(jìn)行分析，找到最合適的劃分特征，再利用合適的分類系統(tǒng)，達(dá)到分類的目的，這便是高光譜圖像分類。圖2-1高光譜不同地物數(shù)據(jù)獲取示意圖2-2給出了高光譜圖像監(jiān)督分類方法的基本流程框架：第一步考慮用戶需求，圖像中地物的分辨率、尺度等因素進(jìn)行高光譜數(shù)據(jù)的選??；第二步通過輻射糾正、大氣校正等技術(shù)進(jìn)行圖像的預(yù)處理，獲取地物正確的光譜信息和幾何信息；第三步圖像數(shù)據(jù)特征或需求目的對地物種類進(jìn)行確定；第四步選擇足夠多且具有代表性的典型數(shù)據(jù)作為訓(xùn)練樣本；第五步對選擇的訓(xùn)練數(shù)據(jù)進(jìn)行特征提取和特征選擇，好的特征對分類的精度和速度都有很大的提升；第六步根據(jù)具體的場景具體的訓(xùn)練數(shù)據(jù)的特點(diǎn)進(jìn)行分類方法的選擇；第七步對分類后的結(jié)果進(jìn)行降噪等處理；第八步進(jìn)行分類結(jié)果的評價(jià)。圖2-2高光譜圖像分類方法基本流程2.2主成分分析主成分分析法（PCA）是機(jī)器學(xué)習(xí)領(lǐng)域中經(jīng)典的數(shù)據(jù)降維方法，同樣在高光譜圖像分類研究中，PCA技術(shù)也常被用于高光譜圖像數(shù)據(jù)的預(yù)處理。顧名思義，PCA能從冗余特征中提取主要成分，在不太損失模型質(zhì)量的情況下，提升了模型訓(xùn)練速度。主成分分析基于以下事實(shí)：高光譜圖像的相鄰波段高度相關(guān)，并且通常傳達(dá)有關(guān)對象的幾乎相同的信息。該分析用于轉(zhuǎn)換原始數(shù)據(jù)，以消除頻段之間的相關(guān)性。在該過程中，確定了考慮圖像中像素值變化的原始波段的最佳線性組合。PCA利用高光譜波段的統(tǒng)計(jì)特性來檢查波段依賴性或相關(guān)性。雖然，可能會(huì)發(fā)現(xiàn)PCA的許多同義詞，例如Hotellling變換或Karhunen-Loeve變換（Gonzalezetal.，1993），但所有這些變換都是基于相同的數(shù)學(xué)原理，即特征值分解給定的協(xié)方差矩陣。以下是該原則的簡要表述?？梢栽赟chowengerdtetal.（1997）中找到詳細(xì)討論。圖像像素矢量的計(jì)算公式為：（2-1）所有像素值都位于高光譜圖像數(shù)據(jù)的一個(gè)對應(yīng)像素位置。該圖像向量的維數(shù)等于高光譜帶的數(shù)量N,對于具有m行和n列的高光譜圖像，將有M=m?n個(gè)這樣的向量，即i=1,…,M。所有圖像向量的均值向量u表示為：（2-2）X的協(xié)方差矩陣定義為：（2-3）其中：E（X）是期望運(yùn)算；[X]T是轉(zhuǎn)置運(yùn)算；Cov(X)表示協(xié)方差矩陣。協(xié)方差矩陣通過以下計(jì)算近似：（2-4）PCA基于協(xié)方差矩陣的特征值分解，其形式為：（2-5）其中，（2-6）是對角矩陣，由協(xié)方差矩陣CX的特征值λ1，λ2,…，λN組成，而A是正交矩陣，由CX的相應(yīng)N維特征向量aK(K=1,2,…,N)組成，如下所示：（2-7）線性變換定義為：（2-8）是PCA像素向量，所有這些像素向量形成原始圖像的PCA（變換后的）波段。為了使λ1>λ2>…>λN，特征向量和特征值需得按降序排列。因此，矩陣AT的前K行（K≤N，通常為K?N）行，即前K個(gè)特征向量(j=1,2,…,N)可以按以下方式用于計(jì)算原始圖像的近似值：（2-9）其中像素向量?將形成PCA圖像的前K個(gè)波段。經(jīng)此變化形成的PCA波段，擁有最高的對比度或方差的波段是第一波段，而具有最低的對比度或方差的波段是最后一個(gè)波段。如此一來，原始高光譜圖像中的大部分信息都在前K個(gè)PCA波段之中，并且可以減少了圖像帶的數(shù)量和所涉及的圖像噪聲量，因此可用于更有效，更準(zhǔn)確的分析。2.3極限學(xué)習(xí)機(jī)2.3.1單隱層前饋神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。它是由許多個(gè)神經(jīng)元連接而成，在多個(gè)神經(jīng)元之間傳遞信息。每個(gè)神經(jīng)元都可以對所傳信息進(jìn)行各自的加工與處理，然后輸出結(jié)果。神經(jīng)元既是生物神經(jīng)系統(tǒng)中最基本的單元，也是神經(jīng)網(wǎng)絡(luò)中最小的單位，如圖2-3所示。一個(gè)神經(jīng)元的狀態(tài)是可以通過其所接收的信號(hào)的累積所決定的。圖2-3神經(jīng)元示意圖近年來，神經(jīng)網(wǎng)絡(luò)尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hiddenLayerFeed-forwardNeuralNetworks,SLFNs）在研究發(fā)展中應(yīng)用十分廣泛，并且對其進(jìn)行了許多擴(kuò)展，這是由于它們能夠從樣本中學(xué)習(xí)非線性函數(shù)而無需任何的分布假設(shè)，很好地處理了傳統(tǒng)方法中不能完成的難題。單隱層前饋神經(jīng)網(wǎng)絡(luò)基本上都是由輸入層，隱藏層和輸出層組合而成，神經(jīng)元之間通過權(quán)重進(jìn)行連接，圖2-4給出其示意圖。輸入層主要被用來進(jìn)行數(shù)據(jù)輸入，神經(jīng)元?jiǎng)t通過隱含層和輸出層對數(shù)據(jù)進(jìn)行加工和處理。圖2-4單隱層前饋神經(jīng)網(wǎng)絡(luò)示意圖對于N個(gè)獨(dú)立的訓(xùn)練樣本（xi，ti），其中，帶有個(gè)隱藏節(jié)點(diǎn)的SLFNs可以被建模表示：（2-10）其中jw是輸入節(jié)點(diǎn)與第j個(gè)隱藏節(jié)點(diǎn)之間的權(quán)值向量，j是第j個(gè)隱藏節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間的權(quán)值向量，jb則是第j個(gè)隱藏節(jié)點(diǎn)的閾值。最小化的SLFNs的目標(biāo)函數(shù)可以表示為：（2-11）2.3.2極限學(xué)習(xí)機(jī)前饋神經(jīng)網(wǎng)絡(luò)的真正學(xué)習(xí)速度通常都要比所需速度慢上很多，這一直都是其在應(yīng)用中遇到的主要瓶頸。在過去的學(xué)習(xí)中，由于不同層中的參數(shù)之間也具備著相互依存關(guān)系，就要對前饋神經(jīng)網(wǎng)絡(luò)中的全部參數(shù)實(shí)施調(diào)節(jié)處理。盡管在過去幾十年里，基于梯度下降方法被盡可能的應(yīng)用于絕大多數(shù)的前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中，但學(xué)習(xí)步驟的不正確導(dǎo)致該方法已經(jīng)變得非常慢或易于收斂到局部最小值。而且，此學(xué)習(xí)算法需要經(jīng)過多個(gè)迭代學(xué)習(xí)步驟才能獲得更好的學(xué)習(xí)性能，這就需要花費(fèi)大量的時(shí)間。有研究發(fā)現(xiàn)，SLFNs具有隨機(jī)選擇輸入權(quán)重和隱藏層偏差的優(yōu)點(diǎn)，這樣就能夠準(zhǔn)確地學(xué)習(xí)N個(gè)不同觀測值。與流行的思想和最實(shí)際的實(shí)現(xiàn)算法不同，前饋神經(jīng)網(wǎng)絡(luò)的所有參數(shù)都需要進(jìn)行調(diào)整。但是，在應(yīng)用程序中，卻無需調(diào)整輸入權(quán)重和第一隱藏層偏差。實(shí)際上，在我們的工作中對人工和大型應(yīng)用程序進(jìn)行的一些仿真結(jié)果[48]表明，SLFNs既可以讓學(xué)習(xí)速度變得極快，也可以呈現(xiàn)令人滿意的泛化性能。Huang等人針對SLFNs提出了新的既簡單又有效的學(xué)習(xí)算法，極限學(xué)習(xí)機(jī)（ELM）。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)作比較，ELM最大的特點(diǎn)是：在可以很好的確保學(xué)習(xí)精準(zhǔn)度的條件下，比傳統(tǒng)學(xué)習(xí)算法計(jì)算要快。與傳統(tǒng)訓(xùn)練方法不同的是：極限學(xué)習(xí)機(jī)會(huì)為隱藏的分層節(jié)點(diǎn)隨機(jī)分配輸入權(quán)值a和偏差b；極限學(xué)習(xí)機(jī)不僅最小化學(xué)習(xí)誤差，而且最小化輸出權(quán)重。其不需要在確定網(wǎng)絡(luò)參數(shù)時(shí)進(jìn)行迭代步驟，使得網(wǎng)絡(luò)參數(shù)的調(diào)整時(shí)間大大減少。與SVM算法不同，ELM算法僅需要為其他應(yīng)用程序（例如二分類問題等）提供一個(gè)模型框架。ELM的工作原理就是以非?？斓膶W(xué)習(xí)速度來提供非常好的泛化性能，這一點(diǎn)可以在人工和現(xiàn)實(shí)中基準(zhǔn)函數(shù)逼近和分類問題的實(shí)驗(yàn)結(jié)果中得到證實(shí)。ELM算法在絕大多數(shù)條件下是可以表現(xiàn)出足夠好的泛化性能的，并且比前饋神經(jīng)網(wǎng)絡(luò)的常規(guī)學(xué)習(xí)算法速度要快非常多。假設(shè)訓(xùn)練樣本集為，其中包含了N個(gè)樣本。其維度是d，總類數(shù)是C，標(biāo)簽矩陣為，若樣本屬于這一類，則為1，否則為-1。隱含節(jié)點(diǎn)的個(gè)數(shù)用L來表示，g（x）表示激活函數(shù)。ELM的輸出可以表示成：（2-12）其中＜ai，xi＞表示兩個(gè)向量的內(nèi)積。根據(jù)OAA多分類策略，上述方程可以通過以下方式重寫為矩陣模型：Hβ=T（2-13）其中，H是隱含節(jié)點(diǎn)輸出矩陣，β是輸出權(quán)值矩陣，T是期望輸出矩陣。（2-14）實(shí)際上，訓(xùn)練樣本的數(shù)量要遠(yuǎn)遠(yuǎn)多于隱含節(jié)點(diǎn)的數(shù)量(LN)，并且隱含節(jié)點(diǎn)的輸出矩陣H是一個(gè)奇異矩陣。為了得到最小化目標(biāo)函數(shù)，可以使用最小二乘解算法求解方程式（2.6），如下所示：（2-15）其中H+是矩陣H通過Moore-Penrose廣義矩陣求逆方法求得的廣義逆矩陣。等式（2-13）中的最小范數(shù)和最小平方是通過Moore-Penrose廣義矩陣逆方法的正交投影給出的，如公式（2-16）所示。其中，I表示單位矩陣，C表示懲罰參數(shù)。（2-16）綜上，求解ELM算法的步驟可以總結(jié)如下：1)初始化訓(xùn)練樣本集X；2)隨機(jī)設(shè)置網(wǎng)絡(luò)輸入權(quán)值ai和偏差bi,i=1,2,...,L；3)通過Moore-Penrose廣義矩陣求逆方法求得隱層節(jié)點(diǎn)輸出矩陣H的廣義逆矩陣H+；4)用最小二乘法計(jì)算輸出權(quán)值，。在獲得位于隱含層和輸出層之間的最佳權(quán)值后，測試樣本tx的分類操作如公式（2-17）所示。（2-17）2.3.3核極限學(xué)習(xí)機(jī)在分類的訓(xùn)練階段，計(jì)算并存儲(chǔ)權(quán)重用于測試階段。但是，如果不需要明確知道這些權(quán)重，則可以將h（xt）HT和HHT轉(zhuǎn)移到內(nèi)核空間，如公式（2-18）所示。（2-18）最后，利用KELM對測試樣本xt進(jìn)行分類操作，如公式（2-19）所示。（2-19）3基于判別信息的復(fù)合核極限學(xué)習(xí)機(jī)用于高光譜圖像分類高光譜圖像分類是其處理和應(yīng)用的重要組成部分。在分類時(shí)，當(dāng)空間維數(shù)增加且訓(xùn)練集大小固定時(shí)，通常會(huì)檢測到休斯現(xiàn)象（也稱為維數(shù)詛咒），尤其是在小樣本問題上，判別的線性分析是解決分類中Hughes現(xiàn)象的常用方法。因此，本章提出了一種復(fù)合核極限學(xué)習(xí)機(jī)（ckelm-l）該算法利用每個(gè)類的平均向量和系數(shù)矩陣形成類內(nèi)、類間和混合類曝光矩陣，在小維空間中找到類間分散與類內(nèi)平均分散之比最大的特征，并將類分散的概念應(yīng)用于類分離。如果樣本圍繞其在每個(gè)類中的平均值進(jìn)行分組，從樣品中獲得更高的值，并且不同的樣品被很好地分離。3.1線性判別分析由于光譜波段之間的高度相關(guān)性，高光譜圖像會(huì)受到信息冗余的影響，這可能會(huì)降低在某些極端條件下區(qū)分類別的能力。此外，其維數(shù)沿光譜域逐漸增加，這就是為什么處理高光譜圖像和更好地分離樣本具有重要的研究和實(shí)際意義。由于光譜波段之間的高度相關(guān)性，高光譜圖像會(huì)受到信息冗余的影響，這可能會(huì)降低在某些極端條件下區(qū)分類別的能力。此外，其維數(shù)沿光譜域逐漸增加，這就是為什么處理高光譜圖像和更好地分離樣本具有重要的研究和實(shí)際意義。線性判別分析推導(dǎo)如下：假設(shè)是第i類樣本的集合，Ni是第i類樣本的個(gè)數(shù)，i=1,…,L和N=N1+…+NL是所有訓(xùn)練樣本的數(shù)量。投影到的低維空間的樣本矩陣為w，為具有判別信息特征數(shù)據(jù)樣本矩陣，w可表示為：（3-1）其中，將類間散布矩陣和類內(nèi)散布矩陣定義為（3-2）（3-3）其中，mi表示樣本均值，；m表示樣本總平均值，。式(3-1)中的最大化準(zhǔn)則可以改寫為如下的最大化問題：（3-4）式(3-4)可以被證明等于（3-5）其中，是信息差矩陣，該矩陣中的參數(shù)在其中扮演平衡調(diào)節(jié)類內(nèi)判別信息和類間判別信息的角色。3.2復(fù)合核極限學(xué)習(xí)機(jī)算法核方法是一種特殊的機(jī)器學(xué)習(xí)方法。它利用核函數(shù)求解高維非線性數(shù)據(jù)。它已成為高光譜圖像分類的成功應(yīng)用方法之一，但是，高光譜圖像具有復(fù)雜的空間和光譜信息，單個(gè)核的代表性是不夠的，同時(shí)，單個(gè)核的表示可能是核方法處理復(fù)雜分類問題的瓶頸，精度和泛化之間的折衷也是一個(gè)難題。提出了一種多核方法（MKL），并將其成功地應(yīng)用于高光譜圖像分類中，處理多類數(shù)據(jù)和多維數(shù)據(jù)。由于單核選擇的局限性，為了更好地適應(yīng)復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，引入了多核學(xué)習(xí)方法。與基于單核的方法相比，提出的多核學(xué)習(xí)為探索高光譜圖像信息提供了更大的靈活性。多核學(xué)習(xí)是連接不同子特征的方法之一，該算法結(jié)合了基于內(nèi)核的任務(wù)中使用的不同函數(shù)，如回歸或分類。其目的是：通過一些基本核的線性或非線性組合產(chǎn)生復(fù)合核。每個(gè)基本核可以使用一個(gè)子集或一整套函數(shù)。組合核的半終結(jié)性和歸一化保持不變，基核的權(quán)值不為負(fù)，和為1，可以成為一個(gè)新的混合核函數(shù)。混合不同類型和/或不同的核參數(shù)用于高光譜圖像分類。因此，復(fù)合核極限學(xué)習(xí)機(jī)的學(xué)習(xí)過程可以看作是一個(gè)常見的優(yōu)化問題，包括混合核解的優(yōu)化和核組合系數(shù)的優(yōu)化。假設(shè)高光譜圖像包含具有d個(gè)光譜帶的N個(gè)像素。給定非線性映射函數(shù)，數(shù)據(jù)樣本從原始輸入空間利用非線性映射函數(shù)映射到高維特征空間，如下：（3-6）（3-7）其中K（·）表示核函數(shù)，〈·〉表示點(diǎn)積。核函數(shù)滿足Mercer定理的對稱性、半正定性和連續(xù)性。高光譜圖像問題中最常用的核是RBF，因?yàn)樗母道锶~變換也是高斯的，并且具有平移不變性。在多核學(xué)習(xí)中，一些基本核被線性組合成凸函數(shù)，每個(gè)核使用一個(gè)子集或所有函數(shù)集：（3-8）其中，βm表示核m的權(quán)重，M是基本核的數(shù)量。多核學(xué)習(xí)的目標(biāo)函數(shù)由下式給出：（3-9）為了結(jié)合基底核，獲得復(fù)合核，需要以下三個(gè)步驟：（1）像素定義：由像素的光譜特征和空間特征重新定義像素，其中Nw和Ns分別是光譜特征的個(gè)數(shù)和空間特征的個(gè)數(shù)。（2）內(nèi)核構(gòu)造：任何類型的核都可以在和上構(gòu)造。（3）核組合：復(fù)合核可以通過不同方式的基底核的簡單求和來計(jì)算。包含光譜特征的核由Kw表示，而包含空間特征的核由Ks表示。包含光譜特征和空間特征之間交叉信息的核也由Ksw和Kws表示。通過以上文獻(xiàn)中對多核學(xué)習(xí)的相關(guān)推論，將其引入極限學(xué)習(xí)機(jī)中。對于給定的像素xi，其光譜和空間特征分別表示為和。光譜特征向量對是原始xi，由所有頻帶上的光譜反射值組成?？臻g特征是從像素xi的局部空間鄰域中提取的像素平均值，并定義為x，的空間鄰域。構(gòu)造了光譜和空間特征和之后，分別計(jì)算相應(yīng)的復(fù)合核極限學(xué)習(xí)機(jī)中的空間核Ks和光譜核Kw。（3-10）（3-11）所提出算法中使用RBF核，和是光譜和空間RBF核的寬度。利用加權(quán)求和方法，計(jì)算出復(fù)合核極限學(xué)習(xí)機(jī)中的核參數(shù)為：（3-12）3.3CKELM-L算法在高光譜圖像分類算法中，有些算法只使用光譜函數(shù)進(jìn)行函數(shù)提取，忽略了圖像的空間特性，除了光譜特征外，還包含了大量的空間特征。高光譜圖像數(shù)據(jù)的結(jié)構(gòu)不能完全有效地用譜函數(shù)來表達(dá)，因此，研究者們提出并相信空間譜函數(shù)方法是表達(dá)高光譜圖像數(shù)據(jù)結(jié)構(gòu)最常用的方法。假設(shè)光譜特征已被保留，則空間特征可作為光譜特征的補(bǔ)充。Hang等人，《基于矩陣的判別分析介紹》。在此基礎(chǔ)上，他們研究了空間和光譜特征的提取，然后使用隨機(jī)抽樣技術(shù)生成最終支持向量機(jī)分類的子空間集?；诠庾V特性，Sun等人結(jié)合擴(kuò)展的形態(tài)學(xué)輪廓，顯示高光譜圖像中像素的屬性。然后構(gòu)造一個(gè)超圖來學(xué)習(xí)低維屬性。最后，將學(xué)習(xí)到的函數(shù)反饋給支持向量機(jī)進(jìn)行分類。Huang等人。首先，他使用加權(quán)平均濾波器，對圖像進(jìn)行濾波，然后利用合成的光譜空間距離對光譜和空間信息進(jìn)行融合，最后，重構(gòu)分配器，提取小維判別特征進(jìn)行分類，上述方法有效地融合了圖像的空間特征，提高了分類精度，然而，它們沒有充分考慮高光譜圖像分布信息中的鑒別特征和數(shù)據(jù)中的局部幾何結(jié)構(gòu)。特別是當(dāng)訓(xùn)練測試數(shù)量較少時(shí)，這些信息仍然在提高分類精度方面發(fā)揮著重要作用。為了解決這些缺陷，本章提出了一種具有線性判別信息的核極限綜合算法，用于高光譜分類利用線性判別分析方法獲得光譜特征的圖像，利用核方法獲得空間特征，綜合了多原子訓(xùn)練獲得的空間間譜特征，并用分類器對其進(jìn)行分類，利用組合核極限，該算法可以保持地面物體的邊界，提高分類精度，降低計(jì)算難度。提出的算法的主要特點(diǎn)可歸納為：（1）建立了線性判別分析與圖像輸出之間的線性模型，并考慮了地面物體的輪廓信息，有效提取了光譜特征。（2）在極限學(xué)習(xí)機(jī)中引入多個(gè)核函數(shù)優(yōu)化分類器。（3）在最極端的學(xué)習(xí)過程中，總反饋原理（即最小二乘法）是一個(gè)好的、合理的步驟，旨在解決線性判別分析中矩陣的具體問題。由3.2節(jié)和3.3節(jié)的相關(guān)理論，通過計(jì)算，可得出CKELM-L的輸出函數(shù)為（3-13）Ckelm-L算法首先使用線性判別分析，提取光譜特性。然后通過核函數(shù)提取空間特性，并通過多核學(xué)習(xí)模型對空間光譜特性進(jìn)行加權(quán)和合并。然后將提取的特性提供給組裝的核極限學(xué)習(xí)機(jī)分類器，算法步驟如下：1.學(xué)習(xí)機(jī)初始化數(shù)據(jù)集學(xué)習(xí)機(jī)2.學(xué)習(xí)機(jī)使用式(3.2)、(3.3)計(jì)算類間散布矩陣LDAbS和類內(nèi)散布矩陣學(xué)習(xí)機(jī)3.學(xué)習(xí)機(jī)根據(jù)求得的和計(jì)算投影后矩陣學(xué)習(xí)機(jī)4.學(xué)習(xí)機(jī)采用式(3.10)、(3.11)計(jì)算空間核和光譜核5.學(xué)習(xí)機(jī)將計(jì)算得到的空間核和光譜核送入KELM框架中6.學(xué)習(xí)機(jī)通過CKELM-L對訓(xùn)練和測試數(shù)據(jù)集進(jìn)行分類學(xué)習(xí)機(jī)7.返回高光譜圖像每個(gè)測試像素的預(yù)測標(biāo)簽3.4實(shí)驗(yàn)結(jié)果分析為了驗(yàn)證所提出的CKELM-L算法的在高光譜圖像分類過程中的有效性，本章使用了三個(gè)公開可獲得的數(shù)據(jù)集IndianPines，PaviaUniversity和SalinasScene，進(jìn)行實(shí)驗(yàn)驗(yàn)證。對照實(shí)驗(yàn)選擇傳統(tǒng)的分類算法ELM、KELM、SVM、具有復(fù)合核函數(shù)的算法ELMCK、KELMCK、SVMCK和目前較新穎的Hifi算法進(jìn)行綜合比較。采用四個(gè)廣泛使用的評價(jià)指標(biāo)：類內(nèi)分類準(zhǔn)確性(CA)，總體準(zhǔn)確性(OA)，平均準(zhǔn)確性(AA)和Kappa系數(shù)在三個(gè)高光譜圖像數(shù)據(jù)集上評估所有算法的分類性能。在傳統(tǒng)ELM算法中，使用Sigmoid函數(shù)，基于范圍[-1,1]，均勻分布隨機(jī)生成隱藏層參數(shù)，并將隱藏層節(jié)點(diǎn)數(shù)L設(shè)置為文獻(xiàn)[30]中推薦的1000。對于CK方法，SVMCK，ELMCK和KELMCK，組合系數(shù)u設(shè)置為0.8。對于所有基于核的算法，都使用高斯徑向基函數(shù)RBF核。這些方法中涉及的RBF核參數(shù)在范圍中，懲罰參數(shù)C范圍從100到105。在上述實(shí)驗(yàn)中使用的算法中，參數(shù)的優(yōu)化選擇策略為，使用三重交叉驗(yàn)證和網(wǎng)格搜索策略。Hifi算法重復(fù)50次，并計(jì)算平均結(jié)果。將IndianPines，UniversityofPavia和SalinasScene的層次結(jié)構(gòu)數(shù)設(shè)置為80、20和80。在配備Intel（R）Core（TM）3.20GHzCPU和8GBRAM的計(jì)算機(jī)上使用MATLABr2016b進(jìn)行對比實(shí)驗(yàn)。為了避免失真，實(shí)驗(yàn)的結(jié)果通過重復(fù)實(shí)驗(yàn)來調(diào)節(jié)十次。3.4.1IndianPines數(shù)據(jù)集實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)中，根據(jù)文獻(xiàn)[31]，對16種類型的真實(shí)數(shù)據(jù)的樣本選擇數(shù)目分別為1031個(gè)10%作為訓(xùn)練樣本，其余9218個(gè)數(shù)據(jù)作為測試樣本。表3-1給出了所有算法對IndianPines數(shù)據(jù)集的每個(gè)類別的CA以及整體的OA，AA和Kappa，圖3-1給出了所有算法對IndianPines數(shù)據(jù)集的分類成效圖。表3-1衡量IndianPines數(shù)據(jù)集分類成效數(shù)據(jù)圖3-1IndianPines數(shù)據(jù)集的分類成效圖表3-1顯示了根據(jù)訓(xùn)練測試次數(shù)在印度松數(shù)據(jù)集上不同算法的Ca、OA、AA和kappa系數(shù)。通過比較七種算法的OA、AA和kappa系數(shù)，可以清楚地看出，本章提出的算法具有最好的分類效果。經(jīng)過Ca后，可以確定在16種數(shù)據(jù)樣本中，本章提出的算法的精度高于其他算法。與傳統(tǒng)的kelm分類算法相比，總精度提高了17.67%，與傳統(tǒng)CK方法的kelmck分類算法相比，提高了1.33%，改進(jìn)后的Hifi算法與當(dāng)前新算法相比，總準(zhǔn)確率提高了10.32%。圖3-2顯示了印度松數(shù)據(jù)集上10個(gè)實(shí)驗(yàn)的OA線圖，表明了所提出算法的穩(wěn)定性。圖3-210次實(shí)驗(yàn)的OA折線圖3.4.2PaviaUniversity數(shù)據(jù)集實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)中，為9種類型的真實(shí)數(shù)據(jù)選擇的樣本為432個(gè)，1%作為訓(xùn)練樣本，其余42344個(gè)數(shù)據(jù)作為測試樣本。表3.2顯示了帕維亞大學(xué)不同類別記錄的CA以及所有算法的整個(gè)OA、AA和kappa。圖3-4顯示了帕維亞大學(xué)數(shù)據(jù)集上所有算法的分類效果。表3-2衡量PaviaUniversity數(shù)據(jù)集分類成效數(shù)據(jù)圖3-3PaviaUniversity數(shù)據(jù)集的分類成效圖表3-2給出了固定訓(xùn)練樣本個(gè)數(shù)后，在PaviaUniversity數(shù)據(jù)集上不同算法的CA，OA，AA和Kappa系數(shù)。通過比較7種算法的OA、AA和Kappa系數(shù)可以很清楚地看到本章所提算法具有最優(yōu)的分類效果，根據(jù)CA可以看出在9類數(shù)據(jù)樣本中本章所提算法有7類的準(zhǔn)確率要高于其他算法。與傳統(tǒng)分類算法KELM相比總體準(zhǔn)確性提高12.66%，與帶有傳統(tǒng)CK方法的KELMCK相比總體準(zhǔn)確性提高7.36%，與目前較新穎的算法Hifi算法相比總體準(zhǔn)確性提高11.41%。圖3-4顯示了在PaviaUniversity數(shù)據(jù)集上進(jìn)行10次實(shí)驗(yàn)的OA線圖，該線圖顯示了所提算法的穩(wěn)定性。圖3-410次實(shí)驗(yàn)的OA折線圖3.4.3SalinasScene數(shù)據(jù)集實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)中，對16種類型的真實(shí)數(shù)據(jù)的樣本選擇數(shù)目分別為2713個(gè)5%作為訓(xùn)練樣本，其余51416個(gè)數(shù)據(jù)作為測試樣本。表3-3給出了所有算法對SalinasScene數(shù)據(jù)集的每個(gè)類別的CA以及整體的OA，AA和Kappa，圖3-5給出了所有算法對SalinasScene數(shù)據(jù)集的分類成效圖。表3-3衡量SalinasScene數(shù)據(jù)集分類成效數(shù)據(jù)表3-3給出了固定訓(xùn)練樣本個(gè)數(shù)后，在SalinasScene數(shù)據(jù)集上不同算法的CA，OA，AA和Kappa系數(shù)。通過比較7種算法的OA、AA和kappa系數(shù)可以很清楚地看到本章所提算法具有最優(yōu)的分類效果，根據(jù)CA可以看出在16類數(shù)據(jù)樣本中本章所提算法有11類的準(zhǔn)確率要高于其他算法。與傳統(tǒng)分類算法KELM相比總體準(zhǔn)確性提高6.62%，與帶有傳統(tǒng)CK方法的KELMCK相比總體準(zhǔn)確性提高0.52%，與目前較新穎的算法Hifi算法相比總體準(zhǔn)確性提高7.07%。圖3-6顯示了在SalinasScene數(shù)據(jù)集上進(jìn)行10次實(shí)驗(yàn)的OA線圖，該線圖顯示了所提算法的穩(wěn)定性。圖3-5SalinasScene據(jù)集的分類成效圖圖3-610次實(shí)驗(yàn)的OA折線圖4局部二值模式信息保持極限學(xué)習(xí)機(jī)極限學(xué)習(xí)機(jī)在分類過程中沒有考慮到圖像的空間結(jié)構(gòu)，缺乏對數(shù)據(jù)空間信息的充分提取，這樣就不能在HSI的分類任務(wù)中表現(xiàn)出足夠好的分類效果。我們提出一種局部二值模式信息保持極限學(xué)習(xí)機(jī)(LLPKELM)。該算法通過采用局部二值模式來提取局部圖像特征，例如邊緣，拐角和斑點(diǎn)等。然后將提取的特征數(shù)據(jù)內(nèi)在流形結(jié)構(gòu)信息引入到核極限學(xué)習(xí)機(jī)模型中，充分地考慮了高光譜遙感圖像在空間上的分布特性，很好的提升了HSI的分類效果。4.1LBP特征提取算法局部二值模式（Localbinarypattern,LBP）是于1994年由T.Ojala等人首先提出用于特征提取的，是一種用于紋理描述的有力手段。而局部二值模式最開始并不是功能齊全的特征描述運(yùn)算符，只是用來輔助圖像的局部對比度。其具有對灰度變化不敏感和計(jì)算速度快的優(yōu)點(diǎn)。LBP描述了局部空間模型,并且已經(jīng)被證明對圖像表示非常有效。也已經(jīng)將其引入遙感圖像領(lǐng)域，應(yīng)用于視覺檢查，運(yùn)動(dòng)檢測和戶外場景分析等。LBP運(yùn)算符檢測到許多不同的紋理特征，比如點(diǎn)，線端，邊緣，拐角等。這些特征通常累積在一個(gè)區(qū)域的直方圖中以捕獲局部紋理信息。文獻(xiàn)[32]將LBP和局部相位量化用于光學(xué)遙感圖像數(shù)據(jù)的土地覆蓋分類的紋理特征研究。文獻(xiàn)[33]中，在長波紅外圖像中提取了LBP特征，定向梯度直方圖（HoG）和均方差描述符以進(jìn)行異常檢測。在文獻(xiàn)[34]中，LBP和HoG被用于跟蹤TerraSAR-X圖像中的船舶交通。文獻(xiàn)[35]是從HSI立方體中選擇LBP特征用于單個(gè)譜帶上的結(jié)腸活檢分類計(jì)算。在初始的LBP中，被用來在像素級(jí)別上提取紋理特征以及局部鄰域，記錄像素點(diǎn)與其周圍像素點(diǎn)的對比信息或差異。簡而言之，就是通過使用中心像素的二進(jìn)制閾值來標(biāo)記局部區(qū)域的像素位置。LBP也有很多擴(kuò)展，或者說是改進(jìn)。基本的LBP運(yùn)算符通過以任一像素點(diǎn)為中心，將其3×3鄰域內(nèi)的每個(gè)像素值與中心像素值作比較，并用來標(biāo)記該像素點(diǎn)。標(biāo)記得到的統(tǒng)計(jì)直方圖可以用作紋理特征。有關(guān)基本LBP算子的計(jì)算示例如圖4-1所示：從左上角的第一個(gè)相鄰點(diǎn)開始，將相鄰像素值按順時(shí)針方向依次與中心像素值進(jìn)行比較大小。如果相鄰像素值大于或等于中心像素值，則將相鄰點(diǎn)分配為1，否則分配為0。這樣就可以得到一個(gè)01序列的二進(jìn)制數(shù)，再將該二進(jìn)制數(shù)轉(zhuǎn)化為十進(jìn)制數(shù)即可得到該中心像素點(diǎn)的LBP特征值。圖4-1LBP算子計(jì)算實(shí)例基本的LBP運(yùn)算符計(jì)算如下：（4-1）然后為每個(gè)分配一個(gè)二項(xiàng)式因子2p：（4-2）基本的LBP運(yùn)算符的主要缺陷在于，它僅僅覆蓋固定半徑內(nèi)的一小部分區(qū)域，無法滿足具有不同比例和頻率的紋理的需求。后來，T.Ojala等人將該運(yùn)算符擴(kuò)展為使用不同大小的鄰域，來捕獲不同規(guī)模的主導(dǎo)特征。利用雙線性內(nèi)插像素值法[58]可以獲取以任何半徑和任意采樣點(diǎn)數(shù)量所形成的圓形鄰域大小。我們將使用符號(hào)P,RLBP表示在半徑為R的圓上P個(gè)等距采樣點(diǎn)的鄰域。圖4-2給出了常見的LBPP,R模式，分別為R=8,P=1，R=16,P=2，R=8,=2的模式。圖4-2常見的LBPP,R模式原始的LBP運(yùn)算符的另一擴(kuò)展是使用所謂的等價(jià)模式。將二進(jìn)制字符串視為圓形，如果本地二進(jìn)制模式最多包含兩個(gè)從0到1或從1到0的逐位轉(zhuǎn)換，那么就將該本地的二進(jìn)制模式稱為等價(jià)模式。例如00000000、00011110和10000011都是等價(jià)模式。T.Ojala等人注意到，在他們使用紋理圖像進(jìn)行的實(shí)驗(yàn)中，2p模式的一小部分占圖像紋理的大部分。例如，使用LBP8,1模式時(shí)，均勻圖案占所有圖案的比例大約在90％，而在LBP16,2模式中則占70％左右。這些二進(jìn)制模式可用于表示紋理特征，例如斑點(diǎn)，平坦區(qū)域，邊緣和拐角。等價(jià)模式總共包含（p-1）p+2個(gè)二進(jìn)制模式。其中（p-1）p是旋轉(zhuǎn)模式，包括邊緣和兩個(gè)非旋轉(zhuǎn)模式，斑點(diǎn)和平坦區(qū)域。而U（x）＞0的模式則被定義為非等價(jià)模式。（4-3）（4-4）U值最多為2的等價(jià)模式由等式u2定義，如等式（4-3）所示。如果U（x）小于2，則使用索引函數(shù)I（z）標(biāo)記像素。否則，它被視為非等價(jià)模式，并賦值為（p-1）p+2。I（z）索引函數(shù)包含（p-1）p+2個(gè)索引，用來分配給所有等價(jià)模式。對于使用P=8的鄰域等價(jià)模式，可以將直方圖從256減少到59bin（等價(jià)模式為58bin，非等價(jià)模式為1bin）。由定義我們可以知道LBP運(yùn)算符只具有灰度不變的特點(diǎn)，但LBP特征值會(huì)隨著圖像的旋轉(zhuǎn)而改變。因此，LBP運(yùn)算符繼續(xù)擴(kuò)展為旋轉(zhuǎn)不變LBP（LBPri）和旋轉(zhuǎn)不變統(tǒng)一LBP（2LBPriu）。要消除旋轉(zhuǎn)的影響，就是要為每個(gè)旋轉(zhuǎn)不變的LBP模式分配一個(gè)唯一的LBP值。圖4-3為LBP旋轉(zhuǎn)不變模式的過程，圖中數(shù)字為鄰域依次旋得到的LBP特征值。圖4-3LBP旋轉(zhuǎn)不變模式示意圖如圖4-3所示，將圓形鄰域經(jīng)過依次旋轉(zhuǎn)后得到多個(gè)LBP特征值，選取其中最小的LBP特征值作為LBPP,R。計(jì)算方法如公式（4-5）所示：（4-5）其中，ROR（x，i）表示對P位數(shù)字x采取i次循環(huán)逐位向右移動(dòng)。旋轉(zhuǎn)不變的LBP模式進(jìn)一步降低了統(tǒng)計(jì)直方圖的維度以及高頻噪聲造成的影響。例如P=8，LBPri則具有36個(gè)獨(dú)特的旋轉(zhuǎn)不變模式。LBPri模式的性能各不相同，一些模式可以很好地維持旋轉(zhuǎn)，而另一些模式則不能，因此使分析混亂。等價(jià)模式可以解決此問題，也可以將bin的數(shù)量從36個(gè)減少到9個(gè)，這就形成了統(tǒng)一的旋轉(zhuǎn)不變局部二進(jìn)制模式LBPriu2。綜上所述，對圖像的LBP特征向量進(jìn)行提取的步驟可總結(jié)如下：（1）劃分區(qū)域。將檢測窗口劃分成nm的若干子區(qū)域。（2）獲取LBP特征值并計(jì)算統(tǒng)計(jì)直方圖。將每個(gè)子區(qū)域中的相鄰像素值按照順時(shí)針方向依次與中心像素值比較大小。如果相鄰像素值大于或等于中心像素值，那么就給該像素值分配成1，反之分配成0。將各個(gè)像素點(diǎn)的LBP特征值構(gòu)建成每個(gè)子區(qū)域的統(tǒng)計(jì)直方圖并進(jìn)行歸一化處理。（3）獲取圖像特征向量。將步驟（2）所得的所有統(tǒng)計(jì)直方圖連接在一起，就可以得到整個(gè)圖像的LBP特征向量。然后可以將該特征向量通過分類算法對其進(jìn)行分類處理。對給定中心像素ct，與其相鄰像素值比較大小，為每個(gè)相鄰像素點(diǎn)賦予一個(gè)二進(jìn)制標(biāo)簽0或1。相鄰像素來自在以中心像素為中心的半徑為r的圓上的一組等距采樣，半徑r確定相鄰像素可以距中心像素多遠(yuǎn)。沿著選定的m個(gè)相鄰點(diǎn)，中心像素ct的LBP碼可由公式4-6所示：（4-6）假設(shè)tc的坐標(biāo)為（0,0），則每個(gè)相鄰ti的坐標(biāo)為。實(shí)際上，可以更改參數(shù)集（m,r），例如（4,1），（8,2）等。不完全落在圖像網(wǎng)格上的圓形鄰域位置可以利用雙線性插值法進(jìn)行估算。4.2LLPKELM算法局部二值模式信息保持極限學(xué)習(xí)機(jī)(LLPKELM)首先通過局部二值模式[33]對高光譜遙感圖像提取LBP特征。有效提取局部圖像特征，例如邊緣，拐角和斑點(diǎn)等，充分提取其空間信息；然后將獲取到的特征信息的數(shù)據(jù)內(nèi)部的流形結(jié)構(gòu)信息利用局部保持算法LPP計(jì)算出數(shù)據(jù)的判別性離散度矩陣；最后把所得的判別性離散度矩陣引進(jìn)KELM中對其進(jìn)行分類。LLPKELM算法的具體步驟可以簡單概括如下：步驟1：數(shù)據(jù)輸入：輸入HSI數(shù)據(jù)。步驟2：提取LBP特征：對數(shù)據(jù)集中的任一像素點(diǎn)xi，利用局部二值模式。通過公式(4.6)，得到每個(gè)像素點(diǎn)的LBP編碼，有效地獲取圖像的LBP特征向量，充分得到HSI的空間信息；步驟3：求出流形正則化框架：通過LPP算法對數(shù)據(jù)進(jìn)行降維處理，利用公式(2-15)，求出流形正則化框架；步驟4：獲取判別信息離散度矩陣S：根據(jù)公式(2-17)，定義并求得判別信息離散度矩陣S；步驟5：計(jì)算輸出權(quán)重β：選擇合適的核函數(shù)，通過公式(2.22)計(jì)算出權(quán)重β；步驟6：計(jì)算輸出結(jié)果：通過公式(2-23)，求出最后的輸出結(jié)果。步驟7：結(jié)果輸出：求出總體分類精度OA，平均分類精度AA和kappa系數(shù)并輸出。4.3實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置在本章節(jié)中，我們在兩個(gè)常用的高光譜數(shù)據(jù)集IndianPines和UniversityofPavia上來進(jìn)行實(shí)驗(yàn)。通過與其他五種分類算法進(jìn)行比較來衡量所提算法的性能。對于兩個(gè)高光譜數(shù)據(jù)集，隨機(jī)選擇每類中全部標(biāo)記樣本的1%用來訓(xùn)練，并且將剩余標(biāo)記樣本用來測試。將LBP算法中的鄰域半徑和采樣點(diǎn)個(gè)數(shù)分別設(shè)置成P=8,R=2。所提的LLPKELM算法使用RBF核。我們通過總體分類精度（OA），平均分類精度（AA）和kappa系數(shù)來進(jìn)行比較不同分類算法的性能。其中OA是測試集中分類結(jié)果正確的樣本數(shù)量占全部樣本數(shù)量的比例，AA是每個(gè)類的分類準(zhǔn)確度。所有實(shí)驗(yàn)均在具有4.00GBRAM的Inteli5-32302.60GHz機(jī)器上使用MATLABR2011a進(jìn)行。4.4實(shí)驗(yàn)結(jié)果與分析4.4.1IndianPines圖像數(shù)據(jù)實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)中，將所提算法LLPKELM的分類結(jié)果與SVM[10]，KELM[40]，KCRT-CK[38]，MLR[41]，LPKELM[42]算法作對比。通過對比在測試集上實(shí)驗(yàn)得到的OA，AA和kappa系數(shù)來評估每種算法的分類效果。表4.1中列出了在IndianPines圖像數(shù)據(jù)上的六種分類算法的分類結(jié)果。表4.1IndianPines數(shù)據(jù)集中不同分類算法的結(jié)果比較(%)通過表4.1顯示出，LLPKELM算法與SVM，KELM，KCRT-CK，MLR，LPKELM算法相比，總體分類精度OA，平均分類精度AA和Kappa系數(shù)均有大幅度提升。表4.1中可以明顯地看出LLPKELM算法幾乎在所有數(shù)據(jù)類別上的分類精度都要高于其他五種分類算法的。只有在Oats和Wheat這兩種數(shù)據(jù)類別上的分類精度略低于其他算法。在Oats和Wheat這兩種數(shù)據(jù)類別上，六種算法的最高分類精度分別為89.47%和99.04%,LLPKELM算法的分類精度為55.56%和94.76%。我們可以看到，LLPKELM算法在OA，AA和Kappa系數(shù)上的結(jié)果是特別好的，而且要明顯高于其他五種算法。4.4.2UniversityofPavia圖像數(shù)據(jù)實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)中，把本文所提出的LLPKELM算法與SVM，KELM，KCRT-CK，MLR，LPKELM五個(gè)算法的分類結(jié)果進(jìn)行了比較。通過比較在測試集上實(shí)驗(yàn)得到的OA，AA和kappa系數(shù)可以衡量每種算法的分類性能。如下表4-2給出了在UniversityofPavia圖像數(shù)據(jù)上的不同分類算法的分類結(jié)果。表4-2顯示出以上六種分類算法在UniversityofPavia圖像數(shù)據(jù)上每個(gè)類別的分類精度，以及總體分類精度OA，平均分類精度AA和Kappa系數(shù)。我們可以看到LLPKELM算法的分類結(jié)果要優(yōu)于SVM，KELM，KCRT-CK，MLR，LPKELM算法。由表4.2我們可以看出，在Alfalfa，Gravel，Paintedmetalsheets，Bitumen，Shadows這五種類別數(shù)據(jù)上，LLPKELM算法的分類精度要高于其他五種分類算法。而在Meadows，Trees，BareSoil，Self-BlockingBricks這四種數(shù)據(jù)類別上，LLPKELM算法的分類結(jié)果要稍稍差于其他算法。在上述的四種類別數(shù)據(jù)中，六種分類算法的最高分類結(jié)果分別為99.97%，94.20%，99.24%，92.24%。而LLPKELM算法的分類精度分別為99.05%，92.54%，97.62%，91.78%，與最高分類精度相差了0.92%，1.66%，1.62%，0.46%。雖然LLPKELM算法在UniversityofPavia圖像數(shù)據(jù)的其中幾種類別的分類精度較低于其他算法，但相差很小，而OA，AA和Kappa系數(shù)均優(yōu)于其他五種算法。通過在兩種高光譜數(shù)據(jù)集上進(jìn)行對比試驗(yàn)，由表4-1和表4-2的結(jié)果可以看出，LLPKELM算法的分類性能明顯優(yōu)于其余五種分類算法。其原因在于LLPKELM利用局部二值模式提取了高光譜遙感圖像的LBP特征，更加細(xì)致地獲取了HSI的局部空間信息，進(jìn)一步提升了HSI的分類效果。5結(jié)論伴隨著科技的進(jìn)步，具有高空間分辨率的HSI一直在變得日益有效且可用。傳統(tǒng)的HSI分類任務(wù)中，許多分類算法都僅僅使用圖像的頻譜特征，而忽略了圖像豐富的空間信息。因此我們對基于ELM的高光譜圖像分類的方法進(jìn)行了深刻的研究探索和完善。本文針對特征提取和分類器的研究，提出了兩種分類算法。（1）提出了一種基于判別信息的復(fù)合核極限學(xué)習(xí)機(jī)(CKELM-L)的分類模型。該模型采用線性判別分析進(jìn)行提取特征。利用空間特征和提取的光譜特征，使用復(fù)合核極限學(xué)習(xí)機(jī)進(jìn)行分類，可以大大提高分類性能。（2）提出了局部二值模式信息保持極限學(xué)習(xí)機(jī)（LLPKELM）。LLPKELM算法首先采用局部二值模式[33]來提取局部圖像特征，例如邊緣，拐角和斑點(diǎn)等，獲取HSI更為豐富的紋理信息；接下來將獲取到的特征通過數(shù)據(jù)內(nèi)部的流形正則化框架并利用LPP算法獲取數(shù)據(jù)的判別性離散度矩陣；最后利用KELM來對其進(jìn)行分類。該算法有效地提高了HSI的分類效果。參考文獻(xiàn)[1]李鐵,張新君.極限學(xué)習(xí)機(jī)在高光譜遙感圖像分類中的應(yīng)用[J].光電工程,2016(11).[2]楊伊,閆德勤,張海英,等.基于判別信息極限學(xué)習(xí)機(jī)的高光譜遙感圖像分類[J].軟件導(dǎo)刊,2017,16(001):161-165.[3]李鐵,張新君.極限學(xué)習(xí)機(jī)在高光譜遙感圖像分類中的應(yīng)用[J].光電工程,2016,43(11):62-62.[4]付瓊瑩,余旭初,秦進(jìn)春,等.結(jié)合自動(dòng)編碼器的高光譜影像極限學(xué)習(xí)機(jī)分類[J].測繪科學(xué)與工程,2017(4):17-23.[5]呂飛,韓敏.基于深度極限學(xué)習(xí)機(jī)的高光譜遙感影像分類研究[J].大連理工大學(xué)學(xué)報(bào),2018,058(002):166-173.[6]何陽,閆德勤,劉德山.局部信息保持極限學(xué)習(xí)機(jī)的遙感圖像分類[J].計(jì)算機(jī)應(yīng)用與軟件,2019,36(01):269-276+330.[7]呂啟.基于深度學(xué)習(xí)的遙感圖像分類關(guān)鍵技術(shù)研究[D].國防科學(xué)技術(shù)大學(xué),2019.[8]楊伊.極限學(xué)習(xí)機(jī)算法的改進(jìn)與應(yīng)用[D].遼寧師范大學(xué).[9]馮國瑞,張海燕.基于極限學(xué)習(xí)機(jī)的圖像隱寫分析[J].2013.[10]蔡悅,蘇紅軍,李茜楠.螢火蟲算法優(yōu)化的高光譜遙感影像極限學(xué)習(xí)機(jī)分類方法[J].地球信息科學(xué)學(xué)報(bào),2015(08):986-994.[11]雒曉卓.基于聯(lián)合稀疏和局部線性的極限學(xué)習(xí)機(jī)及應(yīng)用[D].西安電子科技大學(xué).[12]付瓊瑩,余旭初,張鵬強(qiáng),等.聯(lián)合空譜信息的高光譜影像半監(jiān)督ELM分類[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2017(7)