最常見的近紅外光譜的預(yù)處理技術(shù)的綜述樣本

最常用近紅外光譜預(yù)解決技術(shù)綜述smundRinnan，F(xiàn)ransvandenBerg，S?renBallingEngelsen摘要：預(yù)解決在近紅外(NIR)光譜數(shù)據(jù)解決化學(xué)計量學(xué)建模中已經(jīng)成為不可分割一某些。預(yù)解決目是消除光譜中物理現(xiàn)象在為了提高后續(xù)多元回歸、分類模型或摸索性分析。最廣泛使用預(yù)解決技術(shù)可以分為兩類：散射校正辦法和光譜間隔辦法。綜述和比較了算法基本理論和當(dāng)前預(yù)解決辦法以及定性和定量后果應(yīng)用程序。其目是提供更好NIR最后模型建立，在此咱們通過對光譜預(yù)解決基本知識進行梳理。核心詞：乘法散射校正；近紅外光譜法；原則化；諾里斯威廉姆斯推導(dǎo)；預(yù)解決；Savitzky-Golay平滑；散射校正；光譜導(dǎo)數(shù);原則正態(tài)變量；綜述引言當(dāng)前為止，沒有可以優(yōu)化數(shù)據(jù)來進行代替，但是通過恰當(dāng)數(shù)據(jù)收集和解決將會起到優(yōu)化效果，對光譜數(shù)據(jù)進行預(yù)解決是最重要一步(例如最優(yōu)化之前疊層建模)，慣用辦法有主成分分析(PCA)和偏最小二乘法(PLS)。在大量文獻中，多變量光譜應(yīng)用食品、飼料和醫(yī)藥分析，比較不同預(yù)解決成果研究模型預(yù)測成果是不可分割構(gòu)成某些。近紅外反射/透射率(NIR/NIT)光譜光譜技術(shù)，到當(dāng)前為止最多被使用和最大多樣性在預(yù)解決技術(shù)，重要是由于入非線性光散射光譜可以引起明顯影響。由于類似規(guī)模波長電磁輻射和粒子大小近紅外光譜在生物樣品，近紅外光譜技術(shù)是一種不被廣泛使用是由于存在散射效應(yīng)(涉及基線轉(zhuǎn)變和非線性)，這將會影響樣品光譜成果記錄。然而，通過應(yīng)用適當(dāng)預(yù)解決，可以很大限度上消除這些影響。在應(yīng)用研究中，比較了幾乎完全不同定標(biāo)模型(定量描述符和相應(yīng)關(guān)系)。幾乎沒有浮現(xiàn)評估差別和相似性報道。代替技術(shù)即修正含義(例如，譜描述符數(shù)據(jù))在研究中很少被討論。本文旨在討論建立了預(yù)解決辦法對近紅外光譜和模型之間關(guān)系，更詳細(xì)地說，這些技術(shù)都是相應(yīng)獨立響應(yīng)變量，因此咱們只討論辦法，不需要一種響應(yīng)值。咱們同步關(guān)注預(yù)解決工藝?yán)碚摲矫婧蛯嶋H效果，這種辦法合用于近紅外光譜/NIT光譜。對固體樣品，干擾系統(tǒng)差別重要是由于光散射不同和有效途徑長度不同。這些不受歡迎變化經(jīng)常構(gòu)成了樣本集總變異重要某些，可以觀測到得轉(zhuǎn)變基線(乘法效應(yīng))和其她現(xiàn)象稱為非線性。普通來說，近紅外光譜反射率測量一種示例將測量普及性反映和鏡面反射輻射(鏡面反射)。鏡面反射普通由儀表設(shè)計和幾何采樣最小化，由于它們不含任何化學(xué)信息。這個diffusively反射光，這反映在廣泛方向，是信息重要來源在近紅外光譜。然而，diffusively反射光將包括信息化學(xué)成分不但示例(吸取)并且構(gòu)造(散射)。重要形式光散射(不涉及能量轉(zhuǎn)移與樣品)瑞利和洛倫茲米氏。兩者都是過程中電磁輻射是分散(例如，通過小粒子，泡沫，表面粗糙度，水滴，晶體缺陷，microorganelles、細(xì)胞、纖維和密度波動)。當(dāng)粒子尺寸不不大于波長，由于普通狀況下，NIR光譜，是重要洛侖茲米氏散射。相比之下，瑞利散射，是各向異性，洛倫茲米氏散射依賴形狀散射粒子和不強烈波長依賴性。對生物樣品，散射特性是過于復(fù)雜，因此軟或自適應(yīng)補償，光譜預(yù)解決技術(shù)，正如咱們近紅外光譜在本文中進行討論，規(guī)定刪除散射從純粹、抱負(fù)吸取光譜。顯然，預(yù)解決不能糾正鏡面反射率(直接散射)，自譜不包括任何精細(xì)構(gòu)造。光譜重要由鏡面反射率應(yīng)當(dāng)總是被移除之前為離群值多元數(shù)據(jù)分析，由于她們?nèi)詫⑹蔷滞馊?，甚至在預(yù)解決。圖1顯示了一組13好蔗糖和樣品不同粒徑加一壞蔗糖例子展示如何(極端)鏡面反射率體現(xiàn)比正常光譜。圖1還演示了總體布局大多數(shù)數(shù)據(jù)在本文中。上部圖，一種條形圖顯示了主成分得分值第一主成分(PC)后樣本集數(shù)據(jù)意味著定心[1]。下面某些顯示預(yù)解決效果數(shù)據(jù)集(或者，在這種狀況下，任何預(yù)解決)。有關(guān)系數(shù)r平方值之間酒吧和一種選定參照變量包括(在本例中，已知平均粒徑13蔗糖樣本)。蔗糖數(shù)據(jù)集，這種關(guān)系應(yīng)當(dāng)是低，例如，當(dāng)假設(shè)散射是一種阻礙粒子始發(fā);盡量小信息粒度應(yīng)當(dāng)保持在對的預(yù)解決。圖SEQ圖表\*ARABIC1近紅外光譜13蔗糖和樣品不同粒徑(最小粒子在底部，最大頂部;粒子尺寸范疇在20-540lm。黑色光譜顯示了一種鏡面反射率蔗糖樣本。酒吧是分?jǐn)?shù)值第一主成分13個蔗糖樣品主成分分析模型在完整光譜。一種示例數(shù)據(jù)預(yù)解決蔗糖中可以看到圖2，其中也包括一種其實一種示例數(shù)據(jù)預(yù)解決蔗糖中可以看到圖2，其中也包括一種其實從當(dāng)前起，在這篇文章中，咱們將演示效果不同預(yù)解決技術(shù)在小果膠數(shù)據(jù)集只包括7個樣品有不同限度酯化(%德;范疇在0-93%)[2]。這些樣品測定近紅外光譜反射率模式在光譜范疇1100-2500海里(收集每2海里區(qū)間;圖3)。咱們提供相應(yīng)第一因素PCA樣本得分后作為一種條形圖意味著定心，連同集中吸光度值在波長2244納米。咱們選取這個峰值，由于它在理論上應(yīng)當(dāng)描述%DE完美。對于本文，咱們假設(shè)信息在光譜相聯(lián)系果膠粒子大小和形狀應(yīng)當(dāng)被預(yù)解決技術(shù)，條形圖應(yīng)當(dāng)顯示一種線性行為與%德。為了闡明預(yù)解決影響在量化，咱們使用數(shù)據(jù)取自克里斯騰森etal。[3]。她們研究了一組32杏仁蛋白軟糖混合物，基于不同食譜，九個不同數(shù)據(jù)都在互聯(lián)網(wǎng)上可用(www。模型生活kudk)。所有杏仁蛋白軟糖樣品測定了六種不同近紅外光譜儀器和化學(xué)參照分析了水分和糖含量。在構(gòu)建一種定量回歸模型，重要是要打掃預(yù)測數(shù)據(jù)從非系統(tǒng)性散射變化，由于她們可以產(chǎn)生重大影響預(yù)測模型性能和模型復(fù)雜性或吝嗇。在本文中，咱們使用請預(yù)測這種定量響應(yīng)信息[4]。預(yù)解決辦法圖2上圖：數(shù)據(jù)被一種二階蔗糖乘法散射校正;底：相應(yīng)原則差每個波長，虛線是原始/未加工數(shù)據(jù)(見圖1)，固體是預(yù)解決數(shù)據(jù)。最廣泛使用預(yù)解決技術(shù)在近紅外光譜法(在兩個反射和透射模式)可以分為兩類：scattercorrection辦法和光譜衍生品。第一群散射校正預(yù)解決辦法涉及乘法散射校正(MSC)，逆MSC，擴展MSC(EMSC)，擴展逆MSC，de趨勢，原則正態(tài)變量(SNV)和原則化。圖3生/未加工光譜，7果膠樣本。藍(lán)線是一種示例有0%限度果膠酯化(DE)，紅色線是一種樣本93%德。打開條批示主成分分析(PCA)評分值在第一種PC為完整光譜，意味著定心，關(guān)閉了酒吧后光譜值在波長2244納米。光譜推導(dǎo)集團是為代表兩種技術(shù)在本文中：諾里斯威廉姆斯(NW)衍生品和Savitzky-Golay(SG)多項式導(dǎo)數(shù)過濾器。這兩種辦法都使用一種平滑光譜導(dǎo)數(shù)計算之前，以減少有害影響，老式信噪比有限差分衍生品會。預(yù)解決環(huán)節(jié)目的可以三種：提高后續(xù)摸索性分析提高后續(xù)疊層校正模型(力數(shù)據(jù)服從蘭伯特啤酒法律);或者，提高后續(xù)分類模型。朗伯比爾定律(方程(1))是經(jīng)驗對近紅外光譜/NIT和顯示成線性關(guān)系，吸取光譜和濃度(s)成分(s)：(1)其中作為吸光度，依賴波長摩爾吸光系數(shù)，代表光通過容器有效途徑長度，是成分濃度。朗伯比爾定律嚴(yán)格有效只有純透射系統(tǒng)沒有散射。在反射率測量，方程(1)是重新定義在類比透射率測量為：其中，是反射率。選取適當(dāng)預(yù)解決應(yīng)當(dāng)總是被以為是相對于持續(xù)建模階段。例如，如果數(shù)據(jù)集興趣不遵守法律，額外因素蘭伯特啤酒或組件在請回歸普通可以彌補這一抱負(fù)行為光譜預(yù)測[5]。缺陷涉及額外因素是提高模型復(fù)雜性，反過來，最有也許減少對將來預(yù)測模型魯棒性。所有預(yù)解決技術(shù)目的減少變化減少數(shù)據(jù)以增強特性謀求在光譜，經(jīng)常一種線性(簡樸)關(guān)系現(xiàn)象(例如，一種成分)興趣。通過使用一種適當(dāng)預(yù)解決技術(shù)，這可以實現(xiàn)，但總是有危險應(yīng)用了錯誤類型或應(yīng)用太嚴(yán)重預(yù)解決，將移除有價值信息。對的選取預(yù)解決是很難評估模型驗證之前，但是，普通來說，執(zhí)行幾種預(yù)解決環(huán)節(jié)是不可取，作為最低規(guī)定，預(yù)解決應(yīng)保持或減少復(fù)雜性有效模型。圖4樣品光譜(藍(lán)色點)密謀反抗一種選定參照光譜。標(biāo)量修正條款發(fā)現(xiàn)隨著攔截和邊坡黑色線條，就是發(fā)現(xiàn)從最小二乘回歸適合通過所有點。散射校正依照散射校正辦法，咱們考慮三個預(yù)解決概念：研究生，SNV和原則化。這些技術(shù)是為了減少(物理)可變性樣本之間由于散射。所有三個也調(diào)節(jié)基線樣本之間變化。3.1MSC乘法散射(或者，在普通狀況下，信號)校正(MSC)也許是最廣泛使用預(yù)解決技術(shù)對近紅外光譜(緊隨其后SNV和派生)。MSC其基本形式是由Martens初次引入等人1983年[6]，并進一步闡述了通過Geladi等人1985年[7]。MSC背后概念是，工件或缺陷(如，不良散射效應(yīng))將被刪除數(shù)據(jù)矩陣之前，數(shù)據(jù)建模。MSC包括兩個環(huán)節(jié)：預(yù)計校正系數(shù)(加法和乘法貢獻。(2)校正記錄光譜(3)其中：代表近紅外光譜儀器對一種原樣品進行光譜測量，代表參照光譜用于預(yù)解決整個數(shù)據(jù)集，是減少一某些，代表了修正后光譜，其中和都是標(biāo)量參數(shù)，這在每個樣品中具備不同代表含義，這個在圖4中進行闡明，對每個標(biāo)量參數(shù)進行理解釋。在大多數(shù)應(yīng)用中，平均頻譜校準(zhǔn)設(shè)立用作參照光譜。然而，一種通用參照光譜也可以應(yīng)用。在最初論文Martensetal。[6]，這是建議只使用那些某些光譜軸，不涉及有關(guān)信息(基線)。而這使得好光譜意義上說，很難擬定這些地區(qū)在實踐中，特別是在近紅外光譜測量，信號從不同化學(xué)成分是強烈重疊和有關(guān)，很少或主線沒有真正基線是發(fā)現(xiàn)。這是為什么，在大多數(shù)狀況下，整個頻譜用于查找標(biāo)量校正參數(shù)在MSC。圖5演示了應(yīng)用程序原則MSC對果膠數(shù)據(jù)。光譜特性果膠粉是守恒，而背景偏移和斜坡基本上是刪除(與圖3)。線性關(guān)系光譜和%德是不錯，但它并不完美。圖5數(shù)據(jù)預(yù)解決乘法散射校正用一階校正對平均頻譜?；拘问組SC已經(jīng)擴展成更復(fù)雜擴展(8-12)普通被稱為EMSC。這個擴展涉及二階多項式擬合參照光譜，擬合一種基線波長軸，和運用先驗知識從光譜興趣或光譜干擾物。在本文中，所有這些代替品被稱為MSC為簡樸起見，由于她們可以總結(jié)為一種單一方程：（4）其中，代表依賴波長軸修正向量，包括先驗知識涉及了想要/不必要光譜信息（例如一種已知光譜干擾物種）。方程(4)可以容易地擴大到涉及任何其她任何具備恰當(dāng)意義修正。代表了一組標(biāo)量(校正系數(shù))給出了方程(5)。（5）其中：偏差校正是依照修正改正對我是對校正訂單波長軸依賴，是糾正第i已知信息嗎相比喻程(2)，它可以觀測到方程(4)只是一種高階擴張之一想法。在本文中將不再做進一步討論，由于，在諸多實際狀況，參照光譜對想要和不必要成分并沒有現(xiàn)成可用。參照校正是最慣用辦法只有一種一階多項式。雖然沒有數(shù)學(xué)限制擴大到高階增長，有普通沒有光譜參數(shù)這樣做(除了也許如果重要瑞利散射是出當(dāng)前短波長區(qū)域。圖6顯示了成果一種二階多項式校正果膠數(shù)據(jù)。修正條款用于二階多項式參照校正只是發(fā)現(xiàn)了擬合二階(二次)多項式點在圖4。只有邊際改進獲得了比一階修正在圖5。波長軸依賴是最常涉及作為一種二階多項式擬合波長軸光譜。當(dāng)沒有參照校正涉及在內(nèi)，這個簡樸波長配件也名義光譜de趨勢[13]，它可以被視為一種基線校正。重要是要注意，涉及波長依賴性在完整校正方程(4)而不是讓它作為一種單獨環(huán)節(jié)會導(dǎo)致一種較小矯正效果。這是由于一種矩陣求逆操作同步執(zhí)行所有校正參數(shù)在MSC，不同修正會互相影響最小二乘法擬合準(zhǔn)則。當(dāng)一種波長依賴是獨立決定只有波長軸(而不是參照光譜)影響校正，這將導(dǎo)致一種趨平加工譜。這個效果可以看出通過比較無花果。7和8。正如前面提到，更加復(fù)雜修正(例如，高階多項式或其她轉(zhuǎn)換波長依賴性)可以很容易地納入MSC。Thennadil和馬丁[12]建議使用對數(shù)值波長，由于這是更多聲音來判斷光譜。然而，區(qū)別使用對數(shù)變換波長與使用一種一階多項式校正是最小，使這兩個辦法相似所有實用目。彼得森指出，etal。[9]，這是一種相稱簡樸過程，應(yīng)用逆版本MSC，稱為逆信號校正(ISC)[14]。預(yù)計校正參數(shù)，b系數(shù)，發(fā)現(xiàn)以類似方式來定期MSC：（6）請注意，xorg和xref已經(jīng)互換了地方比喻程(4)。一種運用(擴展)ISC(EISC)是簡樸修正方程：（7）圖6乘法散射校正光譜使用二階參照校正對平均頻譜。在ISC和EISC，無論是預(yù)計校正系數(shù)和校正自身中執(zhí)行可以被描述為一種邁進方式，使它能以便涉及附加條款和/或參照信號[9]。前面提到矩陣求逆操作所需參數(shù)預(yù)計在MSC可以很容易地成為數(shù)字壞脾氣如果它涉及高階多項式參照改正。這是一種論點支持ISC。然而，假設(shè)，ISC最小二乘法擬合，誤差在記錄光譜(糾正)不大于誤差為參照光譜。在大多數(shù)實際應(yīng)用，參照是平均譜計算樣本數(shù)據(jù)集從n(例如，校準(zhǔn)設(shè)立)。預(yù)期噪音水平數(shù)量級這個引用是不大于個人光譜(忽視了偏見由于散射差別集)。這是一種反對ISC，由于一種小錯誤在光譜預(yù)解決將會影響到更大限度比最初MSC。圖8乘法散射校正(MSC)與一種一階多項式參照校正對平均頻譜，另一方面是一種單獨MSC與二階多項式波長校正(去趨勢)。重要挑戰(zhàn)是定義一種適當(dāng)MSC參照光譜。正如前面提到過，這是最經(jīng)常設(shè)立為普通校準(zhǔn)光譜。加拉格爾等人[15]提供了一種天然變化來MSC通過包括一種加權(quán)方案在預(yù)解決環(huán)節(jié)。提出了兩個選?。?）使用一種預(yù)定義權(quán)向量波長軸向2）迭代搜索最優(yōu)權(quán)重向量迭代解決方案是通過給低體重發(fā)現(xiàn)變量或波長與高殘留差別原始數(shù)據(jù)和修正解決方案。權(quán)重計算將繼續(xù)，直到區(qū)別兩個后續(xù)迭代修正光譜不大于假定數(shù)據(jù)中噪聲水平。不幸是，這個相稱簡樸直接辦法并不總是適合近紅外光譜數(shù)據(jù)，自蔓延在更高波長范疇普通表白更分散，應(yīng)當(dāng)改正而不是權(quán)重小。圖9顯示了權(quán)重。用于最后修正給強調(diào)到shortwavelength地區(qū)，而長波長區(qū)域并不有助于校正在所有。另一種建議尋找參照校正在MSC都暗示了Windigetal?！^糊涂MSC[16]。這種辦法發(fā)現(xiàn)平均頻譜從msc修正數(shù)據(jù)集。接下來，MSC是多次重復(fù)更新參照光譜平均數(shù)據(jù)集糾正在每次迭代中環(huán)節(jié)。圖10顯示了成果糊涂MSC應(yīng)用到果膠數(shù)據(jù)集——在這種狀況下體現(xiàn)非常類似于呆頭呆腦MSC單純MSC。在呆頭呆腦MSC，可以遵循增長模型記錄信息，然后停止在收斂(兩個迭代環(huán)節(jié)普通是足夠)。疊加在圖10變化參照光譜從原始光譜平均值。3.2原則正態(tài)變量（SNV）SNV預(yù)解決也許是第二個最散射校正應(yīng)用辦法NIR/NIT數(shù)據(jù)[13]。在本文中，規(guī)范化(也稱為對象明智原則化)光譜將檢查在同一種小節(jié)由于明顯相似性兩個原則。SNV基本格式和正常化修正與老式MSC：圖9加權(quán)乘法散射校正，基于迭代重量決心。綠線顯示了最后權(quán)向量(任意規(guī)模貢獻)。（8）對于SNV，a0是平均值樣品光譜需要修正同步，為原則化，a0設(shè)立等于零。對于SNV，a1是原則偏差樣品光譜。圖11演示了SNV校正果膠數(shù)據(jù)集。對于正常化，不同向量規(guī)范可以用于比例因子a1，最常用是總金額絕對值元素向量(都市街區(qū)或出租車規(guī)范)或平方根之和平方元素(歐幾里得規(guī)范)。其她選項，有時也用正最大吸光度變量和正?；蛑鴨我贿x定波長。這兩個最后選項應(yīng)當(dāng)小心使用，由于她們可以有不良影響后續(xù)分析在例嘈雜數(shù)據(jù)。圖12顯示了效果。歐幾里得正常化，迄今為止最慣用正?；?，果膠數(shù)據(jù)集。這個信號校正背后概念SNV和原則化是相似MSC除了常用參照信號不是必須。相反，每個觀測自己解決，孤立于剩余設(shè)立。缺少需要一種共同參照也許是一種實際優(yōu)勢。由于SNV和歸一化不涉及一種最小二乘方擬合在她們參數(shù)預(yù)計，她們可以敏感嘈雜條目譜。相反，使用平均值和原則偏差作為校正參數(shù)，有人也許會考慮使用更健壯等價物這些記錄時刻。郭etal。[17]建議使用中檔或意味著內(nèi)部四分位范疇和原則偏差內(nèi)部四分位數(shù)預(yù)計為a0，a1，分別命名為“辦法”健壯正常變量”。這將是特別適當(dāng)狀況下光譜很模糊(如。在超快在線近紅外光譜應(yīng)用程序，在強勁辦法將會更受散射噪聲(例如，波長選取性反射顆粒液體流)]。魯棒預(yù)計影響她們演示郭etal。[17]對于模仿和實際數(shù)據(jù)。正如已經(jīng)討論了Dhanoaetal。[18]，有一種明顯相似性SNV和MSC。這種關(guān)系可以通過如下簡樸近似提出：（9）其中：普通原則偏差光譜，大意味著在所有光譜，都發(fā)現(xiàn)了從原始/未修正光譜(參見圖13)。圖10呆頭呆腦乘法散射校正與一種一階參照校正。綠線顯示了最后，差別開始參照光譜(任意規(guī)模貢獻)。圖11原則正態(tài)變量修正光譜圖1SEQ圖表\*ARABIC2歐幾里得規(guī)范歸一化光譜圖1SEQ圖表\*ARABIC3原則正態(tài)變量之間關(guān)系和乘法散射校正。藍(lán)色和紅色線條代表趨勢線預(yù)計在圖4。作為方程(9)表白，MSCandSNV相似到簡樸旋轉(zhuǎn)和抵消校正。對于本文中使用果膠數(shù)據(jù)，有關(guān)SNV預(yù)解決數(shù)據(jù)(圖11)和基本MSC修正數(shù)據(jù)(圖5)是0.9995后意味著中心。換句話說，MSC和SNV是相似對于大多數(shù)實際應(yīng)用。導(dǎo)數(shù)光譜衍生品有能力清除兩個添加劑和乘法效應(yīng)在光譜和已經(jīng)被用于分析光譜學(xué)了幾十年。這個概念表白在無花果。14對于一種簡樸高斯峰添加了基線和基線加上乘法效應(yīng)。第一種衍生品只刪除基線;二階導(dǎo)數(shù)刪除兩個基線和線性趨勢。在本文中，咱們將討論兩種不同辦法：SG和西北。兩個派生技術(shù)使用平滑為了不減少信噪比修正光譜太多。最基本辦法，推導(dǎo)是有限差別：一階導(dǎo)數(shù)是預(yù)計為區(qū)別兩個后續(xù)光譜測量分;二階導(dǎo)數(shù)是然后預(yù)計通過計算持續(xù)兩個點之間區(qū)別一階導(dǎo)數(shù)光譜：（10）（11）4.1諾里斯威廉姆斯推導(dǎo)西北推導(dǎo)是一種基本辦法，以避免噪音通脹開發(fā)在有限差別。這種技術(shù)是在1983年提出諾里斯[19]和闡述了通過諾里斯和威廉姆斯在1984年[20]作為一種辦法來計算導(dǎo)數(shù)近紅外/NIT光譜。西北派生包括兩個環(huán)節(jié)(見圖15)：平滑光譜，平均在一種給定點數(shù)量是執(zhí)行：（12）其中，中點數(shù)平滑窗口環(huán)繞電流測量點對于一階求導(dǎo)，以區(qū)別兩個平滑值與一種給定她們之間缺口大小(不不大于零);對二階求導(dǎo)，采用兩倍平滑值點我和平滑值在一種間隙距離兩邊：圖1SEQ圖表\*ARABIC4派生影響在添加劑(綠色)和添加劑加上乘法(紅色)影響。藍(lán)色光譜是光譜沒有任何補償，黑色虛線是零線。（13）可以看到從方程(13)，實際推導(dǎo)模仿一種有限差分(方程(10)和(11))。通過應(yīng)用一種平滑之前計算，通過引入一種缺口大小問題，減少信噪比減少。在文學(xué)、NW推導(dǎo)往往是緊隨其后正?；拚庾V。諾里斯和威廉姆斯[20]提出了規(guī)范化光譜強度相稱于在一種選定波長，但更復(fù)雜歸一化辦法可以使用。使用一種缺口很難捍衛(wèi)在近紅外光譜。這個概念經(jīng)常使用一種缺口，如果有一種(固定)頻率分量在數(shù)據(jù)，大小地方缺口將相應(yīng)于兩峰之間距離值信號。然而，在光譜學(xué)，有普通沒有這樣背景頻率貢獻。西北衍生作品由于高度co變異和平滑近紅外光譜和不一定由于光譜推理(見圖16)。一種有趣注旨在西北存在推導(dǎo)幾種設(shè)立(組合差距和平滑窗口)，給相似預(yù)計導(dǎo)數(shù)。再會。數(shù)，三分差距有五個平滑等于一種四點平滑與一種缺口大小三個;類似地，一種threepoint平滑有缺口七是同樣sixpoint平滑與一種缺口大小三個。這可以推廣到m點平滑與一種缺口大小k等于一種k1點平滑和一種缺口大小m。4.2Savitzky-Golay推導(dǎo)Savtizky和戈利(SG)[21]推廣一種辦法推導(dǎo)數(shù)值一種向量，涉及一種平滑一步。為了找到導(dǎo)數(shù)在中心點我，一種多項式擬合在一種對稱窗口原始數(shù)據(jù)(參見圖17)。當(dāng)參數(shù)對于這個多項式計算，任何順序?qū)?shù)這個函數(shù)可以很容易地發(fā)現(xiàn)分析，這個值隨后被用作導(dǎo)數(shù)估算出這個中心點(參閱圖。18)。這個操作是應(yīng)用于所有分光譜順序。點數(shù)目用來計算多項式(窗口大小)和限度擬合多項式都決定要做，。最高衍生物，可以擬定取決于學(xué)位多項式擬合過程中使用(即一種三階多項式可用于預(yù)計三階導(dǎo)數(shù))。圖1SEQ圖表\*ARABIC5預(yù)計一階導(dǎo)數(shù)，諾里斯威廉姆斯。支持率窗口用于平滑，和一種缺口大小3應(yīng)用于派生。咱們注意到有一種內(nèi)在冗余層次構(gòu)造SG推導(dǎo)。對于每個派生，隨后兩多項式適合將給相似預(yù)計系數(shù)。第一導(dǎo)數(shù)，一種一級多項式和二級多項式將給出同樣答案(如將第三和第四度)。對二階導(dǎo)數(shù)，第二和第三級別多項式將給出同樣答案(如將第四和第五度)，等。當(dāng)這個辦法是一方面引入了Savitzky和戈利[21]，它依然是計算繁瑣計算參數(shù)估算導(dǎo)數(shù)。出于這個因素，作者報道一組表列值幾種不同類型衍生品和多項式組合。然而，錯誤在她們第一篇文章簡介了，Steinieretal。[22]刊登一種修正和擴展版本原始表。這些餐桌是日后甚至進一步擴大，發(fā)狂[23]。然而，隨著當(dāng)代計算機，不再有任何真正需要為這些表。原始形式NW，SG推導(dǎo)使用對稱窗口平滑，規(guī)定數(shù)據(jù)點數(shù)量在每一邊中心點是相似。因而，忽視某些點技術(shù)在每一端在預(yù)解決。為NW推導(dǎo)，點數(shù)目失去了數(shù)等于分用于平滑加上差距大小減去一種。對于SG推導(dǎo)，點數(shù)目失去了數(shù)等于分用于平滑減一。因而吸取更多點NW推導(dǎo)比SG推導(dǎo)。如果譜向量是長(即超過500點)，這個問題不重要，但是，對于較短光譜(例如，二極管陣列儀器)，這個損失波長也許是重要。每天p和舍伍德在1980年[24]和[25]天呀在1990年提出一種解決方案，涉及使用一種基于非對稱多項式擬合終端窗口。在實踐中，這意味著米第一種得分譜預(yù)計從2m+1第一分光譜，和一種類似預(yù)計去年米點。然而，這樣解決方案將簡介，顯然工件精度衍生品隨距離中心點(m+1)。此外，預(yù)計端點并不擁有內(nèi)在冗余提到：沒有兩個后續(xù)SG多項式秩序配件將給相似預(yù)計。此外，預(yù)計潛孔導(dǎo)數(shù)相等所有端點如果譜是平滑潛孔秩序多項式。NW推導(dǎo)類似于有限差別，但引入了平滑和缺口大小為counteractions在預(yù)計衍生物光譜保持信號-噪音比例。這兩個環(huán)節(jié)在NW派生或多或少是獨立。然而，SG推導(dǎo)使用更多常用過濾技術(shù)來估算導(dǎo)數(shù)光譜，而不是使用有限差分辦法，適合一種多項式通過一系列點來維持一種可接受信噪比。普通來說，NW，SG派生不給相似預(yù)計。唯一一雙設(shè)立，讓相似成果是三個平滑分兩，SG使用一階多項式配合，在西北氣隙大小等于1。然而，更復(fù)雜(和現(xiàn)實)設(shè)立為SG和/或NW自動導(dǎo)致(稍微)不同推導(dǎo)成果。圖1SEQ圖表\*ARABIC6諾里斯威廉姆斯二階導(dǎo)數(shù)使用9點平滑和一種缺口大小3。間隔和聯(lián)合版本提到預(yù)解決技術(shù)迄今為止，只有預(yù)計衍生品是由一種移動窗操作，只有一種本地某些(窗口)光譜用于任何時間預(yù)計校正。然而，所有其她辦法同樣可以在一種窗口明智方式執(zhí)行。伊薩克松和科瓦爾斯基[26]建議這詳盡分析，并將其命名為分段MSC(PMSC)。Andersson[27]預(yù)解決辦法相比代替兩個版本PMSC：移動窗或本地預(yù)解決(劃提成幾某些波長軸和執(zhí)行預(yù)解決在每一種某些分別)。這個移動窗版本預(yù)解決技術(shù)獲得了某些利益，從近紅外光譜社區(qū)，也許是由于對的選取窗口大小是至關(guān)重要，它是遠(yuǎn)離瑣碎要對的做到這點。過小窗口會導(dǎo)致引進大型工件在糾正光譜和減少信噪比。然而，更大窗口大小，較小完整和移動窗之間區(qū)別預(yù)處圖1SEQ圖表\*ARABIC7預(yù)計，Savitzky-Golay一階導(dǎo)數(shù)。支持率窗戶，一種二階多項式是用來平滑理(見圖19)。本地窗口預(yù)解決是有用，特別是在記錄狀況下測量光譜從視覺范疇或短波近紅外光譜中期紅外范疇。在這個寬光譜區(qū)，幾種不同散射問題并存，和光譜應(yīng)當(dāng)相應(yīng)分割，執(zhí)行單獨散射糾正在不同某些。然而，由于這不是本質(zhì)上不同于在區(qū)域劃分光譜預(yù)解決辦法，應(yīng)用獨立，咱們不討論它進一步。使用預(yù)解決辦法組合是豐富文學(xué)，原則上，任何序列預(yù)解決是也許。然而，如下簡樸規(guī)則可以作為最初指引方針。散射校正(除了原則化)應(yīng)當(dāng)被執(zhí)行之前，分化。這些技術(shù)都是設(shè)計用于修正原始光譜，從未被以為是修正一種分化或基線糾正譜?？梢允褂靡?guī)范化兩端校正，盡管它是容易評估正常化影響如果是任何其他操作之前執(zhí)行。SNV之間基本差別與隨后消除趨勢和MSC與參照和基線校正是，在MSC，同步應(yīng)用兩個修正，而不是持續(xù)。因而，普通會給一種較小MSC基線校正比SNV加德趨勢。另一方面是SNV執(zhí)行de趨勢并不推薦Barnesetal。[13]，基于以上因素，不推薦進行消除趨勢第一。一種定量例子圖1SEQ圖表\*ARABIC8Savitzky-Golay預(yù)計二階導(dǎo)數(shù)使用9分和一種二階多項式平滑。當(dāng)前咱們將應(yīng)用所有預(yù)解決辦法討論到一種定量分光任務(wù)涉及32杏仁蛋白軟糖樣品測量六非常不同光譜分析儀作為預(yù)測變量兩種不同響應(yīng)變量：水分和糖含量。這些數(shù)據(jù)來自一項由克里斯騰森etal。[3]。圖20顯示了一種，光譜集。對于一種總結(jié)數(shù)據(jù)，見表1。在這里，咱們展示了pls回歸模型，建立所有六個近紅外光譜儀器，和響應(yīng)分別(所謂PLS1模型[5])。杏仁糖近紅外光譜數(shù)據(jù)集是不同預(yù)解決技術(shù)解決本文中描述。除了設(shè)立用于理論某些，某些更極端參數(shù)設(shè)立進行估算，以顯示分段MSC使用合理選取重要性。沒有樣本被當(dāng)作是例外，由于所有樣本體現(xiàn)不錯在最初摸索性分析。引導(dǎo)錯誤預(yù)計[28]被用作驗證辦法。共有1000引導(dǎo)圖紙進行每種組合數(shù)據(jù)集、引用和預(yù)解決。同一套圖紙是用于所有數(shù)據(jù)集，除了儀器1，只有十五32樣品進行了測量。0.632引導(dǎo)預(yù)計預(yù)測誤差進行了計算見方程(14)，按照Wehrensetal。[28]（14）其中預(yù)測誤差預(yù)計并且和普通校準(zhǔn)(樣本每一種引導(dǎo)得出選取)和預(yù)測(不是每一種樣本選取引導(dǎo)畫)錯誤在所有引導(dǎo)圖紙。最優(yōu)數(shù)量因素，f，是決定基于0.632引導(dǎo)預(yù)計，選取第一種最低或地方RMSEf曲線作為函數(shù)因素變得平緩(RMSEf曲線斜率是常數(shù))。

圖1SEQ圖表\*ARABIC9移動窗口原則正態(tài)變量使用129nm移動窗口(65測量分)。通過應(yīng)用所有預(yù)解決技術(shù)相似樣本集記錄六個不同工具和/或光學(xué)測量幾何圖形(分散，干涉儀，反射、透射和光纖探針)使用兩個不同響應(yīng)(水分和糖)，某些普通性性能差別是顯示(見Tables2和3)。作為一種非常一方面觀測，它是安慰，幾乎所有預(yù)解決模型是簡樸或更簡約(例如，使用更少請因素)比全球模型、獨立光譜儀建立和獨立響應(yīng)變量。第二個普通觀測，過濾器儀器1在反射模式不是競爭在測量杏仁糖樣品(RMSEmoisture=0.75、4潛變量(lv)和RMSEsugar=2.30，3lv;但咱們需要記住，只有1532樣品測量)和預(yù)解決沒有協(xié)助，讓它回落到其他樂器水平。過濾器工具并不是真正兼容光譜派生技術(shù)，但其她預(yù)解決技術(shù)也未能達(dá)到預(yù)期性能。第三個普通評論可以在全息信息內(nèi)容近紅外光譜，在這種信息(泛音)會重復(fù)浮現(xiàn)多次。小光譜范疇850-1050海里(覆蓋著儀器6)，它包括第二泛音o-h和nh伸展和第三泛音從完全競爭延伸與更精密儀器覆蓋完整或老式近紅外光譜區(qū)域。此外，很有趣一點是，創(chuàng)立模型從光譜從傳播基本儀器6普通是最簡樸，甚至在預(yù)解決。顯然，從密度波動散射測量樣品傳播方式不太苛求比反射散射測量反射模式。當(dāng)談到預(yù)解決，這是令人驚訝，與所有其她樂器，歐幾里得規(guī)范工作得非常好，提供了最佳成果對儀表6(RMSEmoisture=0.38，3lv，RMSEsugar=1.39，5lv)。因素也許是，這小NIR區(qū)域包括所有氫鍵覆蓋從示例和一種規(guī)范化辦法從而相應(yīng)于整合所有質(zhì)子信號并設(shè)立質(zhì)子密度樣本之間平等。除了原則化辦法，這似乎是一種較好預(yù)解決，衍生品方略對于這種類型數(shù)據(jù)，由于她們可以始終簡化模型，特別明顯對于糖預(yù)測。圖表SEQ圖表\*ARABIC2032杏仁蛋白軟糖樣品測量儀器2，在間隔1100-2500海里。對于剩余全地區(qū)近紅外光譜儀器2-5，咱們發(fā)現(xiàn)某些有趣和強大差別取決于響應(yīng)變量，大概是由于含水率是一種低辨別率光譜任務(wù)而糖含量是一種高辨別率問題。對于水分模型、色散儀器2和3幾乎總是比模型基于傅里葉變換工具4和5。最佳整體模型為工具PSNVwindow-width發(fā)現(xiàn)2129預(yù)解決(RMSE=0.30、4lv)和最佳傅里葉變換模型是發(fā)現(xiàn)對儀表5用光纖運用MSC和secondorder參照校正(RMSE=0.37，5lv)。當(dāng)添加一種光纖探針儀器2(=儀器3)，模型復(fù)雜性增長(平均3lv)。這個大差別可以分派到更復(fù)雜光學(xué)幾何后期系統(tǒng)。此外，性能沒有預(yù)解決是相似(RMSE=0.42)，但預(yù)解決性能儀器3是劣質(zhì)(RMSE=0.37，10個lv使用SNV和MSC)最佳模型儀器2。對于糖模型，狀況幾乎是逆轉(zhuǎn)。在這里，干涉儀基本儀器4顯示始終最佳模型，但更復(fù)雜，大概是由于更好光譜辨別率儀器。最佳整體模型對儀表與MSC1st發(fā)現(xiàn)4訂單ref，二階波浪預(yù)解決(RMSE=0.92，9lv)，遠(yuǎn)比最佳色散成果(RMSE=1.30、4lv對儀表2)但也復(fù)雜得多。再一次，對于糖模型，添加一種光纖探針儀器2(=儀器3)使得模型劣質(zhì)和復(fù)雜得多(平均兩個lv和增長最佳兩個模型之間RMSE從1.22到1.81對于儀器儀表23)。這個移動窗版本SNV和MSC顯示不同成果。普通來說，移動窗版本給成果類似于或比最佳剩余預(yù)解決辦法。然而，頂多10%RMSE是比最佳正常預(yù)解決技術(shù)，但窗口選取也許很容易成為一種核心參數(shù)。相比之下，某些次優(yōu)移動窗辦法都包括在最后三行表2和3。差別有限差分辦法，推導(dǎo)和更復(fù)雜辦法是不明顯預(yù)計第一導(dǎo)數(shù)某些測量(儀器2、3和6)。這很適合這些系統(tǒng)平穩(wěn)行為，表白額外平滑是沒有必要。這個干涉儀(儀器4和5)有一種更好光譜辨別率，給上升到一種更高限度精細(xì)構(gòu)造，導(dǎo)致低信噪比在預(yù)計一階導(dǎo)數(shù)有限差分法。這最后導(dǎo)致劣質(zhì)模型。成果，使用有限差分第二衍生品普通是，她們都不如更復(fù)雜辦法。這表白在信噪比7.總結(jié)顯然，咱們定量例子并不能給出權(quán)威回答，例如哪些預(yù)解決使用在何種給定狀況下。然而，它的確使用原則化在短波近紅外透射光譜是明智和運用MSC(一階參照校正)或原則SNV對于大多數(shù)其她某些狀況。雖然很難找到最佳預(yù)解決，這確是可以使用錯誤預(yù)解決。這重要是由于不對的參數(shù)設(shè)立窗口大小和/或平滑函數(shù)預(yù)計衍生品和移動窗技術(shù)。最后，咱們強調(diào)任何預(yù)解決只是對模型進行一定量改進，全局建模大概25%在咱們研究中。25%降價，而也許是重要工業(yè)應(yīng)用[29]，這是幾乎沒有什么使區(qū)別在許多多元可行性研究蓬勃發(fā)展，在科學(xué)文獻中，咱們可以推薦選取預(yù)解決，以實現(xiàn)最佳，最具備闡明模型。參照文獻[1]S.Wold，K.Esbensen，P.Geladi，Chemom.Intell.Lab.Syst.2(1987)37.[2]S.B.Engelsen，E.Mikkelsen，L.Munck，Progr.ColloidPolym.Sci.108(1998)166.[3]J.Christensen，L.N?rgaard，H.Heimdal，J.G.Pedersen，S.B.Engelsen，J.NearInfraredSpectrosc.12()63.[4]S.Wold，H.Martens，H.Wold，Lect.NotesMath.973(1983)286.[5]H.Martens，T.N?s，MultivariateCalibration，Wiley，NewYork，USA，1989.[6]H.Martens，S.A.Jensen，P.Geladi，Multivariatelinearitytransformationsfornearinfraredreflectancespectroscopy，in：O.H.J.Christie(Editor)，Proc.NordicSymp.AppliedStatistics，StokklandForlag，Stavanger，Norway，1983，pp.205–234.[7]P.Geladi，D.MacDougal，H.Martens，Appl.Spectrosc.39(1985)491.[8]H.Martens，E.Stark，J.Pharm.Biomed.Anal.9(1991)625.[9]D.K.Pedersen，H.Martens，J.P.Nielsen，S.B.Engelsen，Appl.Spectrosc.56()1206–1214.[10]H.Martens，J.P.Nielsen，S.B.Engelsen，Anal.Chem.75()394.[11]M.Decker，P.V