最常見的近紅外光譜的預(yù)處理技術(shù)的綜述

資料范本本資料為word版本，可以直接編輯和打印，感謝您的下載最常見的近紅外光譜的預(yù)處理技術(shù)的綜述地點(diǎn)： 時(shí)間： 說明：本資料適用于約定雙方經(jīng)過談判，協(xié)商而共同承認(rèn)，共同遵守的責(zé)任與義務(wù)，僅供參考，文檔可直接下載或修改，不需要的部分可直接刪除，使用時(shí)請?jiān)敿?xì)閱讀內(nèi)容最常見的近紅外光譜的預(yù)處理技術(shù)的綜述smundRinnan,FransvandenBerg,SorenBallingEngelsen摘要：預(yù)處理在近紅外(NIR)光譜數(shù)據(jù)處理化學(xué)計(jì)量學(xué)建模中已經(jīng)成為不可分割的一部分。預(yù)處理的LI的是消除光譜中物理現(xiàn)象在為了提高后續(xù)多元回歸、分類模型或探索性分析。最廣泛使用的預(yù)處理技術(shù)可以分為兩類：散射校正方法和光譜間隔方法。綜述和比較了算法的基礎(chǔ)理論和當(dāng)前的預(yù)處理方法以及定性和定量的后果的應(yīng)用程序。其H的是提供更好的"R最終模型的建立，在此我們通過對光譜的預(yù)處理基本知識進(jìn)行梳理。關(guān)鍵詞：乘法散射校正；近紅外光譜法；標(biāo)準(zhǔn)化；諾里斯威廉姆斯推導(dǎo)；預(yù)處理；Savitzky-Golay平滑；散射校正；光譜導(dǎo)數(shù);標(biāo)準(zhǔn)正態(tài)變量；綜述引言LI前為止，沒有能夠優(yōu)化數(shù)據(jù)來進(jìn)行代替，但是經(jīng)過適當(dāng)?shù)臄?shù)據(jù)收集和處理將會起到優(yōu)化效果，對光譜數(shù)據(jù)進(jìn)行預(yù)處理是最重要的一步(例如最優(yōu)化之前疊層建模)，常用的方法有主成分分析(PCA)和偏最小二乘法(PLS)。在大量的文獻(xiàn)中，多變量光譜應(yīng)用食品、飼料和醫(yī)藥分析，比較不同的預(yù)處理的結(jié)果研究模型的預(yù)測結(jié)果是不可分割的組成部分。近紅外反射/透射率(NIR/NIT)光譜的光譜技術(shù)，到H前為止最多被使用的和最大的多樣性在預(yù)處理技術(shù)，主要是山于入非線性光散射的光譜可以引起顯著影響。山于類似規(guī)模的波長的電磁輻射和粒子大小的近紅外光譜在生物樣品，近紅外光譜技術(shù)是一種不被廣泛使用是山于存在散射效應(yīng)(包括基線轉(zhuǎn)變和非線性)，這將會影響樣品光譜的結(jié)果的記錄。然而，通過應(yīng)用合適的預(yù)處理，可以很大程度上消除這些影響。在應(yīng)用研究中，比較了兒乎完全不同的定標(biāo)模型(定量描述符和相應(yīng)關(guān)系)。兒乎沒有出現(xiàn)評估的差異和相似性的報(bào)道。替代技術(shù)即修正的含義(例如，譜描述符數(shù)據(jù))在研究中很少被討論。本文旨在討論建立了預(yù)處理方法對近紅外光譜和模型之間的關(guān)系，更具體地說，這些技術(shù)都是對應(yīng)獨(dú)立的響應(yīng)變量，所以我們只討論方法，不需要一個(gè)響應(yīng)值。我們同時(shí)關(guān)注預(yù)處理工藝?yán)碚摲矫娴暮蛯?shí)際效果，這種方法適用于近紅外光譜/NIT光譜。對固體樣品，干擾系統(tǒng)的差異主要是因?yàn)楣馍⑸涞牟煌陀行窂介L度的不同。這些不受歡迎的變化常常構(gòu)成了樣本集的總變異的主要部分，可以觀察到得轉(zhuǎn)變基線（乘法效應(yīng)）和其他現(xiàn)象稱為非線性。一般來說，近紅外光譜反射率測量的一個(gè)示例將測量普及性的反映和鏡面反射輻射（鏡面反射）。鏡面反射通常山儀表設(shè)計(jì)和兒何的采樣最小化，因?yàn)樗鼈儾缓魏位瘜W(xué)信息。這個(gè)diffusively反射的光，這反映在廣泛的方向，是信息的主要來源在近紅外光譜。然而，diffusively反射光將包含信息的化學(xué)成分不僅示例（吸收）而且結(jié)構(gòu)（散射）。主要的形式的光散射（不包括能量轉(zhuǎn)移與樣品）瑞利和洛倫茲米氏。兩者都是過程中電磁輻射是分散的（例如，通過小粒子，泡沫，表面粗糙度，水滴，品體缺陷，microorganelles＞細(xì)胞、纖維和密度波動(dòng)）。當(dāng)粒子尺寸大于波長，因?yàn)橥ǔＧ闆r下，NIR光譜，是主要的洛侖茲米氏散射。相比之下，瑞利散射，是各向異性，洛倫茲米氏散射依賴的形狀散射粒子和不強(qiáng)烈波長依賴性。對生物樣品，散射特性是過于復(fù)雜，所以軟或自適應(yīng)補(bǔ)償，光譜預(yù)處理技術(shù)，正如我們近紅外光譜在本文中進(jìn)行討論，要求刪除散射從純粹的、理想的吸收光譜。顯然，預(yù)處理不能糾正鏡面反射率（直接散射），自譜不包含任何精細(xì)結(jié)構(gòu)。光譜主要山鏡面反射率應(yīng)該總是被移除之前為離群值多元數(shù)據(jù)分析，因?yàn)樗麄內(nèi)詫⑹蔷滞馊?，其至在預(yù)處理。圖1顯示了一組13好蔗糖和樣品不同粒徑加一壞蔗糖的例子展示如何（極端）鏡面反射率表現(xiàn)比正常的光譜。圖1還演示了總體布局的大多數(shù)數(shù)據(jù)在本文中。上部的圖，一個(gè)條形圖顯示了主成分得分值笫一主成分（PC）后的樣本集數(shù)據(jù)意味著定心［1］。下面部分顯示預(yù)處理效果的數(shù)據(jù)集（或者，在這種情況下，任何預(yù)處理）。相關(guān)系數(shù)r的平方值之間的酒吧和一個(gè)選定的參考變量包含（在本例中，已知的平均粒徑的13蔗糖樣本）。蔗糖的數(shù)據(jù)集，這種關(guān)系應(yīng)該是低，例如，當(dāng)假設(shè)散射是一種阻礙粒子始發(fā);盡可能小的信息的粒度應(yīng)該保持在正確的預(yù)處理。圖SEQ圖表\*ARABIC1近紅外光譜的13蔗糖和樣品不同粒徑（最小的粒子在底部，最大的頂部;粒子尺寸范圍在20-540Imo黑色的光譜顯示了一個(gè)鏡面反射率蔗糖樣本。酒吧是分?jǐn)?shù)值笫一主成分的13個(gè)蔗糖樣品主成分分析模型在完整的光譜。一個(gè)示例數(shù)據(jù)的預(yù)處理蔗糖中可以看到圖2,其中也包含一個(gè)其實(shí)的一個(gè)示例數(shù)據(jù)預(yù)處理的蔗糖中可以看到圖2,其中也包含一個(gè)其實(shí)從現(xiàn)在起，在這篇文章中，我們將演示效果不同的預(yù)處理技術(shù)在小果膠數(shù)據(jù)集只包含7個(gè)樣品有不同程度的酯化伽德;范圍在0-93%)[2]o這些樣品測定近紅外光譜反射率模式在光譜范圍1100-2500海里(收集每2海里區(qū)間；圖3)。我們提供相應(yīng)的第一因素PCA樣本得分后作為一個(gè)條形圖意味著定心，連同集中吸光度值在波長2244納米。我們選擇這個(gè)峰值，因?yàn)樗诶碚撋蠎?yīng)該描述％DE完美。對于本文，我們假設(shè)信息在光譜相聯(lián)系的果膠粒子大小和形狀應(yīng)該被預(yù)處理技術(shù)，條形圖應(yīng)該顯示一個(gè)線性行為與%德。為了說明預(yù)處理的影響在量化，我們使用數(shù)據(jù)取自克里斯騰森etalo[3]。他們研究了一組32杏仁蛋白軟糖混合物，基于不同的食譜，九個(gè)不同的數(shù)據(jù)都在互聯(lián)網(wǎng)上可用的(www°模型的生活kudk)o所有的杏仁蛋口軟糖樣品測定了六種不同的近紅外光譜儀器和化學(xué)參考分析了水分和糖含量。在構(gòu)建一個(gè)定量的回歸模型，重要的是要打掃預(yù)測數(shù)據(jù)從非系統(tǒng)性散射變化，因?yàn)樗麄兛梢援a(chǎn)生重大影響的預(yù)測模型的性能和模型的復(fù)雜性或吝尚。在本文中，我們使用請預(yù)測這種定量響應(yīng)信息[4]。預(yù)處理方法圖2上圖：數(shù)據(jù)被一個(gè)二階蔗糖乘法散射校正;底：相應(yīng)的標(biāo)準(zhǔn)差每個(gè)波長，虛線是原始/未加工的數(shù)據(jù)(見圖1),固體是預(yù)處理的數(shù)據(jù)。最廣泛使用的預(yù)處理技術(shù)在近紅外光譜法(在兩個(gè)反射和透射模式)可以分為兩類：scattercorrection方法和光譜衍生品。第一群散射校正預(yù)處理方法包括乘法散射校正(MSC),逆MSC,擴(kuò)展MSC(EMSC),擴(kuò)展逆MSC,de趨勢，標(biāo)準(zhǔn)正態(tài)變量(SNV)和標(biāo)準(zhǔn)化。圖3生/未加工的光譜，7果膠樣本。藍(lán)線是一個(gè)示例有0%程度的果膠酯化(DE),紅色的線是一個(gè)樣本93%德。打開條指示主成分分析(PCA)評分值在第一個(gè)PC為完整的光譜，意味著定心，關(guān)閉了酒吧后的光譜值在波長2244納米。光譜推導(dǎo)集團(tuán)是為代表的兩種技術(shù)在本文中：諾里斯威廉姆斯(NW)衍生品和Savitzky-Golay(SG)多項(xiàng)式導(dǎo)數(shù)過濾器。這兩種方法都使用一個(gè)平滑的光譜導(dǎo)數(shù)汁算之前，以減少有害的影響，傳統(tǒng)的信噪比有限差分衍生品會。預(yù)處理步驟的LI標(biāo)可以三種：提高后續(xù)探索性分析提高后續(xù)疊層校正模型(力數(shù)據(jù)服從蘭伯特啤酒法律)；或者，提高后續(xù)的分類模型。朗伯比爾定律(方程(1))是經(jīng)驗(yàn)對近紅外光譜/NIT和顯示成線性關(guān)系，吸收光譜和濃度(s)的成分(s)：(1)其中作為吸光度，依賴波長的摩爾吸光系數(shù)，代表光通過容器有效的路徑長度，是成分的濃度。朗伯比爾定律嚴(yán)格有效的只有純透射系統(tǒng)沒有散射。在反射率測量，方程(1)是重新定義在類比透射率的測量為：其中，是反射率。選擇合適的預(yù)處理應(yīng)該總是被認(rèn)為是相對于連續(xù)建模階段。例如，如果數(shù)據(jù)集的興趣不遵守法律，額外因素蘭伯特啤酒或組件在請回歸通?？梢詮浹a(bǔ)這一理想的行為的光譜預(yù)測［5］。的缺點(diǎn)包括額外的因素是提高模型的復(fù)雜性，反過來，最有可能減少對未來預(yù)測的模型的魯棒性。所有的預(yù)處理技術(shù)的口標(biāo)減少變化降低數(shù)據(jù)以增強(qiáng)特性尋求在光譜，常常一個(gè)線性(簡單的)關(guān)系現(xiàn)象(比如，一個(gè)成分)的興趣。通過使用一個(gè)合適的預(yù)處理技術(shù)，這可以實(shí)現(xiàn)，但總是有危險(xiǎn)的應(yīng)用了錯(cuò)誤的類型或應(yīng)用太嚴(yán)重的預(yù)處理，將移除有價(jià)值的信息。正確的選擇的預(yù)處理是很難評估模型驗(yàn)證之前，但是，一般來說，執(zhí)行兒個(gè)預(yù)處理步驟是不可取的，作為最低要求，預(yù)處理應(yīng)保持或降低復(fù)雜性的有效模型。圖4樣品光譜(藍(lán)色的點(diǎn))密謀反抗一個(gè)選定的參考光譜。標(biāo)量修正條款發(fā)現(xiàn)隨著攔截和邊坡的黑色線條，就是發(fā)現(xiàn)從最小二乘回歸適合通過所有的點(diǎn)。散射校正根據(jù)散射校正方法，我們考慮三個(gè)預(yù)處理的概念：碩士，SNV和標(biāo)準(zhǔn)化。這些技術(shù)是為了減少（物理）可變性樣本之間由于散射。所有三個(gè)也調(diào)整基線樣本之間的變化。1MSC乘法散射（或者，在一般情況下，信號）校正（MSC）可能是最廣泛使用的預(yù)處理技術(shù)對近紅外光譜（緊隨其后SNV和派生）。MSC其基本形式是山Martens首次引入等人1983年[6],并進(jìn)一步闡述了通過Geladi等人1985年[7]。MSC背后的概念是，工件或缺陷（如，不良的散射效應(yīng)）將被刪除的數(shù)據(jù)矩陣之前，數(shù)據(jù)建模。MSC包含兩個(gè)步驟：估計(jì)的校正系數(shù)（加法和乘法的貢獻(xiàn)。（2）校正記錄的光譜（3）其中：代表近紅外光譜儀器對一個(gè)原樣品進(jìn)行光譜測量，代表參考光譜用于預(yù)處理的整個(gè)數(shù)據(jù)集，是降低的一部分的，代表了修正后的光譜，其中和都是標(biāo)量參數(shù)，這在每個(gè)樣品中具有不同的代表含義，這個(gè)在圖4中進(jìn)行說明，對每個(gè)標(biāo)量參數(shù)進(jìn)行了解釋。在大多數(shù)應(yīng)用中，平均頻譜的校準(zhǔn)設(shè)置用作參考光譜。然而，一個(gè)通用參考光譜也可以應(yīng)用。在最初的論文Martensetalo[6],這是建議只使用那些部分光譜軸，不包括相關(guān)信息（基線）。而這使得好的光譜意義上說，很難確定這些地區(qū)在實(shí)踐中，特別是在近紅外光譜測量，信號從不同的化學(xué)成分是強(qiáng)烈重疊和相關(guān)，很少或根本沒有真正的基線是發(fā)現(xiàn)。這是為什么，在大多數(shù)情況下，整個(gè)頻譜用于查找標(biāo)量校正參數(shù)在MSC。圖5演示了應(yīng)用程序的標(biāo)準(zhǔn)MSC對果膠的數(shù)據(jù)。光譜特征的果膠粉是守恒的，而背景偏移和斜坡基本上是刪除（與圖3）。的線性關(guān)系光譜和%德是不錯(cuò)，但它并不完美。圖5數(shù)據(jù)預(yù)處理的乘法散射校正用一階校正對平均頻譜?；拘问降腗SC已經(jīng)擴(kuò)展成更復(fù)雜的擴(kuò)展(8-12)通常被稱為EMSC。這個(gè)擴(kuò)展包括二階多項(xiàng)式擬合參考光譜，擬合的一個(gè)基線的波長軸，和利用先驗(yàn)知識從光譜的興趣或光譜干擾物。在本文中，所有這些替代品被稱為MSC為簡單起見，因?yàn)樗麄兛梢钥偨Y(jié)為一個(gè)單一的方程：(4)其中，代表依賴波長軸的修正向量，包含先驗(yàn)知識包括了想要/不必要的光譜信息(比如一個(gè)已知的光譜干擾的物種)。方程(4)可以輕易地?cái)U(kuò)大到包括任何其他任何具有適當(dāng)意義的修正。代表了一組標(biāo)量(校正系數(shù))給出了方程(5)。(5)其中：偏差校正是根據(jù)的修正改正對我是對校正訂單波長軸依賴，是糾正第i已知信息嗎相比方程(2),它可以觀察到方程(4)只是一個(gè)高階擴(kuò)張之一的想法。在本文中將不再做進(jìn)一步的討論，因?yàn)?，在很多?shí)際情況，參考光譜對想要的和不必要的成分并沒有現(xiàn)成可用的。參考校正是最常用的方法只有一個(gè)一階多項(xiàng)式。即使沒有數(shù)學(xué)限制擴(kuò)大到高階增加，有通常沒有光譜參數(shù)這樣做(除了也許如果重要的瑞利散射是出現(xiàn)在短的波長區(qū)域。圖6顯示了結(jié)果的一個(gè)二階多項(xiàng)式校正的果膠數(shù)據(jù)。修正條款用于二階多項(xiàng)式參考校正只是發(fā)現(xiàn)了擬合二階(二次)多項(xiàng)式的點(diǎn)在圖4o只有邊際改進(jìn)取得了比一階修正在圖5。波長軸的依賴是最常包括作為一個(gè)二階多項(xiàng)式擬合的波長軸的光譜。當(dāng)沒有參考校正包括在內(nèi)，這個(gè)簡單的波長配件也的名義光譜de趨勢[13],它可以被視為一個(gè)基線校正。重要的是要注意，包括波長依賴性在完整的校正方程(4)而不是讓它作為一個(gè)單獨(dú)的步驟會導(dǎo)致一個(gè)較小的矯正效果。這是由于一個(gè)矩陣求逆操作同時(shí)執(zhí)行所有的校正參數(shù)在MSC,不同的修正會相互影響的最小二乘法擬合準(zhǔn)則。當(dāng)一個(gè)波長的依賴是獨(dú)立決定只有波長軸(而不是參考光譜)影響的校正，這將導(dǎo)致一個(gè)趨平加工譜。這個(gè)效果可以看出通過比較無花果。7和8。正如前面提到的，更加復(fù)雜的修正（比如，高階多項(xiàng)式或其他轉(zhuǎn)換的波長依賴性）可以很容易地納入MSC。Thennadil和馬?。?2］建議使用對數(shù)值的波長，因?yàn)檫@是更多的聲音來判斷光譜。然而，區(qū)別使用對數(shù)變換的波長與使用一個(gè)一階多項(xiàng)式校正是最小的，使這兩個(gè)方法相同的所有實(shí)用目的。彼得森指出，etalo［9］,這是一個(gè)相當(dāng)簡單的過程，應(yīng)用逆版本的MSC,稱為逆信號校正（ISC）［14］O估計(jì)的校正參數(shù)，b系數(shù)，發(fā)現(xiàn)以類似的方式來定期MSC：（6）請注意，xorg和xref已經(jīng)交換了地方比方程（4）。一個(gè)利用（擴(kuò)展）ISC（EISC）是簡單的修正方程：（7）圖6乘法散射校正的光譜使用二階參考校正對平均頻譜。在ISC和EISC,無論是佔(zhàn)汁的校正系數(shù)和校正本身中執(zhí)行可以被描述為一個(gè)前進(jìn)的方式，使它能方便包括附加的條款和/或參考信號［9］。前面提到的矩陣求逆操作所需的參數(shù)估訃在MSC可以很容易地成為數(shù)字壞脾氣的如果它包括高階多項(xiàng)式參考更正。這是一個(gè)論點(diǎn)支持ISC。然而，假設(shè)，ISC最小二乘法擬合，誤差在記錄的光譜（糾正）小于誤差為參考光譜。在大多數(shù)實(shí)際應(yīng)用，參考是平均譜訃算樣本數(shù)據(jù)集從n的（例如，校準(zhǔn)設(shè)置）。預(yù)期的噪音水平數(shù)量級這個(gè)引用是小于個(gè)人光譜（忽略了偏見由于散射差別集）。這是一個(gè)反對ISC,因?yàn)橐粋€(gè)小錯(cuò)誤在光譜預(yù)處理將會影響到更大的程度比最初的MSC。圖8乘法散射校正（MSC）與一個(gè)一階多項(xiàng)式參考校正對平均頻譜，其次是一個(gè)單獨(dú)的MSC與二階多項(xiàng)式波長校正（去趨勢）。主要的挑戰(zhàn)是定義一個(gè)合適的MSC參考光譜。正如前面提到過的，這是最經(jīng)常設(shè)置為普通的校準(zhǔn)光譜。加拉格爾等人［15］提供了一個(gè)天然的變化來MSC通過包含一個(gè)加權(quán)方案在預(yù)處理步驟。提出了兩個(gè)選擇：1）使用一個(gè)預(yù)定義的權(quán)向量的波長軸向2）迭代搜索最優(yōu)權(quán)重向量迭代的解決方案是通過給低體重發(fā)現(xiàn)變量或波長與高殘留差異的原始數(shù)據(jù)和修正的解決方案。權(quán)重的訃算將繼續(xù)，直到區(qū)別兩個(gè)后續(xù)的迭代修正光譜小于假定數(shù)據(jù)中噪聲水平。不幸的是，這個(gè)相當(dāng)簡單直接的方法并不總是適合近紅外光譜數(shù)據(jù)，自蔓延在更高的波長范圍通常表明更分散，應(yīng)該更正而不是權(quán)重小。圖9顯示了權(quán)重。用于最終的修正給強(qiáng)調(diào)到shortwavelength地區(qū)，而長波長區(qū)域并不有助于校正在所有。另一個(gè)建議尋找參考校正在MSC都暗示了Windigetalo——所謂的糊涂MSC［16］。這種方法發(fā)現(xiàn)平均頻譜從msc修正數(shù)據(jù)集。接下來，MSC是多次重復(fù)更新參考光譜的平均數(shù)據(jù)集的糾正在每次迭代中步驟。圖10顯示了結(jié)果的糊涂MSC應(yīng)用到果膠數(shù)據(jù)集一一在這種情況下的表現(xiàn)非常類似于呆頭呆腦的MSC單純的MSC。在呆頭呆腦的MSC,可以遵循增加模型的統(tǒng)訃信息，然后停止在收斂（兩個(gè)迭代步驟通常是足夠的）。疊加在圖10的變化參考光譜從原始光譜的平均值。2標(biāo)準(zhǔn)正態(tài)變量（SNV）SNV預(yù)處理可能是第二個(gè)最散射校正的應(yīng)用方法NIR/NIT數(shù)據(jù)［13］。在本文中，規(guī)范化（也稱為對象明智的標(biāo)準(zhǔn)化）的光譜將檢查在同一個(gè)小節(jié)由于明顯的相似性兩個(gè)原則。SNV的基本格式和正?；拚c傳統(tǒng)MSC：圖9加權(quán)乘法散射校正，基于迭代重量的決心。綠線顯示了最終的權(quán)向量（任意規(guī)模的貢獻(xiàn)）。（8）對于SNV,&0是平均值的樣品光譜需要修正的同時(shí)，為標(biāo)準(zhǔn)化，&0設(shè)置等于零。對于SNV,dl是標(biāo)準(zhǔn)偏差的樣品光譜。圖11演示了SNV校正的果膠的數(shù)據(jù)集。對于正?；?，不同的向量規(guī)范可以用于比例因子al,最常見的是總金額的絕對值的元素的向量（城市街區(qū)或出租車規(guī)范）或的平方根之和的平方元素（歐兒里得的規(guī)范）。其他選項(xiàng)，有時(shí)也用正最大吸光度變量和正?；蛑鴨我贿x定波長。這兩個(gè)最后選項(xiàng)應(yīng)該小心使用，因?yàn)樗麄兛梢杂胁涣加绊懞罄m(xù)分析在例嘈雜的數(shù)據(jù)。圖12顯示了效果。歐兒里得的正?；駷橹棺畛Ｓ玫恼；z的數(shù)據(jù)集。這個(gè)信號校正背后的概念SNV和標(biāo)準(zhǔn)化是相同的MSC除了常見的參考信號不是必需的。相反，每個(gè)觀察自己處理，孤立于剩下的設(shè)置。缺乏需要一個(gè)共同的參考可能是一個(gè)實(shí)際的優(yōu)勢。因?yàn)镾NV和歸一化不涉及一個(gè)最小二乘方擬合在他們的參數(shù)估計(jì)，他們可以敬感嘈雜的條LI譜。相反，使用平均值和標(biāo)準(zhǔn)偏差作為校正參數(shù)，有人可能會考慮使用更健壯的等價(jià)物這些統(tǒng)計(jì)的時(shí)刻。郭et&1。［17］建議使用中等或意味著內(nèi)部的四分位范圍和標(biāo)準(zhǔn)偏差的內(nèi)部四分位數(shù)估計(jì)為&0,al,分別命名為“方法”健壯的正常變量”。這將是特別合適的情況下光譜很模糊（如。在超快的在線近紅外光譜的應(yīng)用程序，在強(qiáng)勁的措施將會更受散射噪聲（例如，波長選擇性反射顆粒的液體流）］。魯棒估計(jì)的影響他們演示郭etal。［17］對于模擬和實(shí)際數(shù)據(jù)。正如已經(jīng)討論TDhanoaetalo［18］,有一個(gè)明顯的相似性SNV和MSC。這種關(guān)系可以通過以下簡單的近似提出：（9）其中：一般的標(biāo)準(zhǔn)偏差的光譜，大意味著在所有的光譜，都發(fā)現(xiàn)了從原始/未修正的光譜（參見圖13）。圖10呆頭呆腦的乘法散射校正與一個(gè)一階參考校正。綠線顯示了最終的，差別開始參考光譜（任意規(guī)模的貢獻(xiàn)）。圖11標(biāo)準(zhǔn)正態(tài)變量修正光譜圖1SEQ圖表\*ARABIC2歐兒里得規(guī)范歸一化光譜圖1SEQ圖表\*ARABIC3標(biāo)準(zhǔn)正態(tài)變量之間的關(guān)系和乘法散射校正。藍(lán)色的和紅色的線條代表的趨勢線估計(jì)在圖4。作為方程（9）表明，MSCandSNV相似到簡單的旋轉(zhuǎn)和抵消校正。對于本文中使用果膠數(shù)據(jù)，相關(guān)的SNV預(yù)處理數(shù)據(jù)（圖11）和基本MSC修正數(shù)據(jù)（圖5）是0.9995后意味著中心。換句話說，MSC和SNV是相同的對于大多數(shù)實(shí)際應(yīng)用。導(dǎo)數(shù)光譜衍生品有能力清除兩個(gè)添加劑和乘法效應(yīng)在光譜和已經(jīng)被用于分析光譜學(xué)了兒十年。這個(gè)概念表明在無花果。14對于一個(gè)簡單的高斯峰添加了基線和基線加上乘法效應(yīng)。第一個(gè)衍生品只刪除基線;二階導(dǎo)數(shù)刪除兩個(gè)基線和線性趨勢。在本文中，我們將討論兩種不同的方法：SG和西北。兩個(gè)派生技術(shù)使用平滑為了不降低信噪比的修正光譜太多。最基本的方法，推導(dǎo)是有限的差異：一階導(dǎo)數(shù)是估計(jì)為區(qū)別兩個(gè)后續(xù)光譜測量分;二階導(dǎo)數(shù)是然后估計(jì)通過計(jì)算連續(xù)兩個(gè)點(diǎn)之間的區(qū)別的一階導(dǎo)數(shù)光譜：(10)(11)1諾里斯威廉姆斯推導(dǎo)西北推導(dǎo)是一個(gè)基本的方法，以避免噪音通脹開發(fā)在有限的差異。這種技術(shù)是在1983年提出諾里斯［19］和闡述了通過諾里斯和威廉姆斯在1984年［20］作為一種方法來計(jì)算導(dǎo)數(shù)近紅外/NIT光譜。西北派生包含兩個(gè)步驟(見圖15)：平滑的光譜，平均在一個(gè)給定的點(diǎn)的數(shù)量是執(zhí)行：(12)其中，中的點(diǎn)數(shù)平滑窗口圍繞電流測量的點(diǎn)對于一階求導(dǎo)，以區(qū)別兩個(gè)平滑值與一個(gè)給定他們之間缺口大小(大于零);對二階求導(dǎo)，采取兩倍的平滑值點(diǎn)我和平滑值在一個(gè)間隙距離兩邊：圖1SEQ圖表\*ARABIC4派生的影響在添加劑(綠色)和添加劑加上乘法(紅色)的影響。藍(lán)色光譜是光譜沒有任何補(bǔ)償，黑色虛線是零線。(13)可以看到從方程(13),實(shí)際的推導(dǎo)模仿一個(gè)有限差分(方程(10)和(11))。通過應(yīng)用一個(gè)平滑之前的計(jì)算，通過引入一個(gè)缺口大小的問題，降低信噪比降低。在文學(xué)、NW推導(dǎo)往往是緊隨其后的正?；拚庾V。諾里斯和威廉姆斯[20]提出了規(guī)范化光譜強(qiáng)度相當(dāng)于在一個(gè)選定的波長，但更復(fù)雜的歸一化方法可以使用。使用一個(gè)缺口很難捍衛(wèi)在近紅外光譜。這個(gè)概念經(jīng)常使用的一個(gè)缺口，如果有一個(gè)（固定）頻率分量在數(shù)據(jù)，大小的地方缺口將對應(yīng)于兩峰之間的距離值的信號。然而，在光譜學(xué)，有通常沒有這樣的背景頻率的貢獻(xiàn)。西北的衍生作品山于高度的co變異和平滑的近紅外光譜和不一定山于光譜推理（見圖16）。一個(gè)有趣的注意在西北存在推導(dǎo)兒個(gè)設(shè)置（組合的差距和平滑窗口），給相同的估計(jì)導(dǎo)數(shù)。再見。數(shù)，三分的差距有五個(gè)平滑等于一個(gè)四點(diǎn)平滑與一個(gè)缺口大小的三個(gè)；類似地，一個(gè)threepoint平滑有缺口的七是一樣的sixpoint平滑與一個(gè)缺口大小的三個(gè)。這可以推廣到m點(diǎn)平滑與一個(gè)缺口大小的k等于一個(gè)k1點(diǎn)平滑和一個(gè)缺口大小的m。2Savitzky-Golay推導(dǎo)Savtizky和戈利（SG）[21]推廣一個(gè)方法推導(dǎo)的數(shù)值一個(gè)向量，包括一個(gè)平滑的一步。為了找到導(dǎo)數(shù)在中心點(diǎn)我，一個(gè)多項(xiàng)式擬合在一個(gè)對稱窗口的原始數(shù)據(jù)（參見圖17）。當(dāng)參數(shù)對于這個(gè)多項(xiàng)式計(jì)?算，任何順序的導(dǎo)數(shù)的這個(gè)函數(shù)可以很容易地發(fā)現(xiàn)分析，這個(gè)值隨后被用作導(dǎo)數(shù)估算出這個(gè)中心點(diǎn)（參閱圖。18）。這個(gè)操作是應(yīng)用于所有分光譜順序。點(diǎn)的數(shù)H用來計(jì)算多項(xiàng)式（窗口大?。┖统潭鹊臄M合多項(xiàng)式都決定要做，。最高的衍生物，可以確定取決于學(xué)位的多項(xiàng)式擬合過程中使用（即一個(gè)三階多項(xiàng)式可用于估訃的三階導(dǎo)數(shù)）。圖1SEQ圖表\*ARABIC5估計(jì)的一階導(dǎo)數(shù)，諾里斯威廉姆斯。支持率窗口用于平滑，和一個(gè)缺口大小3應(yīng)用于派生。我們注意到有一個(gè)內(nèi)在的冗余的層次結(jié)構(gòu)SG推導(dǎo)。對于每個(gè)派生，隨后的兩多項(xiàng)式適合將給相同的估計(jì)的系數(shù)。第一導(dǎo)數(shù)，一個(gè)一級多項(xiàng)式和二級多項(xiàng)式將給出同樣的答案（如將第三和第四度）。對二階導(dǎo)數(shù)，第二和笫三等級的多項(xiàng)式將給出同樣的答案（如將第四和第五度），等。當(dāng)這個(gè)方法是首先引入了Savitzky和戈利[21],它仍然是計(jì)算繁瑣的計(jì)算參數(shù)的佔(zhàn)算導(dǎo)數(shù)。出于這個(gè)原因，作者報(bào)道一組表列值兒個(gè)不同類型的衍生品和多項(xiàng)式組合。然而，錯(cuò)誤在他們的第一篇文章介紹了，Steinieretalo[22]發(fā)表一個(gè)修正和擴(kuò)展版本的原始表。這些餐桌是后來甚至進(jìn)一步擴(kuò)大，發(fā)狂［23］。然而，隨著現(xiàn)代計(jì)算機(jī)，不再有任何真正的需要為這些表。原始形式的NW,SG推導(dǎo)使用對稱窗口平滑，要求數(shù)據(jù)點(diǎn)的數(shù)量在每一邊的中心點(diǎn)是相同的。因此，忽視一些點(diǎn)技術(shù)在每一端在預(yù)處理。為NW推導(dǎo)，點(diǎn)的數(shù)目失去了數(shù)等于分用于平滑加上差距的大小減去一個(gè)。對于SG推導(dǎo)，點(diǎn)的數(shù)目失去了數(shù)等于分用于平滑減一。因此吸收更多的點(diǎn)NW推導(dǎo)比SG推導(dǎo)。如果譜向量是長（即超過500點(diǎn)），這個(gè)問題不重要，但是，對于較短的光譜（例如，二極管陣列儀器），這個(gè)損失的波長可能是重要的。天天P和舍伍德在1980年［24］和［25］天呀在1990年提出一個(gè)解決方案，包括使用一個(gè)基于非對稱多項(xiàng)式擬合的終端窗口。在實(shí)踐中，這意味著米的笫一個(gè)得分譜估計(jì)從2m+1第一分光譜，和一個(gè)類似的估計(jì)去年米點(diǎn)。然而，這樣的解決方案將介紹，顯然工件精度的衍生品隨距離中心點(diǎn)（m+1）。此外，估訃的端點(diǎn)并不擁有內(nèi)在的兀余提到：沒有兩個(gè)后續(xù)的SG多項(xiàng)式秩序配件將給相同的估計(jì)。此外，估計(jì)的潛孔導(dǎo)數(shù)相等的所有端點(diǎn)如果譜是平滑的潛孔秩序多項(xiàng)式。NW推導(dǎo)類似于有限的差異，但引入了平滑和缺口大小為counteractions在估計(jì)衍生物光譜保持信號-噪音比例。這兩個(gè)步驟在NW派生或多或少是獨(dú)立的。然而，SG推導(dǎo)使用更多的常見的過濾技術(shù)來佔(zhàn)算導(dǎo)數(shù)光譜，而不是使用有限差分方法，適合一個(gè)多項(xiàng)式通過一系列的點(diǎn)來維持一個(gè)可接受的信噪比。一般來說，NW,SG派生不給相同的估計(jì)。唯一的一雙設(shè)置，讓相同的結(jié)果是三個(gè)平滑分兩，SG使用一階多項(xiàng)式配合，在西北氣隙的大小等于1。然而，更復(fù)雜的（和現(xiàn)實(shí)）設(shè)置為SG和/或NW自動(dòng)導(dǎo)致（稍微）不同的推導(dǎo)的結(jié)果。圖1SEQ圖表\*ARABIC6諾里斯威廉姆斯二階導(dǎo)數(shù)使用9點(diǎn)平滑和一個(gè)缺口大小的3o間隔和聯(lián)合版本提到的預(yù)處理技術(shù)迄今為止，只有估計(jì)的衍生品是由一個(gè)移動(dòng)窗操作，只有一個(gè)本地部分（窗口）的光譜用于任何時(shí)間估計(jì)校正。然而，所有其他的方法同樣能夠在一個(gè)窗口明智的方式執(zhí)行。伊薩克松和科瓦爾斯基[26]建議這詳盡分析，并將其命名為分段MSC（PMSC）oAndersson[27]預(yù)處理方法相比替代兩個(gè)版本的PMSC：移動(dòng)窗或當(dāng)?shù)氐念A(yù)處理（劃分成兒部分波長軸和執(zhí)行預(yù)處理在每一個(gè)部分分別）。這個(gè)移動(dòng)窗版本的預(yù)處理技術(shù)獲得了一些利益，從近紅外光譜的社區(qū)，可能是因?yàn)檎_的選擇的窗口大小是至關(guān)重要的，它是遠(yuǎn)離瑣碎要正確做到這點(diǎn)。過小窗口會導(dǎo)致引進(jìn)大型工件在糾正光譜和降低信噪比。然而，更大的窗口的大小，較小的完整和移動(dòng)窗之間的區(qū)別預(yù)處圖1SEQ圖表\*ARABIC7佔(zhàn)計(jì)的，Savitzky-Golay—階導(dǎo)數(shù)。支持率窗戶，一個(gè)二階多項(xiàng)式是用來平滑理（見圖19）。本地窗口預(yù)處理是有用的，尤其是在記錄的悄況下測量光譜從視覺范圍或短波近紅外光譜的中期紅外范圍。在這個(gè)寬光譜區(qū)，兒個(gè)不同的散射問題并存，和光譜應(yīng)該相應(yīng)的分割，執(zhí)行單獨(dú)的散射糾正在不同的部分。然而，由于這不是本質(zhì)上不同于在區(qū)域劃分光譜的預(yù)處理方法，應(yīng)用獨(dú)立，我們不討論它進(jìn)一步。使用預(yù)處理方法的組合是豐富的文學(xué)，原則上，任何序列的預(yù)處理是可能的。然而，以下簡單的規(guī)則可以作為最初的指導(dǎo)方針。散射校正（除了標(biāo)準(zhǔn)化）應(yīng)該被執(zhí)行之前，分化。這些技術(shù)都是設(shè)計(jì)用于修正原始光譜，從未被認(rèn)為是修正一個(gè)分化或基線糾正譜?？梢允褂靡?guī)范化的兩端校正，盡管它是容易評估正常化的影響如果是任何其它操作之前執(zhí)行。SNV之間的基本差異與隨后的消除趨勢和MSC與參考和基線校正是，在MSC,同時(shí)應(yīng)用兩個(gè)修正，而不是連續(xù)的。因此，通常會給一個(gè)較小的MSC基線校正比SNV加德趨勢。其次是SNV執(zhí)行de趨勢并不推薦Barnesetalo[13],基于以上原因，不推薦進(jìn)行消除趨勢第一。一個(gè)定量的例子圖1SEQ圖表\*ARABIC8Savitzky-Golay估計(jì)的二階導(dǎo)數(shù)使用9分和一個(gè)二階多項(xiàng)式的平滑?，F(xiàn)在我們將應(yīng)用所有的預(yù)處理方法的討論到一個(gè)定量分光任務(wù)涉及32杏仁蛋口軟糖樣品測量六非常不同的光譜分析儀作為預(yù)測變量兩種不同的響應(yīng)變量：水分和糖含量。這些數(shù)據(jù)來自一項(xiàng)由克里斯騰森etalo[3]o圖20顯示了一個(gè)，光譜集。對于一個(gè)總結(jié)的數(shù)據(jù)，見表1。在這里，我們展示了pls回歸模型，建立所有的六個(gè)近紅外光譜儀器，和響應(yīng)分別（所謂的PLS1模型⑸）。杏仁糖近紅外光譜數(shù)據(jù)集是不同的預(yù)處理技術(shù)處理本文中描述的。除了設(shè)置用于理論部分，一些更極端的參數(shù)設(shè)置進(jìn)行估算，以顯示分段MSC使用合理的選擇的重要性。沒有樣本被看成是例外，因?yàn)樗袠颖颈憩F(xiàn)不錯(cuò)在最初的探索性分析。引導(dǎo)錯(cuò)誤估計(jì)[28]被用作驗(yàn)證方法。共有1000引導(dǎo)圖紙進(jìn)行每種組合的數(shù)據(jù)集、引用和預(yù)處理。同一套圖紙是用于所有數(shù)據(jù)集，除了儀器1,只有十五32樣品進(jìn)行了測量。0.632引導(dǎo)估計(jì)的預(yù)測誤差進(jìn)行了計(jì)算見方程（14）,按照Wehrensetalo[28]（14）其中預(yù)測誤差估訃并且和一般的校準(zhǔn)（樣本每一個(gè)引導(dǎo)得出選擇）和預(yù)測（不是每一個(gè)樣本選擇引導(dǎo)畫）錯(cuò)誤在所有引導(dǎo)圖紙。最優(yōu)數(shù)量的因素，f,是決定基于0.632引導(dǎo)估計(jì)，選擇第一個(gè)最低或的地方RMSEf曲線作為函數(shù)的因素變得平緩（RMSEf曲線的斜率是常數(shù)）o圖1SEQ圖表\*ARABIC9移動(dòng)窗口標(biāo)準(zhǔn)正態(tài)變量使用129nm移動(dòng)窗口（65測量分）o通過應(yīng)用所有的預(yù)處理技術(shù)相同的樣本集記錄六個(gè)不同的工具和/或光學(xué)測量兒何圖形（分散，干涉儀，反射、透射和光纖探針）使用兩個(gè)不同的響應(yīng)（水分和糖），一些一般性的性能差異是顯示（見Tables2和3）。作為一個(gè)非常首先觀察，它是安慰，兒乎所有的預(yù)處理的模型是簡單或更簡約的（比如，使用更少的請因素）比全球模型、獨(dú)立的光譜儀建立和獨(dú)立的響應(yīng)變量。第二個(gè)一般觀察，過濾器的儀器1在反射模式不是競爭在測量杏仁糖樣品（RMSEmoisture=0.75、4潛變量（lv）和RMSEsugar=2.30,3lv;但我們需要記住，只有1532樣品測量）和預(yù)處理沒有幫助，讓它回落到其它樂器的水平。過濾器的工具并不是真正的兼容光譜派生技術(shù)，但其他預(yù)處理技術(shù)也未能達(dá)到預(yù)期的性能。笫三個(gè)一般評論可以在全息信息內(nèi)容的近紅外光譜，在這種信息（泛音）會重復(fù)出現(xiàn)多次。小光譜范圍850-1050海里（覆蓋著儀器6）,它包含第二泛音的。-h和nh伸展和第三泛音的從完全競爭的延伸與更精密的儀器覆蓋完整的或傳統(tǒng)的近紅外光譜區(qū)域。此外，很有趣的一點(diǎn)是，創(chuàng)建的模型從光譜從傳輸基礎(chǔ)儀器6通常是最簡單的，甚至在預(yù)處理。顯然，從密度波動(dòng)的散射測量樣品的傳輸方式不太苛求比反射散射測量反射模式。當(dāng)談到預(yù)處理，這是令人驚訝的，與所有其他樂器，歐兒里得規(guī)范工作得非常好，提供了最好的結(jié)果對儀表6（RMSEmoisture二0.38,3lv,RMSEsugar二1.39,5lv）。原因可能是，這小"R區(qū)域包含所有氫鍵覆蓋從示例和一個(gè)規(guī)范化的方法從而對應(yīng)于整合所有的質(zhì)子信號并設(shè)置質(zhì)子密度樣本之間的平等。除了標(biāo)準(zhǔn)化的方法，這似乎是一個(gè)很好的預(yù)處理，衍生品策略對于這種類型的數(shù)據(jù)，因?yàn)樗麄兛梢砸恢焙喕Ｐ?，特別明顯的對于糖預(yù)測。圖表SEQ圖表\*ARABIC2032杏仁蛋口軟糖樣品測量儀器2,在間隔1100-2500海里。對于剩下的全地區(qū)近紅外光譜儀器2-5,我們發(fā)現(xiàn)一些有趣的和強(qiáng)大的差異取決于響應(yīng)變量，大概是因?yàn)楹适且粋€(gè)低分辨率光譜任務(wù)而糖含量是一個(gè)高分辨率的問題。對于水分模型、色散儀器2和3兒乎總是比模型基于傅里葉變換工具4和5。最好的整體模型為工具PSNVwindow-width發(fā)現(xiàn)2129預(yù)處理（RMSE=0.30、4lv）和最好的傅里葉變換模型是發(fā)現(xiàn)對儀表5用光纖利用MSC和secondorder參考校正（RMSE二0.37,5lv）。當(dāng)添加一個(gè)光纖探針儀器2（二儀器3）,模型的復(fù)雜性增加（平均3lv）。這個(gè)大的差異可以分配到更復(fù)雜的光學(xué)兒何后期的系統(tǒng)。此外，性能沒有預(yù)處理是相同的（RMSE=0.42）,但預(yù)處理的性能的儀器3是劣質(zhì)（RMSE=0.37,10個(gè)lv使用SNV和MSC）的最好的模型的儀器2。對于糖模型，情況兒乎是逆轉(zhuǎn)。在這里，干涉儀基礎(chǔ)儀器4顯示始終最好的模型，但更復(fù)雜的，大概是由于更好的光譜分辨率的儀器。最好的整體模型對儀表與MSClst發(fā)現(xiàn)4訂單ref,二階波浪預(yù)處理（RMSE二0.92,9lv）,遠(yuǎn)比最好的色散結(jié)果（RMSE=1.30、4lv對儀表2）但也復(fù)雜得多。再一次，對于糖模型，添加一個(gè)光纖探針儀器2（二儀器3）使得模型劣質(zhì)和復(fù)雜得多（平均兩個(gè)lv和增加最好的兩個(gè)模型之間的RMSE從1.22到1.81對于儀器儀表23）。這個(gè)移動(dòng)窗版本的SNV和MSC顯示不同的結(jié)果。一般來說，移動(dòng)窗版本給結(jié)果類似于或比最好的剩余的預(yù)處理方法。然而，頂多10%RMSE是比最好的正常的預(yù)處理技術(shù)，但窗口選擇可能很容易成為一個(gè)關(guān)鍵的參數(shù)。相比之下，一些次優(yōu)的移動(dòng)窗方法都包含在最后三行表2和3o差異有限差分方法，推導(dǎo)和更復(fù)雜的方法是不明顯的估訃第一導(dǎo)數(shù)的一些測量（儀器2、3和6）。這很適合這些系統(tǒng)的平穩(wěn)行為，表明額外的平滑是沒有必要的。這個(gè)干涉儀（儀器4和5）有一個(gè)更好的光譜分辨率，給上升到一個(gè)更高程度的精細(xì)結(jié)構(gòu)，導(dǎo)致低信噪比在估計(jì)的一階導(dǎo)數(shù)的有限差分法。這最終導(dǎo)致劣質(zhì)模型。結(jié)果，使用有限差分笫二衍生品通常是，他們都不如更復(fù)雜的方法。這表明在信噪比7.總結(jié)顯然，我們的定量的例子并不能給出權(quán)威的回答，比如哪些預(yù)處理使用在何種給定的情況下。然而，它確實(shí)使用標(biāo)準(zhǔn)化在短波近紅外透射光譜是明智的和利用MSC（—階參考校正）或標(biāo)準(zhǔn)SNV對于大多數(shù)其他的一些情況。雖然很難找到最好的預(yù)處理，這的確是可以使用錯(cuò)誤的預(yù)處理。這主要是因?yàn)椴徽_的參數(shù)設(shè)置窗口的大小和/或平滑函數(shù)估計(jì)的衍生品和移動(dòng)窗技術(shù)。最后，我們強(qiáng)調(diào)的任何預(yù)處理只是對模型進(jìn)行一定量的改善，全局建模大約25%在我們的研究中。25%的降價(jià)，而可能是重要的工業(yè)應(yīng)用的[29],這是兒乎沒有什么使區(qū)別在許多多元可行性研究蓬勃發(fā)展，在科學(xué)文獻(xiàn)中，我們可以推薦選擇預(yù)處理，以實(shí)現(xiàn)最佳的，最具有說明的模型。參考文獻(xiàn)[ljS?Wold,K?Esbensen?P?GeladitChemom.Intel1.Lab?Syst.(1987)37.S?B?Engelsen,E?Mikkelsen,L?Munck,Progr?ColloidPolym.Sci?108(1998)166.J.Christensen,L?Norgaard,H?Heimdal,J?G?Pedersen,S. B.Engelsen,J?NearInfraredSpectrosc?12(2004)63?S.Wold,H.Martens,H.Wold,Leet.NotesMath.973(1983)286.H.Martens,T?Nses,MultivariateCalibration,Wiley,NewYork,USA,1989.[6_H.Martens,S?A.Jensen,P?Geladi,Multivariatelinearitytransformationsfornearinfraredreflectancespectroscopy,in：0.H?J.Christie(Editor),Proc?NordicSymp?AppliedStatistics,StokklandForlag,Stavanger,Norway,1983,pp.205-234?[7]P.Geladi,D?MacDougal,H?Martens,App1.Spectrosc?39(1985)491.[8[H.Martens,E?Stark,J?Pharm.Biomed.Anal.9(1991)625.L9ZD.K.Pedersen,H?Martens,J.P?Nielsen,S?B?Engelsen,Appl.Spectrosc.56(2002)1206-1214.E10ZH?Martens,