近紅外光譜分析技術(shù)的數(shù)據(jù)處理方法

1、近紅外光譜分析技術(shù)的數(shù)據(jù)處 理方法引言近紅外是指波長在780nm-2526nm范圍內(nèi)的光線，是人們認(rèn)識最早的非 可見光區(qū)域。習(xí)慣上又將近紅外光劃分為 近紅外短波(780nmr 1100nm和長波 (1100 nm2526 nm)兩個區(qū)域.近紅外光譜(Near Infrared Reflectance Spectroscopy ,簡稱NIRS)分析技術(shù)是一項新的無損檢測技術(shù)，能夠高效、快 速、準(zhǔn)確地對固體、液體、粉末狀等有機(jī)物樣品的物理、力學(xué)和化學(xué)性質(zhì)等進(jìn) 行無損檢測。它綜合運用了現(xiàn)代計算機(jī)技術(shù)、光譜分析技術(shù)、數(shù)理統(tǒng)計以及化 學(xué)計量學(xué)等多個學(xué)科的最新研究果，并使之融為一體，以其獨有的特點在很多

2、領(lǐng)域如農(nóng)業(yè)、石油、食品、生物化工、制藥及臨床醫(yī)學(xué)等得到了廣泛應(yīng)用，在 產(chǎn)品質(zhì)量分析、在線檢測、工藝控制等方面也獲得了較大成功。近紅外光譜分析技術(shù)的數(shù)據(jù)處理主要涉及兩個方面的內(nèi)容：一是光譜預(yù)處理方法的研究，目的是針對特定的樣品體系，通過對光譜的適當(dāng)處理，減弱和消除各種非目標(biāo)因素對光譜的影響，凈化譜圖信息，為校正模型的建立和未知樣品組成或性質(zhì)的預(yù)測奠定基礎(chǔ)；二是近紅外光譜定性和定量方法的研究，目的在于建立穩(wěn)定、可靠的定性或定量分析模型，并最終確定未知樣品和對其定量。1 工作原理近紅外光譜區(qū)主要為含氫基團(tuán) X-H (X=O,N,S,單健C,雙健C,三健C等)的倍頻和合頻吸收區(qū)，物質(zhì)的近紅外光譜是其各

3、基團(tuán)振動的倍頻和合頻的綜合吸收表現(xiàn)，包含了大多數(shù)類型有機(jī)化合物的組成和分子結(jié)構(gòu)的信息。因為不同的有機(jī)物含有不同的基團(tuán)，而不同的基團(tuán)在不同化學(xué)環(huán)境中對近紅外光的吸收 波長不同，因此近紅外光譜可以作為獲取信息的一種有效載體。近紅外光譜分 析技術(shù)是利用被測物質(zhì)在其近紅外光譜區(qū)內(nèi)的光學(xué)特性快速估測一項或多項化 學(xué)成分含量。被測樣品的光譜特征是多種組分的反射光譜的綜合表現(xiàn)，各組分含量的測定基于各組分最佳波長的選擇，按照式(1) 回歸方程自動測定結(jié)果：組分含量=C0+ C1(Dp)1+C2(Dp)2+ - + Ck(Dp)k(1)式中：C0k為多元線性回歸 系數(shù)；(Dp)1k為各組分最佳波長的反射光密度伯

4、：(D= lgp, p為反射比)。 該方程準(zhǔn)確的反映了定標(biāo)范圍內(nèi)一系列樣品的測定結(jié)果，與實驗室常規(guī)測定法之間的標(biāo)準(zhǔn)偏差 SE為：SE= 2(y x)2/(n 1)1/2(2)式中：x表示實驗室常規(guī)法測定值，y 表示近紅外光譜法測值，n 為樣品數(shù)。2 光譜數(shù)據(jù)的預(yù)處理儀器采集的原始光譜中除包含與樣品組成有關(guān)的信息外，同時也包含來自各方面因素所產(chǎn)生的噪音信號。這些噪音信號會對譜圖信息產(chǎn)生干擾，有些 情況下還非常嚴(yán)重，從而影響校正模型的建立和對未知樣品組成或性質(zhì)的預(yù)測。因此，光譜數(shù)據(jù)預(yù)處理主要解決光譜噪音的濾除、數(shù)據(jù)的篩選、光譜范圍的優(yōu) 化及消除其他因素對數(shù)據(jù)信息的影響，為下步校正模型的建立和未知樣

5、品的準(zhǔn) 確預(yù)測打下基礎(chǔ)。常用的數(shù)據(jù)預(yù)處理方法有光譜數(shù)據(jù)的平滑、基線校正、求導(dǎo)、 歸一化處理等。2.1 數(shù)據(jù)平滑處理信號平滑 是消除噪聲最常用的一種方法，其基本假設(shè)是光譜含有的噪聲為零均隨機(jī)白噪聲，若多次測量取平均值可降低噪聲提高信噪比。平滑處理常用方法有 鄰近點比較法、 移動平均法、 指數(shù)平均法等。2.1.1 鄰近點比較法對于許多干擾性的脈沖信號，將每一個數(shù)據(jù)點和它旁邊鄰近的數(shù)據(jù)點的值進(jìn)行比較可以測得其存在。如果與鄰近點的數(shù)值相差太大，超過給定的閾值，便可認(rèn)為該數(shù)據(jù)是一個脈沖干擾，并通過鄰近數(shù)據(jù)點的平均值來取代這一數(shù)據(jù)點值，就可以把這一干擾脈沖去掉，這樣不影響信號的其它部分。在這一數(shù)據(jù)點處理過

6、程中，需注意選擇調(diào)節(jié)參數(shù)，也就是考慮鄰近數(shù)據(jù)點值，以及判斷一個數(shù)據(jù)點和鄰近數(shù)據(jù)點之間不同的閾值。這個閾值一般定義為噪音測量偏差的倍數(shù)，以免把必要的有用信號去掉。這一方法有時也稱為鄰近點平滑法，也叫做單點平滑法。2.1.2 移動平均法由于平滑是通過對信號進(jìn)行平均而減小噪音，因而多點平滑效果更好。移動平均法是多點平滑中最簡單的一種。先選擇在數(shù)據(jù)序列中相鄰的奇數(shù)個數(shù)據(jù)點，這奇數(shù)個數(shù)據(jù)點即構(gòu)成一個窗口。計算在窗口內(nèi)奇數(shù)個數(shù)據(jù)點的平均值，然后用求得的平均值代替奇數(shù)個數(shù)據(jù)點中的中心數(shù)據(jù)點的數(shù)據(jù)值，這樣我們就得到了數(shù)據(jù)平滑后的一個新的數(shù)據(jù)點。接著去掉窗口內(nèi)的第一個數(shù)據(jù)點，并添加上緊接著窗口的下一個數(shù)據(jù)點，形

7、成移動后的一個新窗口，其中的總數(shù)據(jù)個數(shù)不變。同樣地，用窗口內(nèi)的奇數(shù)個數(shù)據(jù)點求平均值，并用它來代替窗口中心的一個數(shù)據(jù)點. 如此移動并平均直到最后。2.1.3 指數(shù)平均法指數(shù)平均法是計算在一個具有 m個數(shù)據(jù)點的移動窗口中的各數(shù)據(jù)點的加權(quán)平均 . 在窗口的最后一個點p1 即為要平滑的點，它的權(quán)重最大，而前面的每個點分配到的權(quán)重依次遞減。權(quán)重系數(shù)由平滑時間常數(shù)為T 的指數(shù)函數(shù)e ji(j標(biāo)志i前面第j個點，即j= (m 1), (m2),，一1,0 (要平滑的點i 的j=0)的形狀來決定。pl后點的權(quán)重為0,這一過濾函數(shù)是用點i前面的點 對第i個數(shù)據(jù)點進(jìn)行平滑。這一過程和用電子 RC8波器(阻容濾波器

8、)的實時 平滑類似。由于該平滑函數(shù)是不對稱的，故在平滑后的數(shù)據(jù)中引入了單向失真，這一點也和實時RC8波器一樣。除了獲得期望的信噪比降低外，指數(shù)平均的結(jié)果是峰的最大值下降，同時發(fā)生移動。由于用平滑常數(shù)T 對峰值進(jìn)行指數(shù)平滑和具有時間常數(shù)Tx= T的儀器測量該峰的效果相同，因此T和峰寬比值函數(shù)的強(qiáng)度下降值從實驗測量和理論計算都可得到。2.2 基線校正由于儀器背景、樣品粒度和其它因素的影響，近紅外分析中常常出現(xiàn)基線漂移和傾斜現(xiàn)象。采用基線校正可有效地消除這些影響。操作時可選用峰谷點扯平、偏移扣減、微分處理和基線傾斜等方法，其中最常用的是一階微分和二階微分，但在微分處理時，要注意微分級數(shù)和微分?jǐn)?shù)據(jù)點的

9、選擇。2.3 數(shù)據(jù)求導(dǎo)處理近紅外分析中，對于樣品不同組分之間的相互干擾導(dǎo)致吸收光譜譜線重疊的現(xiàn)象，可采用求導(dǎo)的方法進(jìn)行處理。其中常用的是一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。一階導(dǎo)數(shù)表示為：yi =yi +g yi g二階導(dǎo)數(shù)表示為：yi " =yi +2g2yi yi 2g 式中： g 為光譜間隔，大小可視具體情況設(shè)定。對光譜求導(dǎo)一般有兩種方法 : 直接差分法和Savitzky Golay 求導(dǎo)法。對于分辨率高、波長采樣點多的光譜，直接差分法求取的導(dǎo)數(shù)光譜與實際相差不大，但對于稀疏波長采樣點的光譜，該方法所求的導(dǎo)數(shù)則存有較大誤差，這時可采用Savitzky Golay 卷積求導(dǎo)法計算。2.4 歸一化

10、處理用于消除光程變化或樣品稀釋等變化對光譜產(chǎn)生的影響。有三種光譜歸一化方法: 最小 / 最大歸一化、矢量歸一化、回零校正。其中常用的是矢量歸一化，它是先計算出光譜的y 平均值，再用光譜減去該平均值，這樣光譜的中值為零，計算所有的y 值的平方和，然后用光譜除以該平方和的平方根，結(jié)果光譜的矢量歸一化是1。 回零校正是將光譜減去最小的y 值， 使得最小y 值變?yōu)?0。3 近紅外光譜分析常用的數(shù)據(jù)處理方法樣品的近紅外光譜包含了物質(zhì)的組成和結(jié)構(gòu)信息。而物質(zhì)質(zhì)量參數(shù)（如成分含量）也與其組成結(jié)構(gòu)相關(guān)。應(yīng)用化學(xué)計量學(xué)方法對兩者進(jìn)行關(guān)聯(lián)，就可確定這兩者間的定性或定量關(guān)系，即定標(biāo)模型。建立定標(biāo)模型后，只要測出未知

11、樣品的近紅外譜，根據(jù)標(biāo)模型就可以預(yù)測樣品的質(zhì)量參數(shù)。近紅外光譜分析常用的計量方法有: 主成分分（PrincipalComponentAnalysis,PCR ），偏最小二乘法（ PartialLeast Squares,PLS ）和人工神經(jīng)網(wǎng)絡(luò)法（ArtificialNeural Network,ANN ）等。它們都是常用的化學(xué)計量學(xué)方法，有著各自的優(yōu)點和局限。3.1 主成分分析法（PCR）主成分分析法是使用最為廣泛的線形降維方法之一，該方法概念簡單易懂，實現(xiàn)算法高效，因而在許多降維處理中應(yīng)用都很廣泛。主成分分析法將方差的大小作為衡量信息量多少的標(biāo)準(zhǔn)，認(rèn)為方差越大提供的信息越多，反之提供的信息

12、就越少。其基本思想是通過線形變換保留方差大、含信息多的分量，丟掉信息量少的方向，從而降低數(shù)據(jù)的維數(shù)。降維后每個分量是原變量的線形組合，因此，主成分分析方法本質(zhì)上是一種線形降維的方法。其計算步驟一般分為以下四步：1）對原始數(shù)據(jù)樣本集合進(jìn)行標(biāo)準(zhǔn)化處理。2）計算標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣的協(xié)方差矩陣，并對其進(jìn)行正交分解，得出主成分分量。3）計算各主成分的累計貢獻(xiàn)量，根據(jù)要求的貢獻(xiàn)率閾值選取主成分。4）針對選取的主成分建立主成分方程，計算主成分值。PCRf巴原自變量映射為含絕大部分信息的少數(shù)潛變量，再用線性的最小二乘確定這些潛變量系數(shù)，建立潛變量和因變量的回歸方程后再轉(zhuǎn)換為原自變量和因變量的回歸方程。其壓縮自

13、變量的效率極高，但其映射過程和因變量無關(guān)，因而其預(yù)測精度也難達(dá)到很高。3.2 偏最小二乘法（PLS）偏最小二乘法（Partial least squares regression ,簡稱 PLS）將因子分析和回歸分析結(jié)合的方法，很好地解決了許多以往用普通多元線性回歸難以解決的問題。用近紅外光譜數(shù)據(jù)來預(yù)測樣品的組成含量時，作為解釋變量的近紅外反射光譜的波長有幾百個甚至幾千個，往往超過了樣本的個數(shù)，造成多重相關(guān)，難用普通的多元線性回歸方法來建立穩(wěn)健、精度較高的數(shù)學(xué)模型。PLS通過因子分析將光譜（多維空間數(shù)據(jù)，維數(shù)相當(dāng)于波長數(shù)目）壓縮為較低維空間數(shù)據(jù)，其方法是將光譜數(shù)據(jù)向協(xié)方差最大方向投影，將原近紅

14、外光譜分解為多種主成分光譜，不同近紅外光譜的主成分分別代表不同組分和因素對光譜的貢獻(xiàn)，通過對主成分的合理選取，去掉代表干擾組分和干擾因素主成分，選用有用的主成分參與回歸。為了建立由各因素構(gòu)成的數(shù)據(jù)矩陣X與由各目標(biāo)構(gòu)成的數(shù)據(jù)矩陣 Y之間的關(guān)系，其中X包含p個變量，Y包含pi個變 量，樣本數(shù)為m,用PLS方法處理時，首先將X矩陣作為雙線性分解，即*= TPT + F,其中矩陣T含有兩兩正交的隱變量。PLS方法與主成分分析方法的不同之 處在于，主成分分析法要求分解后得到的隱變量 t的方差為最大，而不考慮矩陣 Y的關(guān)系， 而用PLS方法時，需要用到矩陣Y中的信息，矩陣Y也可作雙線性分解，即Y = UQ

15、T E。其中U矩陣包含Y的隱變量u,即u為矩陣Y中變量的線性組合，E 為殘差陣。PLS方法要求X分解得到的隱變量t與Y分解得到的隱變量u為最大 重疊或相關(guān)性最大，因此有u = vt+e,式中e為殘差矢量，系數(shù)v根據(jù)最小二 乘確定。所以PLS是一種具有較好發(fā)展前景的新型數(shù)據(jù)處理方法，是近年來因 實際需要而產(chǎn)生和發(fā)展的一個廣泛使用的多元統(tǒng)計數(shù)據(jù)分析方法。例如：王宏等將遺傳算法應(yīng)用于無創(chuàng)傷人體血糖濃度光學(xué)檢測的基礎(chǔ)研究中，在偏最小二乘法校正模型的波長優(yōu)化選擇中具有顯著的效果。將遺傳算法作為模塊循環(huán)運行，能更快達(dá)到最優(yōu)解，有效提高測量精度。Bangalore等以LAIRS測量水中有機(jī)物含量為例，研究了

16、遺傳算法用于優(yōu)化PLS建立多元校正模型的波長和特征變量數(shù)。張大仁、趙立新將遺傳算法和偏最小二乘法結(jié)合應(yīng)用于定量結(jié)構(gòu)活性關(guān)系研究中，得到較好的QSAR真型。3.3 人工神經(jīng)網(wǎng)絡(luò)法（ANN）ANN始于20世紀(jì)40年代初。它的基本思想是模擬人腦細(xì)胞（神經(jīng)元）工作原理，以建立模型進(jìn)行分類和預(yù)測的。人工神經(jīng)網(wǎng)絡(luò)的最大優(yōu)點是它的抗干擾、抗噪音能力和它的非線性轉(zhuǎn)換能力。ANNS于非線性模型（也可用于線性模型），其缺點是學(xué)習(xí)時間較長，但只要得到模型參數(shù)，進(jìn)行預(yù)測時能立即得到結(jié)果。神經(jīng)網(wǎng)絡(luò)的連接方式有很多種，使用較多的是反向傳輸模型，即BP（ back-propagation ）模型，在1986年由 Rumel

17、hart,Hinton 和 Williams 等人提出。該模型可以實現(xiàn)數(shù)據(jù)處理的定量預(yù)測，也可以用于模式識別。在近紅外光譜的光譜數(shù)據(jù)處理中，無論是對樣品的組成、質(zhì)量指標(biāo)預(yù)測，還是模式識別分類，都可以人工神經(jīng)網(wǎng)絡(luò)在近紅外光譜分析中有著不可替代的作用，特別是在解決非線性數(shù)據(jù)處理方面優(yōu)勢明顯。例如：Tanabe等利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對1129個紅外譜圖進(jìn)行識別，系統(tǒng)由兩部分組成，能在0.1s 內(nèi)鑒別未知譜。王志有等采用BP人工神經(jīng)網(wǎng)絡(luò)光度法對復(fù)合維生素片中的 VB1,VB2,VB6和VPR1行了同時測定，得到了較為準(zhǔn)確的結(jié)果。張卓勇等論述了人工神經(jīng)網(wǎng)絡(luò)在光譜分析重疊信號解析中的應(yīng)用，將基于計算最大差異光譜的目標(biāo)轉(zhuǎn)換因子分析法，用于解析混合物的紅外光譜和從混合物的紅外光譜中解析出純組分光譜，得到了滿 意的結(jié)果。以上幾種紅外光譜的數(shù)據(jù)處理方法可根據(jù)建模模型以及實際情況靈活選擇。主成分回歸方法可有效解決譬如共線問題、變量數(shù)使用限制問題并在一定程度上解決了噪音濾除問題，缺點是不能保證參與回歸的主成分一定與被測組分的性質(zhì)有關(guān)。偏最小二乘法把數(shù)據(jù)分解和回歸融合在一起，得到的特征值向量直接與被測組分或性質(zhì)有關(guān)，適于