近紅外光譜分析技術(shù)的數(shù)據(jù)處理方法

1、引言近紅外是指波長在780nm? 2526nm范圍內(nèi)的光線，是人們認(rèn)識最早的非可見光區(qū)域。習(xí)慣上又將近紅外光劃分 為近紅 外短波(780nm? llOOnm)和長波(1100 nm? 2526 nm)兩個(gè)區(qū)域？近紅外光譜(Near Infrared Reflectanee Spectroscopy簡稱 NIRS)分析技術(shù)是一項(xiàng)新的無損檢測技術(shù)，能夠高效、快速.準(zhǔn)確地對固體、液體、粉末狀等有機(jī)物樣品的物理、 力學(xué)和化學(xué)性質(zhì)等進(jìn) 行無損檢測。 它綜合運(yùn)用了現(xiàn)代計(jì) 算機(jī)技術(shù) . 光譜分析技術(shù)、數(shù)理統(tǒng)計(jì)以及化 學(xué)計(jì)量學(xué)等多個(gè)學(xué)科的最新研究果，并使 之融為一體， 以其獨(dú)有的特點(diǎn)在很多 領(lǐng)域如農(nóng)業(yè)、 石油

2、 . 食品、生物化工 . 制藥及臨床 醫(yī)學(xué)等得到了廣泛應(yīng)用，在 產(chǎn)品質(zhì)量分析 . 在線檢測、工藝控制等方面也獲得了較大 成功。近紅外光譜分 析技術(shù)的數(shù)據(jù)處理主要涉及兩個(gè)方面的內(nèi)容： 一是光譜預(yù)處理方 法的研究， 目 的是針対特定的樣品體系， 通過對光譜的適當(dāng)處理， 減弱和消除各種非 目標(biāo)因 素對光譜的 影響，凈化譜圖信息， 為校正模型的建立和未知樣品組成或性質(zhì)的 預(yù)測奠定基礎(chǔ)； 二是近紅外光譜定性和定量方法的研究， 目的在于建立穩(wěn)定 . 可靠的 定性或定量分析模型，并最終確定未知樣品和對其定量。1 工作原理近紅外光譜區(qū)主要為含氫基團(tuán) X-H (X=0, N, S,單健C,雙健C,三健C等)的

3、倍頻和合頻吸收區(qū)，物質(zhì)的近紅外光譜是其各基團(tuán)振動的倍頻和合頻的綜合吸收表現(xiàn)，包含了大多數(shù)類型有機(jī)化合物的組成和分子結(jié)構(gòu)的信息。因?yàn)椴煌挠袡C(jī)物含有不同的基團(tuán)，而不同的基團(tuán)在不同化學(xué)環(huán)境中對近紅外光的吸收 波長不同，因此 近紅外光譜可以作為獲取信息的一種有效載體。近紅外光譜分 析技術(shù)是利用被測物 質(zhì)在其近紅外光譜區(qū)內(nèi)的光學(xué)特性快速估測一項(xiàng)或多項(xiàng)化 學(xué)成分含量。被測樣品的 光譜特征是多種組分的反射光譜的綜合表現(xiàn)，各組分 含量的測定基于各組分最佳波 長的選擇，按照式(1)回歸方程自動測定結(jié)果 八組 分含量=C0+C1 (Dp) 1+C2 (Dp) 2 +Ck (Dp)k式中：CO? k為多元線性回歸

4、 系數(shù)；(Dp)1?k為各組分最佳波 長的反射光密度值 (D=-lgp, p 為反射比 )。 該方程準(zhǔn)確的反映了定標(biāo)范圍內(nèi)一系列樣 品的測定結(jié)果，與實(shí)驗(yàn)室常規(guī)測定法之間的標(biāo)準(zhǔn)偏差SE為：SE=S(y-x)2/(n-l) l/2式中：x表示實(shí)驗(yàn)室常 規(guī)法測定值，y表示近紅外光 譜法測值，n為樣品 數(shù)。2 光譜數(shù)據(jù)的預(yù)處理儀器采集的原始光譜中除包含與樣品組成有關(guān)的信息外，同時(shí)也包含來自各方面因素所產(chǎn)生的噪音信號。這些噪音信號會對譜圖信息產(chǎn)生干擾，有些情況下還非常嚴(yán)重，從而影響校正模型的建立和對未知樣品組成或性質(zhì)的預(yù)測。因此，光譜數(shù)據(jù)預(yù)處理主要解決光譜噪音的濾除 .數(shù)據(jù)的篩選、光譜范圍的優(yōu) 化及消除

5、其他 因素對數(shù)據(jù)信息的影響，為下步校正模型的建立和未知樣品的準(zhǔn) 確預(yù)測打下基礎(chǔ)。 常用的數(shù)據(jù)預(yù)處理方法有光譜數(shù)據(jù)的平滑、基線校正 . 求導(dǎo). 歸一化處理等。2.1 數(shù)據(jù)平滑處理信號平 滑是消 除噪聲最常用的一種方法，其基本假設(shè)是光譜含有的噪聲 為 零均隨機(jī)白噪聲，若多次測量取平均值可降低噪聲提高信噪比。平滑處理常用方法有鄰近點(diǎn)比較法、移動平均法 . 指數(shù)平均 法等。2.1.1 鄰近點(diǎn)比較法對于許多干擾性的脈沖信號，將每一個(gè)數(shù)據(jù)點(diǎn)和它旁邊鄰近的數(shù)據(jù)點(diǎn)的值進(jìn)行比較可以測得其存在。如果與鄰近點(diǎn)的數(shù)值相差太大，超過給定的閾 值， 便可認(rèn)為該數(shù)據(jù)是一個(gè)脈沖干擾，并通過鄰近數(shù)據(jù)點(diǎn)的平均值來取代 這一數(shù)據(jù)

6、點(diǎn)值，就可以把這一干擾脈沖去掉，這樣不影響信號的其它部 分。在這一數(shù)據(jù) 點(diǎn)處理過程中，需注意選擇調(diào)節(jié)參數(shù)，也就是考慮鄰近數(shù) 據(jù)點(diǎn)值，以及判斷一 個(gè)數(shù)據(jù)點(diǎn)和鄰近數(shù)據(jù)點(diǎn)之間不同的閾值。 這個(gè)閾值一 般定義為噪 音測量偏差的 倍數(shù)，以免把必要的有用信號去掉。這一方法有 時(shí)也稱為鄰近點(diǎn)平滑法，也叫 做單點(diǎn)平滑法。2.1. 2 移動平均法 由于平滑是通過對信號進(jìn)行平均而減小噪音，因而多點(diǎn)平滑效果更好。 移 動平均法是多點(diǎn)平滑中最簡單的一種。先選擇在數(shù)據(jù)序列中相鄰的奇數(shù)個(gè)數(shù) 據(jù)點(diǎn)， 這奇數(shù)個(gè)數(shù)據(jù)點(diǎn)即構(gòu)成一個(gè)窗口。計(jì)算在窗口內(nèi)奇數(shù)個(gè)數(shù)據(jù)點(diǎn)的平均值， 然后用求 得的平均值代替奇數(shù)個(gè)數(shù)據(jù)點(diǎn)中的中心數(shù)據(jù)點(diǎn)的數(shù)據(jù)值

7、，這樣我們就 得到了數(shù)據(jù)平 滑后的一個(gè)新的數(shù)據(jù)點(diǎn)。接著去掉窗口內(nèi)的第一個(gè)數(shù)據(jù)點(diǎn)，并添 加上緊接著窗口的 下一個(gè)數(shù)據(jù)點(diǎn)，形成移動后的一個(gè)新窗口，其中的總數(shù)據(jù)個(gè) 數(shù)不變。同樣地，用窗 口內(nèi)的奇數(shù)個(gè)數(shù)據(jù)點(diǎn)求平均值，并用它來代替窗口中心的一個(gè)數(shù)據(jù)點(diǎn) ?如此移動并平均直到最后。2? L 3 指數(shù)平均法指數(shù)平均法是計(jì)算在一個(gè)具有 m 個(gè)數(shù)據(jù)點(diǎn)的移動窗口中的各數(shù)據(jù)點(diǎn)的加 權(quán) 平均?在窗口的最后一個(gè)點(diǎn) pl 即為要平滑的點(diǎn)，它的權(quán)重最大，而前面的每 個(gè)點(diǎn)分 配到的權(quán)重依次遞減。權(quán)重系數(shù)由平滑時(shí)間常數(shù)為T的指數(shù)函數(shù)e-ji （j標(biāo)志i前面第j個(gè)點(diǎn)，即j = 一仏一 1），（ m2）,，一 1,0 （要平滑的點(diǎn)i

8、的j=0）的形狀 來決定。pl后點(diǎn)的權(quán)重為0,這一過濾函數(shù)是用點(diǎn)i前面的點(diǎn) 對第i個(gè)數(shù)據(jù)點(diǎn)進(jìn)行平 滑。這一過程和用電子 RC濾波器（阻容濾波器）的實(shí)時(shí)平滑類似。由于該平滑函數(shù)是不對稱的，故在平滑后的數(shù)據(jù)中引入了單向失真，這一點(diǎn)也和實(shí)時(shí)RC濾波器一樣。除了獲得期望的信噪比降低外，指數(shù)平均的結(jié) 果是峰的最大值下降，同時(shí)發(fā) 生移動。由于用平滑常數(shù) T對峰值進(jìn)行指數(shù)平滑 和具有時(shí)間常數(shù)Tx=T的儀器測量 該峰的效果相同，因此 T 和峰寬比值函數(shù)的 強(qiáng)度下降值從實(shí)驗(yàn)測量和理論計(jì)算都可 得到。2. 2基線校正 由于儀器背景、樣品粒度和其它因素的影響，近紅外分析中常常出現(xiàn)基線漂移和傾斜現(xiàn)象。采用基線校正可有

9、效地消除這些影響。操作時(shí)可選用峰谷點(diǎn)扯平. 偏移扣減、微分處理和基線傾斜等方法，其中最常用的是一階微分和二階微分，但在微分處理時(shí)，要注意微分級數(shù)和微分?jǐn)?shù)據(jù)點(diǎn)的選擇。2? 3 數(shù)據(jù)求導(dǎo)處理 近紅外分析中，對于樣品不同組分之間的相互干擾導(dǎo)致吸收光譜譜線重疊的現(xiàn)象，可采用求導(dǎo)的方法進(jìn)行處理。其中常用的是一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。一階導(dǎo)數(shù)表示為：yiz =yi+g yig二階導(dǎo)數(shù)表示為：yi" =yi+2g 2yi +yi-2g式中：g為光 譜間隔，大小可視具體情況設(shè)定。對光譜求導(dǎo)一般有兩種方法: 直接差分法和Savitzky Gogy求導(dǎo)法。對于分辨率高.波長采樣點(diǎn)多 的光譜，直接差分法求取的導(dǎo)

10、 數(shù)光譜與實(shí)際相差不大，但對于稀疏波長釆樣點(diǎn) 的光譜，該方法所求的導(dǎo)數(shù)則存有 較大誤差，這時(shí)可采用 Savitzky Golay 卷積 求導(dǎo)法計(jì)算。2. 4 歸一化處理 用于消除光程變化或樣品稀釋等變化對光譜產(chǎn)生的影響。有三種光譜歸一化方法 :最小/最大歸一化 . 矢量歸一化 . 回零校正。其中常用的是矢量歸一 化，它是先計(jì)算出光譜的 y平均值，再用光譜減去該平均值，這樣光譜的中值 為零，計(jì)算所有的 y 值的平方和，然后用光譜除以該平方和的平方根， 結(jié)果光 譜的矢量歸一化是 1 °回零校正是將光譜減去最小的 y 值，使得坡小 y 值變?yōu)?Oo 3 近紅外光譜分析常用的數(shù)據(jù)處理方法 樣

11、品的近紅外光譜包含了物質(zhì)的組成和結(jié)構(gòu)信息。而物質(zhì)質(zhì)量參數(shù)(如 成 分含量)也與其組成結(jié)構(gòu)相關(guān)。應(yīng)用化學(xué)計(jì)量學(xué)方法對兩者進(jìn)行關(guān)聯(lián)，就可 確定這 兩者間的定性或定量關(guān)系，即定標(biāo)模型。建立定標(biāo)模型后，只要測出未 知樣品的近 紅外譜，根據(jù)標(biāo)模型就可以預(yù)測樣品的質(zhì)最參數(shù)。近紅外光譜分析 常用的計(jì)量方法 有:主成分分(PrincipalComponentAnalysis, PCR)，偏最小二乘法(PartialLeast Squares,PLS) 和人工神經(jīng)網(wǎng)絡(luò)法 (Artificial Neural Network,ANN ) 等。它們都是 常用的化學(xué)計(jì)量學(xué)方法，有著各自的優(yōu)點(diǎn) 和局限。3. 1 主成分

12、分析法 ( PCR)主成分分析法是使用最為廣泛的線形降維方法之一，該方法概念簡單易 ffi, 實(shí)現(xiàn)算法高效，因而在許多降維處理中應(yīng)用都很廣泛。主成分分析法將方差的大小作為衡量信息量多少的標(biāo)準(zhǔn)，認(rèn)為方差越大提供的信息越多，反之提供的信息就越少。其基本思想是通過線形變換保留方差大. 含信息多的分量， 丟掉信息量少的方向，從而降低數(shù)據(jù)的維數(shù)。降維后每個(gè)分量是原變量的線形 組合，因此，主成 分分析方法本質(zhì)上是一種線形降維的方法。其計(jì)算步驟一般 分為以下四步： 1)對原始數(shù)據(jù)樣本集合進(jìn)行標(biāo)準(zhǔn)化處理。2) 計(jì)算標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣的協(xié)方差矩陣，并對其進(jìn)行正交分解，得出主成分 分量。3) 計(jì)算各主成分的累計(jì)貢

13、獻(xiàn)量，根據(jù)要求的貢獻(xiàn)率閾值選取主成分。4) 針對選取的主成分建立主成分方程，計(jì)算主成分值。PCR把原自變量映射為含絕大部分信息的少數(shù)潛變量，再用線性的最小二乘確定這些潛變量系數(shù)，建立潛變量和因變量的回歸方程后再轉(zhuǎn)換為原自變量和因變戢的回歸方程。其壓縮自變最的效率極高，但其映射過程和因變晁無關(guān)，因而 其預(yù)測精度 也難達(dá) 到很高。3. 2 偏最小二乘法 ( PLS)偏域小二乘法 (Partial least squares regression稱PLS)將因 子分析和 回歸分析結(jié)合的方法，很好地解決了許多以往用普通多元線性回歸難 以解決的問 題。用近紅外光譜數(shù)據(jù)來預(yù)測樣品的組成含量時(shí)，作為解釋變量

14、的 近紅外反射光譜 的波長有幾百個(gè)甚至幾千個(gè)，往往超過了樣本的個(gè)數(shù)，造成多 重相關(guān)，難用普通的 多元線性回歸方法來建立穩(wěn)健、精度較高的數(shù)學(xué)模型。PLS通過因子分析將光譜(多維空間數(shù)據(jù)，維數(shù)相當(dāng)于波長數(shù)目)壓 縮為較低維空間數(shù)據(jù)，其方法是將光譜 數(shù)據(jù)向協(xié)方差最大方向投影，將原近紅 外光譜分解為多種主成分光譜，不同近紅外 光譜的主成分分別代表不同組分和 因素對光譜的貢獻(xiàn)，通過對主成分的合理選取， 去掉代表干擾組分和干擾因素 主成分，選用有用的主成分參與回歸。為了建立由各 因素構(gòu)成的數(shù)據(jù)矩陣 X與 由各目標(biāo)構(gòu)成的數(shù)據(jù)矩陣 丫之間的關(guān)系，其中X包含p 個(gè)變量，丫包含pi個(gè)變 量，樣本數(shù)為in,用PLS

15、方法處理時(shí)，首先將 X矩陣作為雙 線性分解，即 X=TPT+F,其中矩陣T含有兩兩正交的隱變量。PLS方法與主成分分析方法的不同之處在于，主成分分析法要求分解后得到的隱變量t的方差為最大，而不考慮矩陣丫的關(guān)系，而用PLS方法時(shí)，需要用到矩陣 丫中的信息，矩陣丫也可作雙線性分解，即 丫=UQT+Eo其中U矩陣包含丫的隱變量u,即u為矩陣丫中變量的線性組合，E為殘 差陣。PLS方法要求X分解得到的隱變量t與丫分解得到的隱變量u為最大 重疊或 相關(guān)性最大，因此有u=vt+e,式中e為殘差矢量，系數(shù)v根據(jù)最小二 乘確定。所以 PLS是一種具有較好發(fā)展前景的新型數(shù)據(jù)處理方法，是近年來因 實(shí)際需要而產(chǎn)生和

16、 發(fā)展的一個(gè)廣泛使用的多元統(tǒng)計(jì)數(shù)據(jù)分析方法。例如：王宏 等將遺傳算法應(yīng)用于無 創(chuàng)傷人體血糖濃度光學(xué)檢測的基礎(chǔ)研究中，在偏最小二 乘法校正模型的波長優(yōu)化選 擇中具有顯著的效果。將遺傳算法作為模塊循環(huán)運(yùn) 行，能更快達(dá)到最優(yōu)解，有效提 高測量精度。Bangalore等以LAIRS測量水中有機(jī)物含量為例，研究了遺傳算法用 于優(yōu)化PLS建立多元校正模型的波長和特征 變量數(shù)。張大仁、趙立新將遺傳算法和 偏最小二乘法結(jié)合應(yīng)用于定量結(jié)構(gòu)活性關(guān)系研究中，得到較好的 QSAR模型。3. 3 人工神經(jīng)網(wǎng)絡(luò)法 （ANN）ANN 始于 20世紀(jì) 40年代初。它的基本思想是模擬人腦細(xì)胞 （神經(jīng)元 ） 工作 原理，以建立模

17、型進(jìn)行分類和預(yù)測的。人工神經(jīng)網(wǎng)絡(luò)的最大優(yōu)點(diǎn)是它的抗干擾. 抗噪音能力和它的非線性轉(zhuǎn)換能力。 ANN 用于非線性模型 （也可用于線性 模型）, 其缺 點(diǎn)是學(xué)習(xí)時(shí)間較長，但只要得到模型參數(shù)，進(jìn)行預(yù)測時(shí)能立即得 到結(jié)果。神經(jīng)網(wǎng)絡(luò) 的連接方式有很多種，使用較多的是反向傳輸模型，即BP （back-propagatio n模型，在 1986 年由 Rumelhart, Hinton 和 Williams 等人 提出。該模型可以實(shí)現(xiàn)數(shù)據(jù)處理 的定量預(yù)測，也可以用于模式識別。在近紅外 光譜的光譜數(shù)據(jù)處理中，無論是對樣 品的組成 .質(zhì)量指標(biāo)預(yù)測，還是模式識別 分類，都可以人工神經(jīng)網(wǎng)絡(luò)在近紅外光譜 分析中有著不

18、可替代的作用，特別是 在解決非線性數(shù)據(jù)處理方面優(yōu)勢明顯。例 如:Tanabe等利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對1129個(gè)紅外譜圖進(jìn)行識別，系統(tǒng)由兩部分組成， 能在0.1s內(nèi)鑒別未知譜。王志有等 采用BP人工神經(jīng)網(wǎng)絡(luò)光度法對復(fù)合維生素片中 的VB1, VB2, VB6和VPP進(jìn)行了同 時(shí)測定，得到了較為準(zhǔn)確的結(jié)果。張卓勇等論 述了人工神經(jīng)網(wǎng)絡(luò)在光譜分析重 疊信號解析中的應(yīng)用，將基于計(jì)算最大差異光譜的 目標(biāo)轉(zhuǎn)換因子分析法，用于 解析混合物的紅外光譜和從混合物的紅外光譜中解析出 純組分光譜，得到了滿 意的結(jié)果。以上幾種紅外光譜的數(shù)據(jù)處理方法可根據(jù)建模模型以及實(shí)際情況靈活 選 擇。主成分回歸方法可有效解決譬如共線問題 . 變量數(shù)使用限制問題并在一 定程度 上解決了噪音濾除問題，缺點(diǎn)是不能保證參與回歸的主成分一定與被測組分的性質(zhì)有關(guān)。偏最小二乘法把數(shù)據(jù)分解和回歸融合在一起，得到的特征值 向量直接與被測 組分或性質(zhì)有關(guān)，適于非線性數(shù)