現代近紅外光譜分析技術的原理及應用

1、現代近紅外光譜分析技術的原理及應用1 簡介近紅外光（near infrared,NIR ）是介于可見光（VIS）和中紅外光（MIR或 IR）之間的電磁波美國材料檢測協(xié)會（ASTM將近紅外光譜區(qū)定義為波長 780-2526nm的光譜區(qū)（波數為12820-3959cnV）習慣上又將近紅外區(qū)劃分為近紅 外短波（780-1100nm）和近紅外長波（1100-2526nm）兩個區(qū)域。從20世紀50 年代起，近紅外光譜技術就在農副產品分析中得到廣泛應用， 但是由于技術上的 原因，在隨后的 20多年中進展不大。進入 20世紀 80 年代后，隨著計算機技術 的迅速發(fā)展，以及化學計量學方法在解決光譜信息提取和消

2、除背景干擾方面取得 的良好效果， 加之近紅外光譜在測試技術上所獨有的特點， 人們對近紅外光譜技 術的價值有了進一步的了解從而進行了廣泛的研究。 數字化光譜儀器與化學計量 學方法的結合標志著現代近紅外光譜技術的形成。數字化近紅外光譜技術在 20 世紀 90 年代初開始商品化。近年來，近紅外光譜的應用技術獲得了巨大發(fā)展， 在許多領域得到應用， 對推進生產和科研領域的技術進步發(fā)揮了巨大作用。近紅外光譜技術是 90 年代以來發(fā)展最快、最引人注目的光譜分析技術，測量信號的 數字化和分析過程的綠色化使該技術具有典型的時代特征。 由于近紅外光在常規(guī) 光纖中有良好的傳輸特性， 使近紅外光譜技術在實時在線分析領

3、域中得到很好的 應用。在工業(yè)發(fā)達國家，這種先進的分析技術已被普遍接受，例如1978年美國和加拿大采用近紅外法代替凱氏法，作為分析小麥蛋白質的標準方法。20 世紀 90年代初, 外國廠商開始在我國銷售近紅外光譜分析儀器產品 , 但在 很長時間內，進展不大，其原因主要是：首先，近紅外光譜分析要求光譜儀器、 光譜數據處理軟件 （主要是化學計量學軟件） 和應用樣品模型結合為一體， 缺一 不可。但被分析樣品會由于樣品產地的不同而不同，國內外的樣品通常有差異， 因此，進口儀器的應用模型一般不適合分析國內樣品。 如果自己建立模型， 就需 要操作人員了解和熟悉化學計量學知識和軟件， 而外商在中國的代理機構缺乏

4、這 方面的專業(yè)人才， 不能有效地根據用戶的需要組織培訓， 因此，用戶對這項技術 缺乏全面了解，影響到了它的推廣使用。其次，進口儀器價格昂貴，售后技術服 務費用也往往超出大多數用戶的承受能力。1995 年以來，國內許多科研院所和大專院校開始積極研究和開發(fā)適合國內 需要的近紅外光譜分析技術， 并且做了大量技術知識的普及工作， 為我國在這一 技術領域的發(fā)展奠定了良好的基礎，開創(chuàng)了嶄新的局面。2 工作原理 近紅外光譜主要是由于分子振動的非諧振性使分子振動從基態(tài)向高能級躍 遷時產生的。近紅外光譜記錄的是分子中單個化學鍵的基頻振動的倍頻和合頻信 息，它常常受含氫基團X-H（X-C、N、O）的倍頻和合頻的重

5、疊主導，所以在近 紅外光譜范圍內，測量的主要是含氫基團 X-H 振動的倍頻和合頻吸收。 獲得近紅外光譜主要應用兩種技術透射光譜技術和反射光譜技術。 透射光譜 （波長一般在7801100nm范圍內）是指將待測樣品置于光源與檢測器之間，檢 測器所檢測的光是透射光或與樣品分子相互作用后的光 （承載了樣品結構與組成 信息）， 若樣品是混濁的，樣品中有能對光產生散射的顆粒物質，光在樣品中 經過的路程是不確定的，透射光強度與樣品濃度之間的關系不符合 Beer 定律。 對這種樣品應使用漫透射分析法。 反射光譜（波長一般在11002526nm范圍內） 是指將檢測器和光源置于樣品的同一側， 檢測器所檢測的是樣品

6、以各種方式反射 回來的光。物體對光的反射又分為規(guī)則反射（鏡面反射）與漫反射。 規(guī)則反射 指光在物體表面按入射角等于反射角的反射定律發(fā)生的反射， 漫反射是光投射到 物體后（常是粉末或其它顆粒物體） ，在物體表面或內部發(fā)生方向不確定的反射。 應用漫反射光進行的分析稱為漫反射光譜法。 此外，還有把透射分析和漫反射分 析結合在一起的綜合漫反射分析法和衰減全反射分析法等。由于倍頻和合頻躍遷幾率低，而有機物質在 NIR 光譜區(qū)為倍頻與合頻吸收， 所以消光系數弱， 譜帶重疊嚴重。 因此從近紅外光譜中提取有用信息屬于弱信息 和多元信息，需要充分利用現有的光機技術、電子技術和計算機技術進行處理。 計算機技術主要

7、包括光譜數據處理和數據關聯(lián)技術。 光譜數據處理是消除儀器因 素（燈及測量方式等）環(huán)境因素（如溫度等）和樣品物態(tài)（如顏色、形態(tài)等）等 對光譜的影響。常采用的方法有平滑、微分、基線漂移扣減、多元散射校正（MSC 和有限脈沖響應濾波（FIR）等也可以用小波變換來 進行部分處理。 數據關聯(lián)技術主要是化學計量學方法。 化學計量學的發(fā)展使多 組分分析中多元信息處理理論和技術日益成熟，解決了近紅外光譜區(qū)重疊的問 題。 通過關聯(lián)技術可以實現近紅外光譜的快速分析。 在近紅外光譜的應用中我 們所關心的是被測樣品的組成或各種物化性質， 因此，如何提取這些有用信息是 近紅外光譜分析的技術核心。 現在的許多研究與應用表

8、明， 利用化學計量學方法 進行近紅外光譜分析是非常有效的。 化學計量學理論在近紅外光譜儀器中的應用 對儀器的實用化是非常關鍵的。在近紅外光譜分析中被測物質的近紅外光譜取決于樣品的組成和結構。 樣品 的組成和結構和近紅外光譜之間有著一定的函數關系。 使用化學計量學方法確定 出這些重要函數關系， 即經過校正， 就可以根據被測樣品的近紅外光譜， 快速計 算出各種數據。 現在常用的校正方法主要有：多元線性回歸（MLR主成分分析（PCA，偏最小二乘法（PLS人工神經網絡（ANN和拓撲（Topological ）方3 技術特點近紅外光譜技術之所以成為一種快速、 高效、適合過程在線分析的有利工具， 是由其技

9、術特點決定的。 近紅外光譜分析的主要技術特點如下： ?（ 1）分析速度快，測量過程大多可在 1min 內完成。（ 2）分析效率高，通過一次光譜測量和已建立的相應校正模型，可同時對樣品 的多個組分或性質進行測定提供定性、定量結果。（3）適用的樣品范圍廣，通過相應的測樣器件可以直接測量液體、固體、半固 體和膠狀體等不同物態(tài)的樣品光譜測量方便。（4）樣品一般不需要預處理，不需要使用化學試劑或高溫、高壓、大電流等測 試條件，分析后不會產生化學、生物或電磁污染。（5）分析成本較低（無需繁雜預處理，可多組分同時檢測）。（6）測試重現性好。（7）對樣品無損傷，可以在活體分析和醫(yī)藥臨床領域廣泛應用。（8）近紅

10、外光在普通光纖中具有良好的傳輸特性，便于實現在線分析。（9）對操作人員的要求不苛刻，經過簡單的培訓就可勝任工作。 近紅外光譜技術存在的問題是：（ 1） 測試靈敏度相對較低，被測組分含量一般應大于 0.1%。 （2）需要用標樣進行校正對比，很多情況下僅是一種間接分析技術。4 儀器分類根據分光系統(tǒng)， 近紅外光譜儀器可分為固定波長濾光片、 光柵色散、 快速傅 立葉變換和聲光可調濾光器（AOTF四種類型。光柵色散型根據使用檢測器的不 同又分為掃描式和固定光路式兩種。根據測試方法， 近紅外光譜法主要分為透射測定法， 漫透射測定法和反射測 定法 3 種。透射測定法用于透明樣品的分析， 樣品濃度與對光的吸收

11、關系符合比 爾定律。漫透射測定法，由于樣品中含有光散射物質，光在穿透分析樣品時，除 了吸收外還有多次散射， 比爾定律不適用。 反射測定法， 近紅外光照射到樣品表 面后，由于樣品表面狀態(tài)和結構的不同，光線會發(fā)生多次反射。5 對硬件和軟件的要求在硬件上，光柵型近紅外光譜儀的設計與紫外， 可見光譜儀的設計極為相似， 但使用的光柵，濾光片和檢測器不同（有些需要更換光源）。 目前 FT-IR 光譜 儀主要用于中紅外區(qū)，但只要更換一些光學元件（光源、分束器及檢測器）并配 合適用的軟件，就可擴展到近紅外區(qū)，AOTF是一種新的分光方法，已經有廠家將其用于中紅外和近紅外光譜儀器。 使用濾光片的儀器，主要用于對儀

12、器要求 不太高的專項測量。在軟件上，應該設計光譜測量通用軟件， 化學計量學光譜分析軟件和儀器自 檢系統(tǒng)。光譜測量通用軟件完成近紅外光譜圖的獲取、 存儲等常規(guī)功能， 化學計 量學光譜分析軟件完成對樣品的定性或定量分析， 是近紅外光譜快速分析技術的 核心。常用的化學計量學方法有：多元線性回歸（ MLR，主成分分析（PCA、 偏最小二乘法（PLS、人工神經網絡（ANN和拓撲（Tonological ）等。所采 用的算法的好壞 (收斂速度) 直接影響儀器的分析速度， 所以在這一方面需要加 強研究。儀器自檢系統(tǒng)完成儀器性能狀態(tài)的自我檢測， 判定儀器是否符合樣品的 測試條件，儀器在硬件上要有相應的功能。另

13、外，還需要建立相應的模型庫(訓練集)。這項工作需要具有相應領域專 業(yè)知識的人才 ?大量有代表性的樣品， 準確的標準分析數據 (主要是化學分析) 數據建模并建成相應的光譜數據庫，才有可能完成。6 應用 -茶葉定性和定量近紅外光譜分析方法研究嘗試應用近紅外光譜分析技術,結合聚類分析和偏最小二乘回歸(MPLS)方法, 對茉莉花茶、苦丁茶、龍井和鐵觀音 4個種類進行定性分析與建模 , 同時建立了 茶葉中水分、茶多酚和咖啡堿的定量分析模型 , 并對其適用性進行檢驗。1 材料與方法1 1樣本收集分別購買市售茉莉花茶、苦丁茶、龍井和鐵觀音 4個種類各 30個, 共計 120 個樣本 , 分別產自湖北、河南、

14、海南、浙江、福建等地。全部樣本分成定標集和 驗證集 , 定標集為 102 個樣本 , 驗證集為 18 個樣本。1 2三種成分化學分析樣本三種主要成分的測定按照國家標準的測定方法 ，水分采用103C恒重法 (GB/T83042002); 茶多酚采用酒石酸亞鐵比色分光光度法 (GB/T83132002); 咖啡堿采用紫外分光光度法(GB/T83122002)?；瘜W分析結果見表1。Table 1 Chemical analysis result of samples(%, weight percent)成分最小值最大值平均值標準差水分 3 76 9 36 6 69 1 14茶多酚 21 59 39

15、86 32 51 3 62咖啡堿 2 91 6 35 4 27 0 621 3光譜采集與異常樣本剔除本實驗使用丹麥 FOSS TECATO公司生產的NIRSys-tems6500型近紅外光譜 分析儀，波長范圍為4002 500 nm;掃描速度為1 8次 s-1;檢測器為硅(4001 100 nm),硫化鉛(1 1002 500 nm);工作溫度為1532C ;取點間隔為2 nm;掃描 次數為 32。光譜分析軟件采用與 NIRSys-tems6500 型近紅外光譜分析儀配套化 學計量學軟件 WinISI川實現。隨機抽取樣本，按照儀器使用要求進行裝樣，對每 份樣本進行 3次裝樣, 分別進行掃描 ,

16、取 3次掃描光譜的平均光譜作為分析光譜。 樣本原始近紅外光譜見圖 1 所示。Fig 1 Original spectrum of samples利用WinISI川對光譜文件進行聚類分析，分析方式為PL1方式,即利用 掃描數據矩陣及各成分含量的實驗室數據計算得分 , 解釋光譜間差異。馬氏距離 超過3 0的被視為異常樣品，應被剔除6,7。1 4光譜預處理方法 為了去除來自高頻隨機噪音、基線漂移、樣本不均勻、光散射等影響 , 需要 對光譜進行預處理。光譜數據預處理方式包括散射處理MSC無散射處理None)、標準正?；?趨勢變化法(SNV+D),導數處理(1階導數或2階導數),導數處理光譜 間隔點(2

17、, 4, 8), 平滑處理間隔點都取為 4, 二次平滑處理間隔點都取為 1。1 5定性和定量分析模型的建立方法利用 WinISI 軟件中的 Discriminant Equations( 判別方程)程序在全光譜段建立茶葉種類識別定性分析模型 , 茉莉花茶、苦丁茶、龍井和鐵觀音的定性值分 別設定為 1, 2, 3,4 。采用聚類分析技術對各組樣品分別判定 ,一類樣本作為目 標樣本, 其樣本預測值越接近于 2,表明其被認為屬于目標樣品 ,同時樣本預測值 必須大于1 5,否則被判斷為不同類樣本8,9。三種主要成分定量分析模型的 建立采用修正的偏最小二乘(MPLS)回歸方法。為了防止過擬合現象的發(fā)生,

18、采用 交互驗證 (Cross Validation) 方法確定模型的主因子數 , 為了考察模型的準確性 , 用獨立的驗證集進行了預測。定標集的統(tǒng)計參數包括決定系數R2G標準差SEC和交互驗證標準 SEGV同時通過目標函數 f(x)=RC心+SECV)來評價定量分析模 型的優(yōu)劣 ,f 值越大表明模型預測效果越好。驗證集的統(tǒng)計參數包括決定系數、 系統(tǒng)偏差Bias、斜率Slope和驗證標準差SEP另外，使用相對分析誤差RPD寸 預測精度進行進一步評價，即相對分析誤差RPD=SD/SEP(S為驗證集標準偏差)。 如果RP» 3,說明預測效果良好，建立的定量分析模型可用于實際檢測；如果2 5&

19、lt;RPD<3說明利用NIRS定量分析是可行的，但預測精度有待于進一步提高； 如果RPDC 2 5,則說明難于進行NIR定量分析10。2 結果與分析2 1定性分析2 1 1定性分析模型的建立利用 WinISI 軟件中的 Discriminant Equations( 判別方程)程序在全光譜段 建立定性定標模型 , 經過多次建模比較 , 最大主成分數、交叉驗證分組數分別取為 15和4時定標結果較好 ；光譜預處理方法為二階導數結合 9點平滑處理時定標效 果最優(yōu)。同時分別討論了不確定因子分別為 1 0和2 0時對定標結果的影響， 結果見表 2。Table 2 Calibration resu

20、lts at uncertaintyfactor(UF) of 1 0 and 2 O定性值不確定因子UF=1- 01 2 3 4不確定因子UF=2- 01 2 3 4總樣品數 30 28 29 30 30 28 29 30 判斷錯誤樣品數 0 0 0 0 0 0 0 0 不確定樣品數 0 0 0 0 2 0 2 1 判斷準確樣品數 30 28 29 30 28 28 28 29從表2可以看出，當不確定因子UF=1-0時的定標結果最好，對四個種類 茶葉都是100%判斷準確,而不確定因子UF=20時,茉莉花和龍井均有2個不確 定樣本存在，鐵觀音有1個不確定樣本存在，故本實驗采用不確定因子UF=1

21、 - 0建立定性分析模型。圖 2 為樣本種類識別定標得分空間分布圖 , X 軸表示樣本的 第一主成分得分 (PC1),Y 軸表示樣本第二主成分得分 (PC2),Z 軸表示樣本第三主 成分得分(PC3)。從圖中可以看出，不同種類茶葉之間有明顯的聚類現象，有較清 晰的分界線,但龍井的聚類都不是很密集 ,與鐵觀音之間有重疊現象。 圖 2顯示了 不同類別茶葉的聚類效果 ,定性地描述了四種茶葉的特征差異。說明主成分聚類 分析法是識別茶葉種類的一種有效方法。 Fig 2 3D graph of calibration scoresfor qualitative analysis2 1 2定性分析模型驗證利

22、用獨立驗證集樣本對建立的定性分析模型進行檢驗 , 檢驗結果見表 3。從 表中可以看出 , 茉莉花、苦丁茶和鐵觀音判別正確率達 100%,龍井有 1 個不確定 樣本數。因此 , 利用近紅外光譜分析方法定性識別茶葉的種類是可行的。 Table 3 Prediction result of samples in validationset by qualitative analysis model 樣品編號定性值預測值 1 2 3 401 1 1 8 1 0 1 4 0 802 1 2 2 10 0 6 1 203 1 2 0 1 0 1 1 0 904 1 1 7 1 0 1 1 1 205 1

23、1 8 1 1 1 0 1 206 2 1 1 2 0 1 0 0 907 2 1 1 2 0 1 0 0 908 2 1 1 1 9 1 0 0 909 2 0 9 2 0 0 9 1 210 3 0 6 1 1 1 9 1 511 3 1 3 1 0 1 6 1 112 3 1 1 0 9 1 8 1 313 3 1 4 1 0 1 9 0 814 3 0 6 1 0 2 2 1 315 4 1 0 0 9 1 1 1 916 4 1 1 0 9 1 2 1 817 4 1 0 1 0 1 2 1 818 4 1 2 1 1 0 9 1 8判斷錯誤樣本數 0 0 0 0 不確定樣本數 0

24、0 1 0 判斷準確樣本數 4 4 3 42 2定量分析2 2 1定量分析模型的建立光譜預處理方法和主因子數的選擇是決定定標模型優(yōu)劣的關鍵。 選擇最優(yōu)的 光譜預處理方法不僅有利于加快模型運算速度 , 更重要的是可以提高模型的預測 精度和能力。采用修正的偏最小二乘(MPLS)回歸方法，以決定系數R2G標準差 SEG交互驗證標準SECV以及目標函數為評價指標,在全譜區(qū)范圍內,比較了不 同光譜預處理方法對定標效果的影響 , 建立了優(yōu)化的水分、茶多酚和咖啡堿的近 紅外定量分析定標模型 , 結果見表 4 所示。從表 4 中可以看出 , 所優(yōu)化建立的三種主要成分 NIR 定標模型的預測值 與實測值之間的決定系數 R2G均在093以上,具有較好的相關性,同時目標函數 f(x)均大于95%,說明定標效果良好。2 2 2定量分析模型的驗證為了檢驗以上建立的近紅外定量分析模型的預測精度 , 對 18 個驗證集獨立 樣本相應的三種成分分別進行預測 , 驗證評價指標統(tǒng)計見表 5。Table 4 Parameters and statistics of calibration models 成分光譜預處理方法主因子數 SEGR2cSEGVf(x) 水分 MSG,2,4,1,1 6 0 159 1 0 985 6 0 234 1 9