近紅外光譜校正

1、 近紅外分析影響因素回顧近紅外分析影響因素回顧 近紅外建模和分析操作規(guī)范近紅外建模和分析操作規(guī)范 內(nèi)容綱要內(nèi)容綱要 l 參與建模的樣品量不足參與建模的樣品量不足 l 建模樣品不具代表性建模樣品不具代表性 l 近紅外方法不適合分析該性質(zhì)近紅外方法不適合分析該性質(zhì) l 非線性因素對模型的影響非線性因素對模型的影響 l 性質(zhì)值不穩(wěn)定，模型不理想性質(zhì)值不穩(wěn)定，模型不理想 l 樣品光譜和化驗性質(zhì)數(shù)據(jù)不匹配樣品光譜和化驗性質(zhì)數(shù)據(jù)不匹配 l 儀器未正常工作儀器未正常工作 l 樣品未經(jīng)過清理樣品未經(jīng)過清理 l 溫度溫度 l 濕度濕度 l 震動震動 l 其他干擾其他干擾 影響影響 因素因素 樣品樣品 操作操作

2、環(huán)境環(huán)境 影響影響nir分析準確性的因素分析準確性的因素 分析結(jié)果準確性分析結(jié)果準確性 n1 影響nir分析結(jié)果準確性的因素多種多樣， 不能就一個方面輕易下結(jié)論 n2 一般需要對建立好的標準曲線或模型進行驗證， 滿足要求后才能使用 n3 建模分析過程需要一套規(guī)范保證 近紅外分析影響因素剖析回顧近紅外分析影響因素剖析回顧 近紅外建模和分析操作規(guī)范近紅外建模和分析操作規(guī)范 內(nèi)容綱要內(nèi)容綱要 近紅外定量模型校正過程近紅外定量模型校正過程 1.1. 樣本的收集樣本的收集 2.2. 光譜的采集光譜的采集 3.3. 校正樣本的選擇校正樣本的選擇 4.4. 化學基礎(chǔ)數(shù)據(jù)的測定化學基礎(chǔ)數(shù)據(jù)的測定 5.5. 定

3、量模型的建立定量模型的建立 6.6. 定量模型的驗證定量模型的驗證 7.7. 模型維護模型維護 7 7個方面建立規(guī)范個方面建立規(guī)范 樣本收集原則樣本收集原則 建模樣品應(yīng)包含以后未知樣建模樣品應(yīng)包含以后未知樣 品所包含的所有化學組分品所包含的所有化學組分 建模樣品的濃度變化范圍大建模樣品的濃度變化范圍大 于未知樣品的變化范圍于未知樣品的變化范圍 收集足夠的樣品數(shù)以能統(tǒng)收集足夠的樣品數(shù)以能統(tǒng) 計確定光譜變量與濃度（計確定光譜變量與濃度（ 或性質(zhì)）之間的數(shù)學關(guān)系或性質(zhì)）之間的數(shù)學關(guān)系 組分濃度在整個變化范圍內(nèi)組分濃度在整個變化范圍內(nèi) 是均勻分布的是均勻分布的 建模樣品收集建模樣品收集 收集開車時樣品

4、收集開車時樣品 收集工藝參數(shù)調(diào)整期樣品收集工藝參數(shù)調(diào)整期樣品 收集原料發(fā)生改變前后樣品收集原料發(fā)生改變前后樣品 收集穩(wěn)定生產(chǎn)的部分樣品收集穩(wěn)定生產(chǎn)的部分樣品 收集的樣品信息記錄完全如時間、批號、工藝收集的樣品信息記錄完全如時間、批號、工藝 條件、樣品狀態(tài)等，并良好保存條件、樣品狀態(tài)等，并良好保存 工業(yè)品工業(yè)品 收集不同地區(qū)的樣品收集不同地區(qū)的樣品 收集不同季節(jié)的樣品收集不同季節(jié)的樣品 收集不同品種的樣品收集不同品種的樣品 收集的樣品需要進行清理雜質(zhì)收集的樣品需要進行清理雜質(zhì) 收集的樣品如可粉碎則進行粉碎到收集的樣品如可粉碎則進行粉碎到4040目目 天然產(chǎn)品天然產(chǎn)品 樣本收集具體操作樣本收集具體

5、操作 沒有基礎(chǔ)模型收集沒有基礎(chǔ)模型收集100100個以上樣品，如有則減半個以上樣品，如有則減半 不能全收集不能全收集“好好”或者或者“差差”樣品樣品 不能只收集一天或一段時間樣品不能只收集一天或一段時間樣品 所收集的樣品需要有性質(zhì)值，或收集后檢測該值所收集的樣品需要有性質(zhì)值，或收集后檢測該值 所收集的樣品有一定的量，固體所收集的樣品有一定的量，固體200g液體液體100ml 所收集的樣品標簽明確，保存所收集的樣品標簽明確，保存3個月不變質(zhì)個月不變質(zhì) 樣本收集要點樣本收集要點 樣品樣品 收集收集 注意注意 要點要點 所收集的樣品充分混合均勻所收集的樣品充分混合均勻 儀器儀器 儀器充分預(yù)熱 性能測

6、試過關(guān) 樣品樣品 樣品放置到室溫 或預(yù)熱充分 充分混合均勻 樣品狀態(tài)一致 操作操作 先采集參比光譜 后采集樣品光譜 重復裝樣采集2次 光譜采集原則光譜采集原則 光譜采集原則光譜采集原則 每一個樣品，每一次光譜采集 的編號唯一，便于識別 樣品采集完光譜后馬上進行化 驗檢測，可保證光譜與化驗值 具有更好的對應(yīng)性 -充分確認儀器性能后進行光譜 采集； -光譜采集的儀器參數(shù)設(shè)置一致 顆粒樣品位置正確、表面壓 平；粉末樣品刮平表面；液 態(tài)樣品清除氣泡 每一類樣品狀態(tài)基本一致 -操作手法輕靈，輕拿輕放； -注意清潔，防護儀器 光譜采集光譜采集 注意要點注意要點 光譜采集注意要點光譜采集注意要點 選擇建模校

7、正樣品原則選擇建模校正樣品原則 l 建模樣品數(shù)量需要達到一定水平；成熟模型建模樣品數(shù)量需要達到一定水平；成熟模型200個以上個以上 l 建模樣品每一個性質(zhì)的分布情況呈均勻分布建模樣品每一個性質(zhì)的分布情況呈均勻分布 l 可基于收集樣品的光譜和性質(zhì)分布情況挑選建模樣品可基于收集樣品的光譜和性質(zhì)分布情況挑選建模樣品 l 性質(zhì)值過于集中的樣品對模型開發(fā)無益性質(zhì)值過于集中的樣品對模型開發(fā)無益 通常情況下呈正態(tài)分布的樣品情況也可被接受通常情況下呈正態(tài)分布的樣品情況也可被接受 l 根據(jù)生產(chǎn)經(jīng)驗挑選建模樣品，即多挑選生產(chǎn)異常時樣根據(jù)生產(chǎn)經(jīng)驗挑選建模樣品，即多挑選生產(chǎn)異常時樣 品，生產(chǎn)正常時樣品可少挑選品，生產(chǎn)

8、正常時樣品可少挑選 l 最開始收集的最開始收集的100100個樣品全部用于建模個樣品全部用于建模 l 采集的同一個樣品的重復光譜在光譜數(shù)量小于采集的同一個樣品的重復光譜在光譜數(shù)量小于400400時，時， 可作為不同樣品建?？勺鳛椴煌瑯悠方?l 當收集的樣品個數(shù)大于當收集的樣品個數(shù)大于200200，光譜個數(shù)大于，光譜個數(shù)大于400400以后，以后， 可將建模樣品中的重復光譜刪除，節(jié)約內(nèi)存開銷加快計可將建模樣品中的重復光譜刪除，節(jié)約內(nèi)存開銷加快計 算速度算速度 l 全局距離和最近鄰距離可剔除部分信息重復的樣品，全局距離和最近鄰距離可剔除部分信息重復的樣品， 一般情況下僅使用最近鄰距離剔除樣品一般

9、情況下僅使用最近鄰距離剔除樣品 l 多數(shù)情況下按照性質(zhì)值分布挑選建模樣品多數(shù)情況下按照性質(zhì)值分布挑選建模樣品 選擇建模校正樣品實際操作選擇建模校正樣品實際操作 選擇建模校正樣品實際操作選擇建模校正樣品實際操作 根據(jù)樣品分布情況找出有代表性樣品 化學基礎(chǔ)數(shù)據(jù)原則化學基礎(chǔ)數(shù)據(jù)原則 同一樣品的化學基礎(chǔ)數(shù) 據(jù)必須與該樣品光譜對 應(yīng) 代表性樣品基礎(chǔ)數(shù)據(jù)平行 測試 基礎(chǔ)數(shù)據(jù)檢測采用標 準或經(jīng)典方法 不同來源的基礎(chǔ)數(shù)據(jù) 進行標注并進行確證 化學基礎(chǔ)化學基礎(chǔ) 數(shù)據(jù)數(shù)據(jù) 化學基礎(chǔ)數(shù)據(jù)注意點化學基礎(chǔ)數(shù)據(jù)注意點 化學化學 基礎(chǔ)基礎(chǔ) 數(shù)據(jù)數(shù)據(jù) 注意注意 點點 對化驗基礎(chǔ)數(shù)據(jù)的穩(wěn)定性進行考察對化驗基礎(chǔ)數(shù)據(jù)的穩(wěn)定性進行考

10、察 同一性質(zhì)不同方法檢測值，不能合并到一起同一性質(zhì)不同方法檢測值，不能合并到一起 同一性質(zhì)不同校正基礎(chǔ)的數(shù)據(jù)不能合并，如干基蛋白同一性質(zhì)不同校正基礎(chǔ)的數(shù)據(jù)不能合并，如干基蛋白 化學值與對應(yīng)的光譜一致，錯位將導致模型錯誤化學值與對應(yīng)的光譜一致，錯位將導致模型錯誤 同一集團不同廠的基礎(chǔ)數(shù)據(jù)需進行核對確認同一集團不同廠的基礎(chǔ)數(shù)據(jù)需進行核對確認 基礎(chǔ)數(shù)據(jù)的信息記錄完整，符合標準要求基礎(chǔ)數(shù)據(jù)的信息記錄完整，符合標準要求 構(gòu)建建模樣品集構(gòu)建建模樣品集確定建模方法確定建模方法 選擇建模參數(shù)選擇建模參數(shù) 對異常樣品進對異常樣品進 行處理行處理 優(yōu)化評價模型優(yōu)化評價模型 定量模型建立定量模型建立 和優(yōu)化和優(yōu)化

11、建立定量分析模型包含如下幾個步驟建立定量分析模型包含如下幾個步驟 定量模型的建立定量模型的建立 定量模型的建立使用參數(shù)定量模型的建立使用參數(shù) l 建立定量模型的方法：建立定量模型的方法：k-fold plsk-fold pls方法方法 l 光譜預(yù)處理方法選擇：光譜預(yù)處理方法選擇： snv-snv-消除光程差異消除光程差異 dt-dt-消除基線漂移消除基線漂移 sgsg平滑平滑-降低噪聲水平降低噪聲水平 sgsg一階導數(shù)一階導數(shù)-提升有用信號水平提升有用信號水平 均值中心化均值中心化 l 交互檢驗方法：交互檢驗方法：8-fold8-fold交互檢驗（減少計算時間）交互檢驗（減少計算時間） l 光

12、譜波長選擇：吸收在光譜波長選擇：吸收在0.10.11.51.5之間的波段之間的波段 定量模型的確認原則定量模型的確認原則 l 根據(jù)性質(zhì)值的化學分析方法穩(wěn)定性確定模型參數(shù)根據(jù)性質(zhì)值的化學分析方法穩(wěn)定性確定模型參數(shù) l 一般規(guī)則：模型一般規(guī)則：模型sec = secv *1.2 l secv值與化學方法穩(wěn)定性標準偏差相當值與化學方法穩(wěn)定性標準偏差相當 l 在上述基礎(chǔ)上分析模型的主因子越小越好在上述基礎(chǔ)上分析模型的主因子越小越好 主因子個數(shù)越多，引入的噪聲越多，模型不穩(wěn)定主因子個數(shù)越多，引入的噪聲越多，模型不穩(wěn)定 主因子個數(shù)過少，準確性達不到要求主因子個數(shù)過少，準確性達不到要求 l 主因子取在主因子

13、取在press拐點處拐點處 l 相關(guān)系數(shù)僅作為參考相關(guān)系數(shù)僅作為參考 定量模型的確認原則定量模型的確認原則 樣品化學值比較極端，影響模型預(yù)測的準確性。樣品化學值比較極端，影響模型預(yù)測的準確性。 但一般能提高模型的適應(yīng)性但一般能提高模型的適應(yīng)性 可用馬氏距離（杠桿值進行判定）可用馬氏距離（杠桿值進行判定） （1 1）該樣品的參考測量值有誤，其誤差范）該樣品的參考測量值有誤，其誤差范 圍超出了標準的規(guī)定范圍；圍超出了標準的規(guī)定范圍； （2 2）模型不能用于該樣品的測定）模型不能用于該樣品的測定 可用學生殘差進行判定可用學生殘差進行判定 異常樣品的處理異常樣品的處理 存在兩類異常樣品存在兩類異常樣品

14、 異常樣品處理的原則異常樣品處理的原則 l 馬氏距離（杠桿值）判定的異常樣品一般不剔除。馬氏距離（杠桿值）判定的異常樣品一般不剔除。 前提前提1：其化驗性質(zhì)值確實準確無誤：其化驗性質(zhì)值確實準確無誤 前提前提2：該樣品對模型的準確度影響不太大，：該樣品對模型的準確度影響不太大， 可保證可保證secv值與該性質(zhì)的穩(wěn)定性標準差相當值與該性質(zhì)的穩(wěn)定性標準差相當 l 學生殘差判定的異常樣品一般進行剔除學生殘差判定的異常樣品一般進行剔除 l 建模過程中一般最多剔除建模過程中一般最多剔除3輪異常樣品而形成最終分析模型輪異常樣品而形成最終分析模型 異常樣品處理的原則異常樣品處理的原則 同一樣品的多張光譜同一樣

15、品的多張光譜 重復性優(yōu)于性質(zhì)值化驗檢測方法重復性重復性優(yōu)于性質(zhì)值化驗檢測方法重復性 定量模型的驗證定量模型的驗證 重復性重復性 一組樣品已知化驗性質(zhì)的樣品一組樣品已知化驗性質(zhì)的樣品 準確性與原模型分析結(jié)果一致：準確性與原模型分析結(jié)果一致： sep與與sec結(jié)果相當或略有變大結(jié)果相當或略有變大 準確性準確性 3.83.94.04.14.2 68% 95% 99% 定量模型的驗證原則定量模型的驗證原則 n驗證樣品具有一定數(shù)量，可進行統(tǒng)計分析 n重復性至少選擇5個樣品進行檢驗 n準確性至少選擇10個樣品進行檢驗，該樣品化驗性質(zhì)需進行平 行測試 n準確性檢驗可能存在系統(tǒng)偏差bias值，準確性檢驗時需扣

16、減該 bias值 經(jīng)過驗證的模型可用于日常分析，分析時樣品狀態(tài)保持與建模樣品一致經(jīng)過驗證的模型可用于日常分析，分析時樣品狀態(tài)保持與建模樣品一致 l nir nir是一種二次方法，需要長期進行檢驗是一種二次方法，需要長期進行檢驗 l 檢驗發(fā)現(xiàn)不合格，需要對分析模型進行維護，檢驗發(fā)現(xiàn)不合格，需要對分析模型進行維護， 保證分析結(jié)果的準確性保證分析結(jié)果的準確性 模型維護方法模型維護方法 nirnir分析分析 結(jié)果確認結(jié)果確認 l 通常情況下進行通常情況下進行biasbias校正校正 l biasbias校正失效進行模型擴充維護校正失效進行模型擴充維護 模型模型 維護方法維護方法 l 日常使用日常使用n

17、irnir儀器發(fā)現(xiàn)出現(xiàn)紅色報警樣品儀器發(fā)現(xiàn)出現(xiàn)紅色報警樣品 l 收集該紅色報警樣品，并進行化驗分析保證分析結(jié)果的準確性收集該紅色報警樣品，并進行化驗分析保證分析結(jié)果的準確性 l 收集收集1010個該報警樣品個該報警樣品 l 將樣品的化驗平均值與將樣品的化驗平均值與nirnir檢測平均值進行對比，計算出平均誤差和檢測平均值進行對比，計算出平均誤差和 方差方差 l 如果如果biasbias值小于可接受平均誤差，且值小于可接受平均誤差，且sdsd與模型與模型secvsecv相當，則可不維護；相當，則可不維護； 如果如果biasbias值大于可接受平均誤差，且值大于可接受平均誤差，且sdsd與與secvsecv相當，則進行相當，則進行biasbias校正；校正； 當當biasbias過大，且過大，且sdsd值過大，則需要對分析模型進行擴充維護值過大，則需要對分析模型進行擴充維護 模型維護操作模型維護操作 模型維護操作模型維護操作bias校正校正 l 第二次進行模型第二次進行模型biasbias校正時，需要在第一次校正時，需