近紅外建模與模型評價

近紅外檢測技術(shù)的建模（校準(zhǔn)）

聯(lián)系方式倪勇E-mail:MSN:校準(zhǔn)=教會儀器近紅外光譜定量分析技術(shù)又稱“黑匣子”分析技術(shù)，是一種間接的測量方法，即通過對樣品光譜和其質(zhì)量參數(shù)進(jìn)行關(guān)聯(lián)，建立預(yù)測模型，然后通過預(yù)測模型和未知質(zhì)量參數(shù)的樣品光譜來預(yù)測樣品的組成和性質(zhì)。近紅外是間接檢測必需校準(zhǔn)必需有參考分析方法近紅外技術(shù)應(yīng)用前提條件一般來講，能否應(yīng)用近紅外技術(shù)定量精確檢測某種成分的含量主要由以下三方面的因素決定：被檢測的樣品是否有很好的近紅外光譜反應(yīng)特性，即通常所說的“紅外活性”。儀器自身的特性及相關(guān)的技術(shù)指標(biāo)：檢測過程中光譜的重復(fù)性精度、信噪比以及波長范圍等因素。用于建模定標(biāo)的樣品的化學(xué)值的準(zhǔn)確程度。檢測

精度=重復(fù)性準(zhǔn)確度=達(dá)到真值的能力精度高準(zhǔn)確性高精度高準(zhǔn)確性差精度差準(zhǔn)確性差不同實(shí)驗室比較資料來源:CCFRA合作研究項目,1997什么是校準(zhǔn)描述特定近紅外波長光的吸收特性和樣品組成之間的關(guān)系。Y=C0+C1*A1+C2*A2+…+Cn*An紅外光譜定量分析流程光譜定量分析流程收集樣品加入界外點(diǎn)重新建模檢查分析方法檢修儀器日常分析對模型進(jìn)行評價建立多元回歸模型選擇驗證集選擇校正集對光譜必要的處理測定全波長譜圖測定全部樣品的物化性質(zhì)檢測結(jié)果是否正確儀器及操作是否正確樣品是否為界外點(diǎn)正確不正確不是是正確不正確校正秤模型矛訓(xùn)練摧集樣爭品的盈選擇盡可清能要銜覆蓋壯待分寧析樣裙品的據(jù)范圍對于伍待測隆的物菜化性州質(zhì)，態(tài)樣品學(xué)應(yīng)均現(xiàn)勻分樓布樣品質(zhì)的基然底應(yīng)羊相同向（如PH值或燭水分?。┤舾鞔缃M分星間相用互反毅應(yīng)，速要注百意光盛譜采軍集合織采集詠瞬間焦的組漆成變天化包括個盡可猾能多測的有掠代表箏性的淹樣本樣本晴變化風(fēng)范圍狼越大習(xí)，模朗型的法適用喇范圍感越寬婦，但誘分析濾結(jié)果甩的精手度可騾能變坐差；水模型逆適用總范圍鍋小時滔，分傻析結(jié)鬼果的傅精度楊相對枝較高慘，但斧適用艷面變裳窄。對樣薪品物猛化性矩質(zhì)的夸測定對于布人工禿合成恥樣品您，比丑較簡酸單對于愿復(fù)雜零的天搞然產(chǎn)伏品，是必須揪選用樂被大刮家接適受權(quán)愧威的秤分析村方法胸。模型肢預(yù)測售結(jié)果耕的準(zhǔn)根確性歲在很帶大程匠度上秒取決卷于標(biāo)匙準(zhǔn)測擋量結(jié)葛果的鳴準(zhǔn)確慨性。用多抬次分窄析結(jié)便果的儉平均膚值來癢降低巷誤差影響勤近紅夏外分卵析結(jié)籮果準(zhǔn)返確性此因素實(shí)驗算室化須學(xué)分制析的滔準(zhǔn)確菊度代表詠性樣災(zāi)品的材收集光譜疑的信生噪比光譜蹲信息奏的代既表性環(huán)境載與樣禮品前榜處理模型舉優(yōu)化包的條斜件包括村：譜藍(lán)區(qū)的紐奉選擇石、光涉譜預(yù)鹽處理適方法憤和得除分因簡子的憂維數(shù)積等?；瘜W(xué)宏計量既學(xué)方慣法在硬近紅叨外光話譜中避應(yīng)用光譜釀預(yù)處希理和膛波段礦的選私擇方集法:包括爆傅立頌葉變釀?chuàng)Q（Fo促ur慶ie總r機(jī)tr逮an懷sf遮or誘m）、棋卷積(C江on或vo甘lu碧ti陣on口)、去館卷積(D激ec翁on漸vo移lu聾ti傅on駝)、微別分(d令er篇iv詳at勇iv賣e)處理夫以及其相關(guān)罷系數(shù)碰法、割遺傳貌算法(G傍A)等方推法，柳對光捧譜進(jìn)舉行平而滑處哭理和茂基線同校正血，以狐及光撤譜波難長范飼圍的挪優(yōu)化戶。如屈近期熊的移饅動窗楊偏最抓小二鴉乘回辯歸法們。光譜常預(yù)處乖理和婆波長配優(yōu)選收方法插在近吳紅外頸光譜盯分析蠢技術(shù)晴中是凳相當(dāng)汽重要皂的.主成飄分分償析(P估CA肥)、團(tuán)馬氏言距離烈（MD）、混聚類西分析李（CA）、調(diào)多元陽線性德回歸(M歲LR著)、偏教最小原二乘育法(權(quán)PL騾S)、人訪工神遇經(jīng)網(wǎng)脆絡(luò)(A貫NN草)和拓武撲(乓To姐po帆lo造gi令ca母l)方法盈，以跑及最繡近提屬出的襯支持元向量件機(jī)（Su劈燕pp泉or懂t擔(dān)ve聾ct皇or序m孕ac膝hi屋ne）等書。目的根在于咬利用膨這些妻化學(xué)成計量嫌學(xué)方那法建宇立穩(wěn)峰定、傍可靠屋的定愚性或粱定量近分析損模型琴，以腔對近覺紅外弦光譜燃進(jìn)行愛快速增、實(shí)肺時的疾定性移定量棍分析近紅周外光亞譜定綱性和傳定量謀校正炕方法:建模欠常用爸化學(xué)帳計量嫁學(xué)方沿法多元穴線性魯回歸抄（Mu詢lt既iv坐ar括at撥e終Li掏ne習(xí)ar散R斧eg姑re責(zé)ss和io識n,縮寫盟為ML惱R）主成孕分分萌析（Pr球in勺ci復(fù)pl弄e塊Co鼠mp炎o(hù)n潛en玩t著An漠a(chǎn)l伏ys遵is慈,縮寫塘為PC次A）主成旦分回艙歸（Pr尊in多ci遼pl滿e繡Co效mp桶on礙en鋒t畏Re蟲gr肌es譯si綿on，縮寒寫為PC休R）偏最且小二像乘法惹（Pa棟rt拜ia刮l蔽Le漏as慰t全Sq攻ua牧re仗,縮寫臺為PL盜S）拓?fù)淝穼W(xué)方童法和窮人工轉(zhuǎn)神經(jīng)傷網(wǎng)絡(luò)欺方法噴（Ar枝ti擔(dān)fi香ci掀al漂N潔eu慰ra湊l抬Ne古t，縮適寫為AN攤N）等傲等?；瘜W(xué)次計量僚學(xué)已鞭經(jīng)成既為近貝紅外欠光譜桑分析秒中的義不可挪或缺碗的重兆要組晨成部永分。碑主成謠分分舊析和臘偏最盤小二湊乘是廁經(jīng)典蝴的化坊學(xué)計孔量學(xué)遇方法慕，也筋是在木近紅難外光珠譜分患析中配最常促用的患方法片。PC斯A是在堅近紅鍬外定康性和儲定量珠分析床中都怠常用及的方深法，德其主吹要目堆的是爺數(shù)據(jù)冤降維賢，以頃消除宏近紅偉外光謠譜信位息中位相互賄重疊柳的部桶分，京是將京光譜禽數(shù)據(jù)默向協(xié)客方差欺最大往方向傾投影誓，得避到最仆大限淹度反但映被吹測樣車品的明組成壞和結(jié)授構(gòu)信爆息的則新變匹量，吐但由同于投赴影過弦程與蘇因變舟量不考相關(guān)賢，一島般預(yù)選測精皺度不點(diǎn)很高氣。用PL鳴S建立章模型各，可鐘以利身用全炊部光誕譜的恭信息貧對樣臺品進(jìn)騙行分益析，膏將光道譜矩眠陣的巧分解諸和回豆歸交瓦互進(jìn)圍行，含由于唇光譜炭的非迎線性群會導(dǎo)彩致過況擬合踐，因姨此在型近紅話外光鳥譜的局應(yīng)用準(zhǔn)有時俘會受災(zāi)到限辯制。將支贈持向作量機(jī)將用于縫近紅藍(lán)外光調(diào)譜可借有效瘡地改仁善過號擬合啟現(xiàn)象剃，而滋且它斥允許仙高維愈數(shù)據(jù)瘋作為佛輸入?yún)s矢量氣，可居以很亮好地壞解決厭溫度刺等變傘量引務(wù)起的酬光譜勞非線霜性變站化問呀題。因此誘，對固于每鉆一種吩化學(xué)戒計量餓學(xué)方輛法而精言，燙都有蜓各自知的長否處和烤短處夸，在雅用于泉近紅池外光符譜時月可能抗受到級某些議限制魄。目姜前已貢有研耗究者革將這亂些方嚼法相攀互結(jié)粗合，淺取長習(xí)補(bǔ)短徐，再艷將其爆應(yīng)用復(fù)于近壇紅外富光譜懼分析碑技術(shù)寄中?；瘜W(xué)陰計量班學(xué)方該法用等于近吧紅外像光譜稼中，慮使近趁紅外歐的獨(dú)喇特優(yōu)腳勢得沙到了貓充分邊發(fā)揮延。建模蜓方法丈研究基于SV者M(jìn)的近在紅外峽定性方建模爸方法提出袖了將住近紅旺外光牌譜技改術(shù)（NI虎R）和基憤于統(tǒng)城計學(xué)辟習(xí)理親論的欣支持莖向量欄機(jī)（SV爹M）相結(jié)垂合，唇來建鬼立識棉別合職格/劣質(zhì)狗奶粉療的近兄紅外近定性拍模型妥。實(shí)拖驗結(jié)應(yīng)果表攻明應(yīng)態(tài)用SV散M-親NI消R建立膽判別否奶粉殃安全隸定性該分析幼模型撫的方積法是腳可行憶的，卡這將隔為奶商粉安想全判與別分川析提贏供了細(xì)一種近更為情便捷示，無啟損的省綠色穿分析淡技術(shù)袍。SV偽M分類杠器NI穿R建模閣中的咐化學(xué)男計量拿學(xué)方鑼法研養(yǎng)究建模就方法PL弦S、SV難R、co妻ns撲en浙su稻s康mo母de淋li盤ng光譜今預(yù)處濱理背景晉扣除濕、數(shù)您據(jù)壓池縮——小波絡(luò)變換(W煮T)變量答篩選/波長斧篩選——遙W倦T-工UV我E、WT紡-I案PO架W建模差樣本初篩選一、朗小波測變換霸用于百數(shù)據(jù)臘壓縮那和背凍景扣發(fā)除小波絕變換內(nèi)積蓮卷情積投影叫濾波數(shù)據(jù)呀壓縮領(lǐng)濾鎮(zhèn)噪、概不同配分辨判率成創(chuàng)分提字取共識英（co章ns袋en即su秘s）算籍法傳統(tǒng)搶的多微元校蘆正技但術(shù)，脅如PL溝S、PC護(hù)R，一廢般采接用單弄一模皺型，湖即首頸先采刮用一甩定的膀訓(xùn)練仰集建夕立一悔個最幕優(yōu)模吃型然隙后用病于預(yù)禁測，扇當(dāng)訓(xùn)翁練集跌樣本療數(shù)目秀有限隊或存配在較謝大誤炸差時墓模型惰的預(yù)竿測精瀉度與玻穩(wěn)定堡性往搞往達(dá)次不到瓣滿意側(cè)的效號果。共識蛙策略(c混on牽se金ns垃us庫s候tr苦at勉eg熊y)采用票同一揉訓(xùn)練蔥集中未的不跌同子樹集建余立多慕個模誘型同殼時進(jìn)君行預(yù)猜測，斥將多武個預(yù)鏟測結(jié)旨果通屯過簡夫單平笨均或墊加權(quán)叛平均夾作為批最終測的預(yù)撈測結(jié)容果，波可獲親得更江高的阿預(yù)測仔精度精和穩(wěn)盆定性銳?？焖倜？h的基刻本過借程1、選貌取少撕量樣維品（距如20個）面建立禁基礎(chǔ)服模型般（注獄意實(shí)罷時性獨(dú)、樣決品選承擇、怪環(huán)境鳥控制朗、化曾學(xué)參攻考值捕精度則控制環(huán)等）2、使住用基譯礎(chǔ)模菜型預(yù)畜測新袖的樣稱品，孝粗選挺特異僚點(diǎn)，鬼補(bǔ)充降基礎(chǔ)裝數(shù)據(jù)文庫。3、使返用新辭的數(shù)使據(jù)庫舊建立蛾新的鉆校準(zhǔn)必，更膨新模堅型，旅提高檔精度洗與適極用度強(qiáng)。4、使加用初盈期要坦養(yǎng)成較將比冊對樣資品加候入基午礎(chǔ)數(shù)亭據(jù)庫雹中的菊習(xí)慣醫(yī)。5、本士地化爽模型確以10姨0－20蚊0個樣瓶品為影宜。保證旦模型漲精度室條件實(shí)時走性：很多泄樣品酸的某碗些成栽分會逝隨著糕時間超或環(huán)拆境變猶化而填發(fā)生轉(zhuǎn)改變典，如跑對于凳最常券見的肆水分加含量沫就受呼環(huán)境富的溫舟濕度鋤影響裂。所花以要睛求建液模過售程盡詢量保暢證實(shí)痛時性鳳，即幅將掃肌描與仁化學(xué)帳分析俯同步匪進(jìn)行座。一促些常急見的斥積攢延樣品跪集中糟建模腎的方費(fèi)法并天不科呆學(xué)。稀對于DA瓦72要00來說超，建僑立一匯個很棒基礎(chǔ)添的模味型只漂需要紛很少紋量的斷樣品斃，但仁可以宋在今呢后逐洽步補(bǔ)醫(yī)充新顧的樣乞品，等這一段過程秩可以扒在分囑析驗耍證的籮同時逝自然年完成涂，所富以不勉要認(rèn)是為建即模是霜突擊份性的乓短期頑行為匪。樣品降篩選：建網(wǎng)模用魄的樣債品并善不是座越多擾越好泡，樣梢品的虎收集乖過程柿也并秤不是廉一個斬?zé)o止婆境的千過程蹤蝶。樣目品的名化學(xué)磨值盡夸量要且涵蓋慌將來項要分松析的剛未知撕樣品爪的范屈圍，搭并且六在該堅范圍教內(nèi)分惕布均箏勻，望樣品盆的品產(chǎn)種本述身具硬有較苦強(qiáng)的睬代表霞性，終這樣踩建立護(hù)的模伏型并鞭不一絹定使例用很祝多的會樣品離（通殃常10徑0個左倡右）距，就崇可以廚在長呢時間負(fù)內(nèi)保令證好愈的適蓄用度接。化學(xué)走結(jié)果僻的精彼度保氣證：對于夜用戶臣來說放，這窮一環(huán)變節(jié)是瞎建模壘過程獎中最傲重要阿的一僅步。璃因為懂化學(xué)凍結(jié)果附是近枕紅外犬檢測底的數(shù)突據(jù)基惑礎(chǔ)，派所以烤化學(xué)假結(jié)果冶的精涉度直罷接決射定近兩紅外預(yù)的精御度，周從過嘩去的葡經(jīng)驗鍬來講增，可系以采默取以豎下措捏施控陪制化梁學(xué)值寒：1、建刺模樣陜品的土化學(xué)券值要深盡量揉來自瓣于同劇一個亮化驗告室，蚊如果仗必須丘使用憂多家隙實(shí)驗純室的便結(jié)果轟，也旨要使孕用統(tǒng)源一標(biāo)嬌準(zhǔn)后侍的檢亞驗結(jié)奧果（持如實(shí)還驗室堅間的扣集團(tuán)場環(huán)比價結(jié)果律很好脖或使幣用標(biāo)逆準(zhǔn)樣稱品先蘿統(tǒng)一緩結(jié)果環(huán)，消創(chuàng)除實(shí)剃驗室抓間的伴系統(tǒng)爽誤差奶）。2、義實(shí)驗彩室的礦雙試島驗結(jié)短果應(yīng)露當(dāng)滿幻玉足國看家標(biāo)推準(zhǔn)，在如果好結(jié)果種不好乳，需蒙要進(jìn)隔行多伯次檢板驗以繪驗證欠結(jié)果器。但枯這并冶不足叔以保傻證檢鄉(xiāng)豐測結(jié)陪果的喝準(zhǔn)確依性，車一定供要做鵝到不鄉(xiāng)豐同的弦檢驗正人員工進(jìn)行山盲雙距試樣鼻檢測腫的重待復(fù)性昌精度帆也達(dá)而到要罪求，蝴如果吹不滿亦足，醉則最居好選淹用有詞經(jīng)驗走的化筆驗人廉員獨(dú)肉立檢館驗為質(zhì)儀器胡提供亂建模達(dá)基礎(chǔ)奸數(shù)據(jù)培。3威、為環(huán)了減者少建充模的術(shù)工作擔(dān)量，墓可以寒使用孩初步淚的模色型對祖樣品俱進(jìn)行雞粗選嶼，然覽后選膜取代博表性修強(qiáng)且隔梯度震含量汪好的東樣品監(jiān)進(jìn)一沫步做煉化學(xué)摘法檢腸測。4、櫻對于閉沒有吼條件丈的實(shí)收驗室廳，可墊以先須收集籮樣品謝，然練后通盒過與詠有條譯件的敵實(shí)驗咐室合耽作建線立實(shí)逆用的陷檢驗繪模型齒。5掃、任眠何模錫型都茂有其傾適用喘范圍語，萬紐奉能的吉通用狹模型算是不志存在賽的，儲適用轟度往昆往是簡以犧友牲精償度為歉前提呢的，拜所以昨還是綿建議弄盡量園建立襲獨(dú)立穩(wěn)的適春用于預(yù)本企投業(yè)的凈近紅配外模蚊型。測量妥條件劍：測量料條件圍的控輸制將起影響先儀器引的自鐘身精盡度，常主要被包括納：檢測乘環(huán)境竄條件班控制樣品決的前憤處理沈方法檢測稱裝樣表過程訓(xùn)控制某等特別膽提醒1、好論的曲敲線需牙要不測斷維射護(hù)：況增加蘋新的悟樣品怎以提管高適福用度歉。但腫不需涂要特吩別添同加普習(xí)通數(shù)尾據(jù)，錘要添落加的瘦樣品喜應(yīng)該匹是影機(jī)響模寬型精翼度的直樣品劉（截訴距調(diào)幣整的克節(jié)點(diǎn)臭），溜只需凝要養(yǎng)券成將記日常自比對磚的有現(xiàn)標(biāo)準(zhǔn)桿化學(xué)濟(jì)值的蓄樣品更加入燙數(shù)據(jù)忘庫即狹可。2、要強(qiáng)建立愛一個燦基礎(chǔ)魚收集錦數(shù)據(jù)洞庫，心最好假養(yǎng)成患統(tǒng)一攔命名療的習(xí)吸慣以檢便后陸續(xù)查察詢。特別屑提醒3、樣祖品的作收集隸周期策持續(xù)壓半年扛到一違年的分時間胡為宜仰，這盞樣不屯但可娛以擴(kuò)慘展曲勞線范損圍，綢而且冰可以佛很好度克服蘭環(huán)境取變化泡的影蛋響。聲多個請品種隨的樣紫品要榆同時哪收集膨。4、對銳于溫特差變護(hù)化較溪大的嗚實(shí)驗塌室環(huán)膛境和般檢測冒液體潮樣品音的情錯況，桌需要硬加入啊溫度上補(bǔ)償售樣品俘以克那服溫惡度的疼影響屋。特別漫提醒5、對嶺于有艷條件切自己間建模據(jù)的用百戶可由以建方立自單己的解校準(zhǔn)息模型齊。但奸如果錦使用Gr壺am鋤s不夠逐熟練睡，可困以將滅基礎(chǔ)俘數(shù)據(jù)牙庫發(fā)鵲給我生們公目司，剃我們吐將協(xié)蟻助建更模，矛但務(wù)傻必保批證數(shù)拔據(jù)庫置的完頓整性傅和條削理性昂。6、在俘收集跟幾十霉個樣騎品（30個以備上）濕后就見要建革立初療級模念型，燒以便部從初姥級模稻型上金就可奏以看紅出誤詢差來炸源以兄便解飽決，組以免險造成旁工作惱上不眉必要嚇的浪雜費(fèi)。模型概不好息！模型膠一般雨！模型宏很好異黃視酮曲脾線精選49個樣逃品建攻立的肯液態(tài)冤賴氨舉酸發(fā)皮酵液趕中賴刺氨酸僅含量境預(yù)測樹模型泰的近懸紅外啄值與桶實(shí)驗泊室值嘆的相陣關(guān)性R^權(quán)2=鍵0.惹99肆9濃縮席磷脂壩丙酮耀不溶笨物近踐紅外拐檢測則值與鳴實(shí)驗召室值知的相梅關(guān)性R^初2＝0.艷91愛7整粒悅花生術(shù)的含昂油近套紅外錄預(yù)測貪值與責(zé)實(shí)驗尺室值貨的相攜關(guān)性R^愛2=鋪0.碰98徒5小麥贏蛋白懶曲線小麥敞面筋壺曲線準(zhǔn)確側(cè)度和術(shù)精確提度準(zhǔn)確臂度表亦示分省析結(jié)慢果與伙真實(shí)夏值之最間的晉接近刷程度慨。分析符結(jié)果襖與真石實(shí)值賞之間紙的差邪值稱禍誤差精確賭度表頭示各東次分薪析結(jié)甜果相棟互接批近的萌程度精確爽度分寫為重悄復(fù)性Re辰pe全at幣ab探il惑it索y和再莖現(xiàn)性Re齒pr姥od室uc鋼ib扔il迷it親y重復(fù)盾性表殼示同良一分滅析人摸員在金同一枝條件雜下所捎得分碑析結(jié)犬果的杰精確更度再現(xiàn)余性表摟示不蕩同分祥析人黎員或吊不同巴實(shí)驗碗室之談間在李各自買的條齊件下腫所得焰到的摟精確乘度近紅臥外與擠標(biāo)準(zhǔn)確方法貼分析近紅籮外分欄析準(zhǔn)竭確度脫無論盤如何暴也不宵會比哈對定濫標(biāo)樣安品集哪標(biāo)準(zhǔn)餅分析孫法分轟析的呀準(zhǔn)確繞度高殖….獵..標(biāo)準(zhǔn)徒方法蠶和近雷紅外魯方法細(xì)準(zhǔn)確罵度近紅態(tài)外方揪法的摩準(zhǔn)確軟度是稀實(shí)驗迫室方爆法準(zhǔn)虹確度緣瑞的1損.2蕩-1.5倍近紅準(zhǔn)外方老法的勉精度蒜優(yōu)于振實(shí)驗燦室標(biāo)怠準(zhǔn)方生法（