主成分分析與主成分回歸

主成分分析與主成分回歸第一頁(yè)，共四十八頁(yè)，編輯于2023年，星期六1.Introduction1.1Chemometrics1.2

NecessaryKnowledge第二頁(yè)，共四十八頁(yè)，編輯于2023年，星期六1.1Chemometrics1.1.1.1970S發(fā)展1.1.2.交叉學(xué)科1.1.3.現(xiàn)代儀器1.1.4.一個(gè)例子1971：瑞典人S.Wold基金項(xiàng)目定名時(shí)首提1974：S.Wold何B.R.Kowalski

倡議在西雅圖首開學(xué)術(shù)會(huì)議新創(chuàng)學(xué)術(shù)刊物J.Chem.Info.Comp.Sci.J.ChemometricsChemom.Intell.Lab.Syst.化學(xué)計(jì)量學(xué)與計(jì)量關(guān)系ChemometricsStoichiometry需要化學(xué)計(jì)量學(xué)獲得更多信息BACK應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、與計(jì)算機(jī)科學(xué)的手段設(shè)計(jì)或優(yōu)化量測(cè)方法，并通過(guò)解析數(shù)據(jù)最大限度地獲取化學(xué)及相關(guān)信息?；瘜W(xué)

分析化學(xué)數(shù)學(xué)統(tǒng)計(jì)學(xué)計(jì)算機(jī)科學(xué)接口第三頁(yè)，共四十八頁(yè)，編輯于2023年，星期六ANewtrendinAnalyticalChemistry---HyphenatedInstrument(聯(lián)用儀器)SeparationInstrumentSignal

InstrumentHPLC DAD(diode-arraydetector)GC

MS(Mass-spectrometer)第四頁(yè)，共四十八頁(yè)，編輯于2023年，星期六HPLC-DADGetmoredata3DchromatogramHPLCchromatogramofnucluesideofCordycepsSinensis(冬蟲草)atonewavelength第五頁(yè)，共四十八頁(yè)，編輯于2023年，星期六GC-MSGCchromatogramof

pepticpowder(平胃散)Massspectrumtakenatretentiontime10.2minutesBACKTwo-waydatacontainingbothchromatographyandspectra;Datamatrixwithmorethan80Megabytes;Databaseoflotsofchemicalstandards

第六頁(yè)，共四十八頁(yè)，編輯于2023年，星期六梁逸曾教授的經(jīng)歷美國(guó)標(biāo)準(zhǔn)局16組分PAH混合物標(biāo)樣(Sulpeco)

已知峰9為苯并[a]蒽和屈，峰14為苯并芘和二苯并蒽的二組分重疊峰BACKNext芴、苊、菲三混合第七頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Peaks5and6intheplot第八頁(yè)，共四十八頁(yè)，編輯于2023年，星期六峰5、峰6的演進(jìn)特征投影圖

峰5的前5個(gè)特征值依次為16382，2436，1294，22，11第九頁(yè)，共四十八頁(yè)，編輯于2023年，星期六分辨所得的芴、苊、菲、蒽的色譜與光譜

化學(xué)學(xué)報(bào)1998，中國(guó)科學(xué)1998，ChemLab.1999BACK第十頁(yè)，共四十八頁(yè)，編輯于2023年，星期六線性代數(shù)→1.2NecessaryKnowledgeonLinearAlgebra1.2.1矢量Vector1.2.2線性相關(guān)1.2.3矩陣Matrix1.2.3秩Rank一組溶液的光譜集合一條光譜同物質(zhì)不同濃度的光譜混合溶液中的物種數(shù)BACK第十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期六矢量：n個(gè)有順序的數(shù)a1,a2,…,an組成的數(shù)組α。k1α1+k2α2+…+kmαm=0線性組合：γ＝k1α+k2β。就稱為α，β的行矢量：α＝（a1,a2,…,an）；列矢量αt

。問(wèn)：由α,β,γ組成的矩陣,rank最大為幾？

α1

=(123456)

α2

=(654321)

α3=(111111)α1+α2－７α3=0第十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Gradedikreceivedbystudentifromprofessorkis矩陣:

一組相同大小的矢量組合

經(jīng)典例子:教授給學(xué)生打分TruescoreofstudentiRelativeloading(importance)givenbyprofessorkj:factors(i,e.,subjects)chem.,physics,math.,etc.

第十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Fourstudentsthreeprofessor

twosubject:ChemistryandEnglishProfessors123Students1234Students1234Professors123factors

1212Factors3教授給4學(xué)生寫留學(xué)推薦信[S]isthematrixoftruescores,calledthescorematrix[L]isthematrixofimportance,calledtheloadingmatrix得分矩陣載荷矩陣第十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期六矩陣的秩：對(duì)于A(m×n),其秩是A中最大線性無(wú)關(guān)的行數(shù)（或列數(shù)）。秩＝組分?jǐn)?shù)？秩為幾？三種組分，吸收光譜各不相同(s1,

s2

,s3)

6組溶液，各組分濃度不同

吸光度矩陣A(20×6)Rank=NumberofEigenvalue秩=不為0的特征值的數(shù)目矩陣:一組不同濃度組合的混合溶液測(cè)得的光譜集合矢量:一條光譜第十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Eigenvalue特征值奇異值分解法：Y=USVt

S:對(duì)角矩陣，收集了Y的特征值U:標(biāo)準(zhǔn)列正交矩陣(ScoresMatrix)Vt:標(biāo)準(zhǔn)行正交矩陣(LoadingsMatrix)用Matlab很方便！一句話！BACK第十六頁(yè)，共四十八頁(yè)，編輯于2023年，星期六2.PCA主成分分析

PrincipalComponentAnalysis2.1目的12.2基本步驟22.3應(yīng)用實(shí)例3第十七頁(yè)，共四十八頁(yè)，編輯于2023年，星期六2.1主成分分析(PCA)的目的BACK現(xiàn)代儀器獲得兩維數(shù)據(jù)(矩陣)矩陣處理確定秩為多少確定復(fù)雜分析體系中的物種數(shù)PCA的目的-定性有幾種物種species定性第十八頁(yè)，共四十八頁(yè)，編輯于2023年，星期六2.2PCA的步驟BACK矩陣分解真實(shí)誤差法收集特征值特征值比值法Y=USVt在S中比較RSD與REMax第十九頁(yè)，共四十八頁(yè)，編輯于2023年，星期六BACKNIPALS分解矩陣分解獎(jiǎng)金10000元=10000×15000×2100×1001×10000Y=TP奇異值(SVD)分解SingleValueDecompositionY=USVt

S:對(duì)角矩陣，收集了Y的特征值U:標(biāo)準(zhǔn)列正交矩陣(ScoresMatrix)Vt:標(biāo)準(zhǔn)行正交矩陣(LoadingsMatrix)用Matlab很方便！一句話！怎么分解？看了頭大！分解成正交矩陣的乘積第二十頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Y(m×n)有d個(gè)主成分真實(shí)誤差法-確定主成分?jǐn)?shù)d+表示來(lái)自主因子0表示來(lái)誤差=真實(shí)誤差RE(RealError,可以知道)RE=RSD(剩余標(biāo)準(zhǔn)偏差)ResidualStandardDeviation第二十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期六確定或設(shè)定REd=1…n-1計(jì)算RSD(d)

d=1RSD(d)≤REYES此時(shí)d即為主成分?jǐn)?shù)Nod=d+1RSD與實(shí)際誤差是否吻合判斷標(biāo)準(zhǔn)BACK第二十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期六相鄰特征值比值法出現(xiàn)最大值時(shí)相應(yīng)的d表示最小成分信號(hào)的λ表示最大噪聲信號(hào)的λ

顯著差異BACK第二十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期六2.3PCA的應(yīng)用實(shí)例BACK混合色素中組分?jǐn)?shù)的確定反應(yīng)過(guò)程中組分?jǐn)?shù)的確定第二十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期六一組食用色素混合溶液測(cè)得吸光度矩陣Y15×6dλdλd/λd+1

RSD14.6084.10.117421.1301.80.059930.614564.00.001740.00961.150.001550.00841.160.0013PCA結(jié)果組分?jǐn)?shù)nc=3722的噪聲水平0.0023

0.614564.00.0017第二十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期六同樣的樣品用Agilent8453dλdλd/λd+1

RSD15.73611.70.046420.4902.50.019530.19964.30.000440.00312.10.000350.00151.90.0002PCA結(jié)果組分?jǐn)?shù)nc=3噪聲水平0.00023

0.19964.30.0004實(shí)際上有3種色素胭脂紅檸檬黃日落黃第二十六頁(yè)，共四十八頁(yè)，編輯于2023年，星期六反過(guò)來(lái)，已知主成分?jǐn)?shù)時(shí)PCA:通?？梢哉_判定主成分?jǐn)?shù)根據(jù)RSD判斷儀器的噪聲水平判斷操作者的操作水平使用7220.0010~0.0040BACK第二十七頁(yè)，共四十八頁(yè)，編輯于2023年，星期六實(shí)例討論-forachemicalreaction三種化學(xué)成分A、B、C，光譜線性無(wú)關(guān)Model1：Consecutive1storderreactionResult:

Rank=numberofcomponent=3第二十八頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Matrixtwo-waydata

光譜矩陣S動(dòng)力學(xué)矩陣Q兩維數(shù)據(jù)矩陣YY=QST第二十九頁(yè)，共四十八頁(yè)，編輯于2023年，星期六日落黃電解降解最終產(chǎn)物無(wú)吸收有中間體嗎?第三十頁(yè)，共四十八頁(yè)，編輯于2023年，星期六日落黃電解降解dλdλd/λd+1

RSD14.1476.000.025520.69125.800.001230.02682.350.000740.01141.180.000550.00970.0003PCA結(jié)果組分?jǐn)?shù)d=2第三十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期六PCA確定組分?jǐn)?shù)nλnλn/λn+1

RSD123.06010.60.0617122.1862.40.0241130.910215.70.0001440.0043.50.0000850.0011.20.0000760.0010.00007最終產(chǎn)物有吸收d=3第三十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期六實(shí)例討論三種化學(xué)成分A、B、C，光譜線性無(wú)關(guān)Model2：nc=3,rank=2Y=QST第三十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期六實(shí)例討論Model3：Parallelreactionnc=3,rank=?ACBo1o2o1=or≠o2o1=o2=1k2qB-k1qC=0線性相關(guān)rank=2第三十四頁(yè)，共四十八頁(yè)，編輯于2023年，星期六實(shí)例討論Model3：Parallelreactionnc=3,rank=?ACBo1o2o1=0，o2=1dA/dt=k1+k2AdB/dt=k1dC/dt=k2A線性無(wú)關(guān)rank=3第三十五頁(yè)，共四十八頁(yè)，編輯于2023年，星期六PCA確定組分?jǐn)?shù)Y=load('E:\Hp8453\BB\OH15.txt');[U,S,V]=svd(Y);lmd=diag(S);n=size(lmd,1);fork=1:n-1sumlmd=0;forj=(k+1):nsumlmd=sumlmd+lmd(j)*lmd(j);endRSD(k)=sqrt(sumlmd/(nw*(nt-k)));end第三十六頁(yè)，共四十八頁(yè)，編輯于2023年，星期六PCA：Conclusions根據(jù)矩陣的秩確定化學(xué)成分?jǐn)?shù)組分無(wú)吸收No!譜線性相關(guān)虧秩！某組分信號(hào)太弱復(fù)雜!好大學(xué)問(wèn)!

BACK第三十七頁(yè)，共四十八頁(yè)，編輯于2023年，星期六3.PCR回歸

PrincipalComponentRegression3.1概念13.2基本步驟23.3應(yīng)用實(shí)例33.4提醒3第三十八頁(yè)，共四十八頁(yè)，編輯于2023年，星期六3.1PCR：概念BACK主成分分析PCAPCR多元校正之一因子分析FA主成分回歸PCR多元校正MC相似概念常?；煊貌襟E略異側(cè)重不同解決多組分同時(shí)測(cè)定問(wèn)題定量第三十九頁(yè)，共四十八頁(yè)，編輯于2023年，星期六3.2PCR：基本步驟K-矩陣法K-MatrixMethod數(shù)學(xué)模型實(shí)驗(yàn)測(cè)量數(shù)據(jù)矩陣Size:nw×ns吸光系數(shù)矩陣Size:nw×nc混合濃度矩陣Size:nc×ns建模/校正Seenext預(yù)測(cè)已知K，解出未知樣濃度單樣品多樣品第四十頁(yè)，共四十八頁(yè)，編輯于2023年，星期六3.2PCR：基本步驟SVD分解SVD分解分離重組廣義逆建模未知樣預(yù)報(bào)與K矩陣法相比僅一次求逆過(guò)程剔除了主成分模型誤差系數(shù)矩陣P意義不明確但用于預(yù)報(bào)是正確的BACK第四十一頁(yè)，共四十八頁(yè)，編輯于2023年，星期六Y:波長(zhǎng)數(shù)nw=8;溶液數(shù)ns=6;組分?jǐn)?shù)nc=3YV

tUSnc=3U后3列Vt后3行誤差信息剔除后Y0V*tU*S*廣義逆矩陣第四十二頁(yè)，共四十八頁(yè)，編輯于2023年，星期六多元線性回歸MLRMultipleLinearRegressionK-矩陣法建模相當(dāng)于單波長(zhǎng)單組分的工作曲線?矩陣除法即乘以其逆矩陣?方陣可求逆已知C

第四十三頁(yè)，共四十八頁(yè)，編輯于2023年，星期六BACK多元線性回歸MLRMultipleLinearRegressionK-矩陣法建模建模/校正(相當(dāng)于單波長(zhǎng)單組分的工作曲線)?