模式識(shí)別與分類(lèi)

模式識(shí)別與分類(lèi)第一頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)導(dǎo)言

Clustering/Classification統(tǒng)稱(chēng)

如下問(wèn)題人眼識(shí)別物

中醫(yī)看舌苔/脈搏

圖譜辨別化合物

低維與高維數(shù)據(jù)

一次觀察的矢量表示n為空間維數(shù)，變量數(shù)變量即特征

各特征類(lèi)型/量綱/大小相差大

第二頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理

值域調(diào)整rangescaling

自標(biāo)度化Autoscaling均值0

方差1

模長(zhǎng)第三頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理

標(biāo)準(zhǔn)化Normalization模長(zhǎng)為1色譜面積歸1質(zhì)譜最大為1第四頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理

變換法原變量相加/減/除等

組合法第五頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理特征的選擇偏差權(quán)重法s大的變量更重要Fisher比率法F大的變量更重要第六頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理協(xié)方差矩陣C與相關(guān)矩陣R對(duì)于n為對(duì)象數(shù)，p為特征數(shù)方差

j=1,…,p

協(xié)方差

j,k=1,…,p;

j≠k

第七頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理方差-協(xié)方差矩陣，簡(jiǎn)稱(chēng)協(xié)方差矩陣如下：對(duì)稱(chēng)矩陣第八頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)數(shù)據(jù)預(yù)處理相關(guān)矩陣如下：其中但對(duì)于Autoscaling后的數(shù)據(jù)，s=1。

C即為R。第九頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)主成分分析PCA因子分析FA聚類(lèi)分析clustering無(wú)監(jiān)督方法第十頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)PCA得分score

載荷loadingd為主成分?jǐn)?shù)第十一頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)PCA投影判別法

數(shù)據(jù)重構(gòu)

組成互不相關(guān)的新變量

取較少的主成分?jǐn)?shù)(常為2)，完成分類(lèi)第十二頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)PCA實(shí)例1

不同嫌疑人頭發(fā)中元素的含量(μg/g)

樣品 Cu Mn Cl Br I1 9.2 0.30 1730 12.0 3.62 12.4 0.39 930 50.0 2.33 7.2 0.32 2750 65.3 3.44 10.2 0.36 1500 3.4 5.35 10.1 0.50 1040 39.2 1.96 6.5 0.20 2490 90.0 4.67 5.6 0.29 2940 88.0 5.68 11.8 0.42 867 43.1 1.59 8.5 0.25 1620 5.2 6.2原始數(shù)據(jù)X(9×5)autoscaling計(jì)算相關(guān)矩陣計(jì)算特征值返回第十三頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)方差百分?jǐn)?shù)主成分?jǐn)?shù)的確定指定,

如90%

相應(yīng)的dPCA實(shí)例1

頭發(fā)樣品中的特征值與方差

成分?jǐn)?shù) 特征值λ方差%累計(jì)方差%1 3.352 67.0567.05

2 1.182 23.65 90.703 0.285 5.7096.404 0.1352.7099.105 0.045 0.90100.00特征值>1對(duì)于相關(guān)矩陣,

λ>1的成分為主成分Scree檢驗(yàn)nPC在2-3間

斜率下降

因此d=2合適第十四頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)得分圖主成分圖形解釋PCA實(shí)例13個(gè)聚類(lèi)

分屬三人t1對(duì)t2作圖t1最重要第十五頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)主成分圖形解釋PCA實(shí)例1載荷圖l1對(duì)l2作圖特征在主成分上的投影

各變量的相關(guān)信息

夾角越小，相關(guān)性越高

高度相關(guān)的特征取1即可載荷大小是重要性的度量

位于原點(diǎn)的載荷不重要金屬間的相關(guān)性大于鹵素間的

Cu與Cl反性相關(guān)l1最重要，距原點(diǎn)距離越大，該特征權(quán)重越大，Cu第十六頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)主成分圖形解釋PCA實(shí)例1相似系數(shù)或相關(guān)系數(shù)表

Cu Cu1.000Mn Mn0.6971.000Cl Cl-0.950-0.6921.000Br Br-0.530-0.2330.588 1.000I-0.645-0.7490.581-0.084

相似

系數(shù)相關(guān)

系數(shù)Br/I接近正交Cu/Cl負(fù)相關(guān)1：完全相同

0：完全正交自標(biāo)度化

的數(shù)據(jù)

cosα=r第十七頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)得分圖主成分圖形解釋PCA實(shí)例1特征的選擇5個(gè)全取取Cu/Br/I仍能分類(lèi)效果略差取Cu/Mn/Cl分類(lèi)效果差l2無(wú)效果3個(gè)λ,僅1個(gè)>12.57,0.38,0.05一維投影結(jié)果原始數(shù)據(jù)第十八頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)主成分圖形解釋PCA實(shí)例1雙重圖biplott1各元素均有貢獻(xiàn)

t2由Br和I表征Cu/Mn/Cl/I

將對(duì)象聚為2組

Br

將對(duì)象聚為另2組第十九頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)PCA實(shí)例1應(yīng)用示例

煙葉硅烷化色譜

遼寧鳳城煙葉不同部位煙葉的區(qū)分下部上部中部第二十頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)FA用少數(shù)幾個(gè)通用因子描述矩陣中的特征抽象因子需經(jīng)旋轉(zhuǎn)變換成實(shí)因子TTFA包含d個(gè)因子的特征參數(shù)，各因子對(duì)應(yīng)1個(gè)起因與對(duì)應(yīng)因子相關(guān)的載荷分?jǐn)?shù)由剩余p-d個(gè)和通用因子無(wú)關(guān)的特殊因子構(gòu)成，如噪聲因子第二十一頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)FA目標(biāo)轉(zhuǎn)換因子分析TargetTransformationFA變換矩陣抽象載荷目標(biāo)預(yù)測(cè)目標(biāo)均值相對(duì)偏差

relativedeviation

估計(jì)兩者的一致性第二十二頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)FA實(shí)例TTFA多環(huán)芳烴HPLC-DAD數(shù)據(jù)有3個(gè)重要因子第二十三頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)多環(huán)芳烴HPLC-DAD數(shù)據(jù)FA實(shí)例TTFA已知4物的純光譜但僅3個(gè)主因子F補(bǔ)一列第二十四頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)多環(huán)芳烴HPLC-DAD數(shù)據(jù)FA實(shí)例TTFA283.33 1545.9 1126.4 -58.497102.72 120.36 217.71 172.223.665 -106.13 -223.13 -169.66-63.573 -628.81 -435.24 76.663111.23 112.88 282.74 274.6138.036 85.858 73.304 28.34552.663 70.734 15.276 -24.929110.54 32.719 3.9913 10.64514.726 25.212 7.3891 1.377存在不存在第二十五頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析無(wú)監(jiān)督學(xué)習(xí)方法根據(jù)相似性度量，物以類(lèi)聚分類(lèi)方法是把未知對(duì)象分配到已存在類(lèi)中聚類(lèi)分析步驟n個(gè)樣本n類(lèi)計(jì)算距離最近的2類(lèi)合并

繼續(xù)合并最近的2類(lèi)經(jīng)n-1次合并最后成1類(lèi)第二十六頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析距離與相似性度量的方法明氏Minkowski距離歐氏Euclidean距離曼哈頓Manhattan距離

city-block距離第二十七頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析距離與相似性度量的方法馬氏Mahalanobis距離基于協(xié)方差矩陣C的向量運(yùn)算基于馬氏距離的相似性量度完全相似Sij=1

完全不相似Sij=0馬氏距離可避免特征向量的相關(guān)性引起的失真

無(wú)需對(duì)數(shù)據(jù)進(jìn)行調(diào)整第二十八頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析實(shí)例6個(gè)血清樣本的分級(jí)聚類(lèi)對(duì)象1、2距離最短，聚為新對(duì)象1*

設(shè)其距離為0

與其余各對(duì)象用平均法或新距離第二十九頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析實(shí)例6個(gè)血清樣本的分級(jí)聚類(lèi)4，6并4*4*，5并5*1*，3并3*第三十頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析實(shí)例6個(gè)血清樣本的分級(jí)聚類(lèi)1231234651*3*4*5*歐氏距離6個(gè)血清樣本實(shí)際上可分為兩類(lèi)第三十一頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)聚類(lèi)分析A、B聚后新距離的算法加權(quán)均連

weightedaveragelinkage單連法(最近距離)

singlelinkage全連法(最遠(yuǎn)距離)

completelinkage其他方法第三十二頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)線(xiàn)性學(xué)習(xí)機(jī)LLMK最近鄰法KFASIMCA法有監(jiān)督方法第三十三頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)LLM11111111122222222判別面以分２類(lèi)(疾病判斷)為例存在一判別面,用垂直的

法線(xiàn)(權(quán))矢量w表示

與類(lèi)1中任一樣本矢量的夾角

,與類(lèi)2中

線(xiàn)性判別函數(shù)s(標(biāo)量)

，s>0

，s<0第三十四頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)LLM步驟已知樣本作訓(xùn)練得

法線(xiàn)矢量w未知樣本計(jì)算s

并預(yù)測(cè)分類(lèi)初值w，可隨機(jī)確定第1個(gè)已知樣本計(jì)算s

不符下一個(gè)樣本計(jì)算s繼續(xù)調(diào)整w

第三十五頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)LLM實(shí)例數(shù)據(jù)初值第三十六頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)LLM實(shí)例修正w不修正須修正以后還需修正1次，最終判別第三十七頁(yè)，共三十九頁(yè)，編輯于2023年，星期六模式識(shí)別與分類(lèi)LLM實(shí)例程序clear;closeall;Y=load('E:\bk\jshx\jiazx.txt');Y(:,1)=[];[n,p]=size(Y);cluster=Y(:,p);cluster=cluster*(-2)+3*ones(n,1);%letsymboloffirstcluster=1andsecondcluster=-1Y(:,p)=[];Y_std=Y(1:16,:);clu_std=cluster(1:16,:);Y_unk=Y(17:20,:);clu_unk=cluster(17:20,:);[n_std,p]=size(Y_std);[n_unk,p]=size(Y_unk);PartI數(shù)據(jù)準(zhǔn)備w=ones(1,p)*(-1);%給初值，w設(shè)為行矢量fori=1:n_stds=w*Y_std(i,:)‘;%s是標(biāo)量

ifs*clu