模式識別貝葉斯方法報告

1、模式識別貝葉斯方法實驗報告姓名與學號: 教師：唐柯目錄 TOC o 1-5 h z 模式識別貝葉斯方法實驗報告 1 HYPERLINK l bookmark0 o Current Document 目錄 21 原理 3 HYPERLINK l bookmark2 o Current Document 基本思想 3 HYPERLINK l bookmark4 o Current Document 工作過程 32 實驗記錄 4 HYPERLINK l bookmark8 o Current Document 2.1 matlab 程序 4 HYPERLINK l bookmark10 o Curr

2、ent Document 特殊情況 4 HYPERLINK l bookmark12 o Current Document 實驗結果 4 HYPERLINK l bookmark14 o Current Document 實驗人員任務分配 4 HYPERLINK l bookmark16 o Current Document 附錄 51原理1.1基本思想已知類條件概率密度參數表達式(如符合正態(tài)分布)和先驗概率(有監(jiān)督，可統(tǒng)計得到)利用貝葉斯公式轉換成后驗概率根據后驗概率大小進行決策分類1.2工作過程每個數據樣本用一個n維特征向量X = X 1 , X2，,Xn表示，對應屬性 Al, A2,An

3、。m個類別Cl ,C2，,Cm (在本實驗中只有兩類)。給定一個未知類別的數據樣本X，分類器將預測X屬于具有最高后驗概率(條件 X下)的類。即將未知的樣本分配給類Ci，當且僅當：P(Ci I X) P(C j | X)1 w j P(X|C j)*P(C j) 1 w j w mj M i即X被分類到P(X|Ci)*P(C i)最大的類別Ci。2實驗記錄2.1 matlab 程序見附錄2.2特殊情況在處理樣本的第6維特征時，其方差實際得到為0 （因為所有樣本的第 6維特征全為-1 ）。這樣在計算后驗概率時，會得到除0警告，因此將方差改為一個很小的值0.0001。2.3實驗結果運行時間： 10秒

4、訓練樣本數：8285 個正樣本的先驗概率：5.62%負樣本的先驗概率：94.38%測試樣本數：2072 個正確識別的樣本數：2030 個識別率：97.97%兩類樣本的均值和方差如表1維數12345678910正樣本均值-0.0804-0.0361-0.9957-0.9919-0.9829-1.0000-0.9961-0.9995-0.9955-0.9987負樣本 均值-0.3451-0.3252-0.9947-0.9968-0.9954-1.0000-0.9984-0.9991-0.9978-0.9983正樣本方差0.32300.38040.02370.09630.18680.00010.03

5、230.00680.02960.0185負樣本方差0.27350.34690.04660.04030.04430.00120.01730.02160.01620.0359表1兩類樣本的均值和方差表（紅色部分是人為調整的值）2.4實驗人員任務分配本組兩人任務分配如下:附錄%模式識別實驗貝葉斯分類器 %input:訓練集train.data，測試集：test.data,每行一個樣本，每行的最后一個元素為樣本類別 號 label%output:輸出預測的類別集和識別率recogRate%recogRate:正確率 %讀入兩個矩陣 test 和 train load test.data load tr

6、ain.data testData = test(:,1:(end-1); trainData = train(:,1:(end-1); testLabel = test(:,end); trainLabel = train(:,end);%類別的先驗概率%label_priorP(1,1) 是正樣本的先驗概率%label_priorP(1,2) 是負樣本的先驗概率classNum = 2;%該實驗中類別數僅為 2label_priorP = zeros(1,classNum);%將 train 按類別分組，然后分別對每類的數據求出每個屬性的均值mu(Ak,Ci) 和樣本標準差sigma(Ak

7、,Ci)%mu(Ci,Ak),sigma(Ci,Ak) 表示第 Ci 類數據集的屬性 Ak 對應的均值和樣本標準差 groupedSet = cell(1,classNum); % 空的分組數據集矩陣%樣本的屬性數 att_number%mu(attNum,classNum),sigma(attnum,classNum) 分別是第 classNum 類的第 attNum 個屬性的均值 和標準差att_number = size(trainSet,2) -1;mu = zeros(classNum,att_number);sigma = zeros(classNum,att_number);%訓

8、練樣本數 sampleNumfor sampleNum = 1:size(trainLabel,1)label = trainLabel(sampleNum,1);if label = 1% 正樣本 label = 1 label_priorP(1,1) = label_priorP(1,1) + 1;groupedSet1,1 = groupedSet1,1; trainData(sampleNum,:);else% 負樣本 label = -1 label_priorP(1,2) = label_priorP(1,2) + 1;groupedSet1,2 = groupedSet1,2;

9、trainData(sampleNum,:);endendlabel_priorP = label_priorP ./ sampleNum;%對于每一類 計算某類每個屬性的均值和樣本標準差for label = 1:classNummu(label,:) = mean(groupedSet1,label,1);%第 label 個均值行向量sigma(label,:) = std(groupedSet1,label,0,1);%第 label 個標準差行向量end%對為 0 的標準差，賦值為一個很小的值for clsNum = 1:classNumfor attNum = 1:att_numb

10、erif sigma(clsNum,attNum) = 0sigma(clsNum,attNum) = 0.0001endend end% 進行預測 ,對于每個測試樣本 X ，求最大的 P(X|Ci)*P(Ci), 則 X 的類別為 i,testClass 存放預 測的類別號%求 maximum log(P(X|Ci) + log(P(Ci)% log(P(X|Ci)= 工 log(P(xk|Ci) , k=1.attr_number%log(P(xk|Ci)= - log(sigma(Ci)%- (xk-mu(Ci)A2 / (2 * sigma(Ci)A2)%- log(sqrt(2*pi

11、)const 忽略test_number = size(testData,1);attr_number = size(testData,2);correct = 0;for testNum = 1:test_numberdisp(testNum);X = testData(testNum,:);%當前測試樣本prob = log(label_priorP); %自然對數%對每類別計算后驗概率for lbl = 1:classNum%for lbl = 1:1%for k = 1:attr_numberfor k = 6PXk = -log(sigma(lbl,k).- (X(1,k)-mu(lbl,k)A2) / (2*sigma(lbl,k)A2); prob(1,lbl) = prob(1,lbl) + PXk;endendvalue index = max(prob);if (index = 1 & testData(testNum,end) = 1) | (index = 2 & testData(testNum,end) = -1) %被正確分類 correct = correct + 1;end end %識別率rec