第6章機器學習與知識發(fā)現(xiàn)61機器學概述62符號學習

1、 第6章 機器學習與知識發(fā)現(xiàn) 6.1 機器學習概述 6.2 符號學習 6.3 神經(jīng)網(wǎng)絡學習 6.4 知識發(fā)現(xiàn)與數(shù)據(jù)挖掘 6.1 機器學習概述6.1.1 機器學習的概念 ： 學習與經(jīng)驗有關； 學習可以改善系統(tǒng)性能； 學習是一個有反饋的信息處理與控制過程。因為經(jīng)驗是在系統(tǒng)與環(huán)境的交互過程中產(chǎn)生的，而經(jīng)驗中應該包含系統(tǒng)輸入、響應和效果等信息。因此經(jīng)驗的積累、性能的完善正是通過重復這一過程而實現(xiàn)的。6.1.2 機器學習的原理圖 9-1 機器學習原理1圖 9-2 機器學習原理2 圖 9-3 機器學習原理3 圖 9-4 機器學習原理4圖 9-5 機器學習原理56.1.3 機器學習的分類 （3.4. 5.

2、6.2 符號學習6.2.1 記憶學習6.2.2 示例學習圖 9-6 第一個拱橋的語義網(wǎng)絡圖 9-7 第二個拱橋的語義網(wǎng)絡圖 9-8 學習程序歸納出的語義網(wǎng)絡圖 9-9 拱橋概念的語義網(wǎng)絡 例 9.16.2.3 決策樹學習 決策樹示意圖 例例9.3 下下圖所示是機場指揮臺關于飛機起飛的簡單決策樹。 例例9.4 下圖是一個描述“兔子”概念的決策樹。 2. 表表9.1 汽車駕駛保險類別劃分實例集汽車駕駛保險類別劃分實例集 將實例集簡記為s=(1,c), (2,c), (3,c), (4,b), (5,a), (6,a), (7,c), (8,b), (9,a), (10,a), (11,b), (1

3、2,b) 其中每個元組表示一個實例，前面的數(shù)字為實例序號，后面的字母為實例的決策項保險類別。 用 “小”、“中”、“大” 分別代表 “21”、“21且25”、“25” 這三個年齡段。 對于s，我們按屬性“性別”的不同取值將其分類。由表9.1 可見，這時s應被分類為兩個子集：s1= (3,c), (4,b), (7,c), (8,b), (11,b), (12,b)s2=(1,c), (2,c), (5,a), (6,a), (9,a), (10,a) 于是，我們得到以性別作為根節(jié)點的部分決策樹（見下圖）。 決策樹生成過程 決策樹生成過程 決策樹生成過程 最后生成的 決策樹 （1） 設s是一個實

4、例集(s也可以是子實例集),a為s中實例的一個屬性。h(s)和h(s|a)分別稱為實例集s的信息熵和條件熵, 其計算公式如下: 其中,i(i=1, 2, , n)為s中各實例所有可能的結(jié)論；lb即log2。 其中,ak(k=1, 2, , m)為屬性a的取值, sak為按屬性a對實例集s進行分類時所得諸子類中與屬性值ak對應的那個子類。niiippsh1)(lb)()(mkaakkshssash1)()|( 按性別劃分, 實例集s被分為兩個子類: s男 =(3,c), (4,b), (7,c), (8,b), (11,b), (12,b)s女 =(1,c), (2,c), (5,a), (6,

5、a), (9,a), (10,a) 從而, 對子集s男而言, 62)(,64)(, 060)(cpbpap對子集s女而言, 62)(, 060)(,64)(cpbpap于是, 由公式(9-1)有: 9183. 0)5283. 039. 0(5850. 16258850. 064062lb6264lb6460lb60)(lb)()(lb)()(lb)()(cpcpbpbpapapsh男9183. 0)39. 05283. 0(5850. 16205850. 06462lb6260lb6464lb64)(lb)()(lb)()(lb)()(cpcpbpbpapapsh女又 126|ssss女男將以

6、上3式代入公式(9-2)得: 9183. 09183. 01269183. 0126)(126)(126)|(中男性別shshsh用同樣的方法可求得: 5062. 1)(126)(126)|(10351)(124)(124)(124)|(已未小中大婚狀性別shshsh。shshshsh可見, 條件熵h(s|性別)為最小,所以,應取“性別”這一屬性對實例集進行分類, 即以“性別”作為決策樹的根節(jié)點。 6.3 神經(jīng)網(wǎng)絡學習 6.3.1生物神經(jīng)元 生物神經(jīng)元的基本結(jié)構(gòu) 6.3.2人工神經(jīng)元 人工神經(jīng)元結(jié)構(gòu)模型人工神經(jīng)元的輸入、 輸出關系可描述為： 1()niiiyfaax神經(jīng)元特性函數(shù) 1()1ay

7、fae( )yf a1000aa0001kkayk aaaaa 神經(jīng)元特性函數(shù) 6.3.3 神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡 結(jié)構(gòu)模型 神經(jīng)網(wǎng)絡至少可以實現(xiàn)如下功能6.3.4神經(jīng)網(wǎng)絡學習)()()() 1(txtxtwtwjiijij表 9.2 神經(jīng)網(wǎng)絡學習方法的常見分類 9.3.5 bp網(wǎng)絡及其學習舉例xexf11)(nbp學習算法： 步1 初始化網(wǎng)絡權(quán)值、 閾值及有關參數(shù)。 步2 計算總誤差 其中為輸出層節(jié)點 對第 個樣本的輸入對應的輸出（稱為期望輸出），為節(jié)點 的實際輸出。 步3 對樣本集中各個樣本依次重復以下過程，然后轉(zhuǎn)步2。12kkeep21()2jjkkkjeyy 其次，從輸出層節(jié)點到輸入層節(jié)點以反向順序，對各連接權(quán)值wij按下面的公式進行修正： 01()1jja jnjijjiofaeao(1)( )ijjiw tw to)(1 (jjjjyyooljlljjwoo)1 (j對于輸出節(jié)點對于中間節(jié)點 例 9.5 設計一個bp網(wǎng)絡, 對下表所示的樣本數(shù)據(jù)進行學習, 使學成的網(wǎng)絡能解決類似的模式分類問題。 輸入輸出1 2 31 2 30.3 0.8