數(shù)據(jù)挖掘技術(shù)

1、1234事務數(shù)據(jù)庫事務數(shù)據(jù)庫D5678910111213141516學習器（訓練器）學習器（訓練器） 分類器分類器 類類1 類類2 類類m 未被分類的數(shù)據(jù)未被分類的數(shù)據(jù) 訓練例訓練例訓練例訓練例 訓練例訓練例學習（訓練）過程學習（訓練）過程 分分 類類 過過 程程模型模型 17根據(jù)具體問題和具體要求根據(jù)具體問題和具體要求來選擇不同的方法。來選擇不同的方法。1819ageincomestudentcredit_ratingbuys_computer=30highnofairno40mediumnofairyes40lowyesfairyes40lowyesexcellentno3140lowye

2、sexcellentyes=30mediumnofairno40mediumyesfairyes40mediumnoexcellentno 選哪個屬性為選哪個屬性為類屬性類屬性由關(guān)心的問題而定，可為由關(guān)心的問題而定，可為buys_computer,123456789101112131420age?overcaststudent?credit rating?noyesfairexcellent40nonoyesyesyes30.402122 v1jmjj2j1mjj2j1m1ii2i),.,(IS.sslogssSSSSSS2324輸入3032=960，隱單元3，輸出4， 96034的網(wǎng)路。25

3、輸入單元輸入單元303032=96032=960，隱單元，隱單元4 4，輸出輸出單元單元3030（代表從最左到最右方向）（代表從最左到最右方向） 9609604 430 30 的網(wǎng)路。的網(wǎng)路。260 1 9輸入輸入手寫數(shù)字手寫數(shù)字人工神人工神經(jīng)網(wǎng)絡(luò)經(jīng)網(wǎng)絡(luò)輸出結(jié)果輸出結(jié)果27n人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的分類方人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實用的分類方法法, ,從樣本中學習從樣本中學習值為實數(shù)、離散值或向量的值為實數(shù)、離散值或向量的函數(shù)。函數(shù)。n神經(jīng)網(wǎng)絡(luò)學習對于逼近實數(shù)值、離散值或向量神經(jīng)網(wǎng)絡(luò)學習對于逼近實數(shù)值、離散值或向量值的目標函數(shù)值的目標函數(shù)提供了一種提供了一種健壯性很強的方法。健壯性

4、很強的方法。n反向傳播算法，使用梯度下降來調(diào)節(jié)反向傳播算法，使用梯度下降來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)網(wǎng)絡(luò)參數(shù)以最佳擬合由以最佳擬合由 輸入輸入- -輸出對輸出對 組成的訓練集合組成的訓練集合, ,是最普遍使用的算法。是最普遍使用的算法。n人工神經(jīng)網(wǎng)絡(luò)對于訓練數(shù)據(jù)中的錯誤健壯性很人工神經(jīng)網(wǎng)絡(luò)對于訓練數(shù)據(jù)中的錯誤健壯性很好好n人工神經(jīng)網(wǎng)絡(luò)已被成功應用到很多領(lǐng)域，例如人工神經(jīng)網(wǎng)絡(luò)已被成功應用到很多領(lǐng)域，例如視覺場景分析，語音識別，機器人控制視覺場景分析，語音識別，機器人控制, ,數(shù)據(jù)數(shù)據(jù)挖掘，漢字識別，經(jīng)濟分析預測，股票分析。挖掘，漢字識別，經(jīng)濟分析預測，股票分析。28結(jié)點結(jié)點.xiO1O2Ok2930 ijii

5、jjOwI jIje11O 每個每個都是非線性變換單元都是非線性變換單元IjOi313233n神經(jīng)網(wǎng)絡(luò)的設(shè)計者們用高超的工程技巧彌補了數(shù)學上的缺陷。神經(jīng)網(wǎng)絡(luò)的設(shè)計者們用高超的工程技巧彌補了數(shù)學上的缺陷。n綜合利用各種啟發(fā)式算法，使得用較少的計算取得一個合理的局部綜合利用各種啟發(fā)式算法，使得用較少的計算取得一個合理的局部極小點成為可能。極小點成為可能。34353621( )2() 1,1,.,iiwwyw xbil3738394041) )( () )( () )| |( () )| |( (XPHPHXPXHP 42) )( () )( () )| |( () )| |( (XPHPHXPXH

6、P )H|X(P n1kkHxPHXP) )| |( () )| |( (數(shù)據(jù)對象有數(shù)據(jù)對象有n個屬性，每個數(shù)據(jù)屬性是獨立的，就可計算每個個屬性，每個數(shù)據(jù)屬性是獨立的，就可計算每個) )| |( (HxPk4344) )( () )( () )| |( () )| |( (XPHPHXPXHP 454647484950數(shù)據(jù)訓練集測試集導出分類法評估準確性51數(shù)據(jù)S1S2Sk訓練集測試集52數(shù)據(jù)C1C2Ct組合得票新數(shù)據(jù)樣本類預測535455C1 C2 CT traintraintrainxc1(x)c2(x)cT(x)C* c*(x) = max cntt ct(x)S1 S2 ST 5657

7、5859Set of weightedinstances Classifier Ct train classifier adjust weights6061xc1(x)c2(x)cT(x)C* c*(x) = argmaxcm Sct(x)=cm log(1/bt)C1 trainS,w1trainC2 S,w2CT trainS,wT626364656667X1X2X3X4X5X6X1X2X4X3X5X6譜系關(guān)系圖譜系關(guān)系圖6869707172737475美國一所大學中空手道俱樂部成員間關(guān)系的網(wǎng)絡(luò)美國一所大學中空手道俱樂部成員間關(guān)系的網(wǎng)絡(luò)76777879808182838485868788文

8、本文本集集預處理與預處理與文本表示文本表示分類器分類器評價評價分類結(jié)果特分類結(jié)果特征和概要征和概要 詞典詞典分類模型分類模型標準結(jié)果標準結(jié)果特征抽取特征抽取文本分類一般包括了文本表達、分類器的文本分類一般包括了文本表達、分類器的選擇與訓練、分類結(jié)果的評價與反饋等過選擇與訓練、分類結(jié)果的評價與反饋等過程，如圖所示：程，如圖所示：文本分類系統(tǒng)文本分類系統(tǒng)899091網(wǎng)絡(luò)挖掘網(wǎng)絡(luò)挖掘網(wǎng)絡(luò)結(jié)構(gòu)挖掘網(wǎng)絡(luò)結(jié)構(gòu)挖掘網(wǎng)絡(luò)內(nèi)容挖掘網(wǎng)絡(luò)內(nèi)容挖掘網(wǎng)絡(luò)使用挖掘網(wǎng)絡(luò)使用挖掘網(wǎng)頁網(wǎng)頁內(nèi)容內(nèi)容挖掘挖掘檢索檢索結(jié)果結(jié)果挖掘挖掘定制定制使用使用跟蹤跟蹤存取存取模式模式挖掘挖掘網(wǎng)絡(luò)網(wǎng)絡(luò)組織組織挖掘挖掘網(wǎng)絡(luò)網(wǎng)絡(luò)引用引用挖掘挖掘媒體

9、媒體信息信息挖掘挖掘92939495 擴充智能數(shù)據(jù)分析算法擴充智能數(shù)據(jù)分析算法 將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類型將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類型 發(fā)展分布的智能數(shù)據(jù)分析算法發(fā)展分布的智能數(shù)據(jù)分析算法 提高智能數(shù)據(jù)分析方法的容易度提高智能數(shù)據(jù)分析方法的容易度所面臨的挑戰(zhàn)所面臨的挑戰(zhàn)96 數(shù)據(jù)量的增長數(shù)據(jù)量的增長 對交互式反應和真實反應時間減少的要對交互式反應和真實反應時間減少的要 求的加強求的加強 需要多種算法的組合或新的算法需要多種算法的組合或新的算法 算法要具有可擴展性算法要具有可擴展性擴充智能數(shù)據(jù)分析算法擴充智能數(shù)據(jù)分析算法97 時間序列數(shù)據(jù)時間序列數(shù)據(jù) 未組織數(shù)據(jù)未組織數(shù)據(jù),如文本如文本

10、 半組織數(shù)據(jù)半組織數(shù)據(jù), 如如HTML和和XML文件文件 多媒體的合作數(shù)據(jù)多媒體的合作數(shù)據(jù) 多層次的多層次的,多度量單位的數(shù)據(jù)多度量單位的數(shù)據(jù) 集合數(shù)據(jù)，圖數(shù)據(jù)集合數(shù)據(jù)，圖數(shù)據(jù)將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類型型98 數(shù)據(jù)的分布特性數(shù)據(jù)的分布特性 計算環(huán)境越來越普及計算環(huán)境越來越普及 必須發(fā)展與之匹配的數(shù)據(jù)分析系統(tǒng)和算法必須發(fā)展與之匹配的數(shù)據(jù)分析系統(tǒng)和算法發(fā)展分布的智能數(shù)據(jù)分析算法發(fā)展分布的智能數(shù)據(jù)分析算法99 數(shù)據(jù)分析自動化程度的提高數(shù)據(jù)分析自動化程度的提高 提高用戶界面提高用戶界面, 支持隨機用戶的瀏覽支持隨機用戶的瀏覽 提高大型分布數(shù)據(jù)的可視化程度提高大型分布數(shù)據(jù)的可視化程度 發(fā)展用以管理數(shù)據(jù)分析的元數(shù)據(jù)的技術(shù)和系統(tǒng)發(fā)展用以管理數(shù)據(jù)分析的元數(shù)據(jù)的技術(shù)和系統(tǒng) 發(fā)展恰當?shù)恼Z言和協(xié)議支持隨機提取數(shù)據(jù)發(fā)展恰當?shù)恼Z言和協(xié)議支持隨機提取數(shù)據(jù) 提高智能數(shù)據(jù)分析的環(huán)境提高智能數(shù)據(jù)分析的環(huán)境收集收集加工加工 分析與挖掘分析與挖掘可視化以及必要的合作報告可視化以及必要的合作報告提高智能數(shù)據(jù)分析方法的容易度提高智能數(shù)據(jù)分析方法的容易度100支持單個研究數(shù)據(jù)分析者的研究支持單個研究數(shù)據(jù)分析者的研究 支持數(shù)據(jù)挖掘的基