大數(shù)據(jù)時代的數(shù)據(jù)挖掘與商務智能(五)

1、12345事務數(shù)據(jù)庫事務數(shù)據(jù)庫D67891011121314151617學習器（訓練器）學習器（訓練器） 分類器分類器 類類1 類類2 類類m 未被分類的數(shù)據(jù)未被分類的數(shù)據(jù) 訓練例訓練例訓練例訓練例 訓練例訓練例學習（訓練）過程學習（訓練）過程 分分 類類 過過 程程模型模型 18根據(jù)具體問題和具體要求根據(jù)具體問題和具體要求來選擇不同的方法。來選擇不同的方法。1920ageincomestudentcredit_ratingbuys_computer=30highnofairno40mediumnofairyes40lowyesfairyes40lowyesexcellentno3140low

2、yesexcellentyes=30mediumnofairno40mediumyesfairyes40mediumnoexcellentno 選哪個屬性為選哪個屬性為類屬性類屬性由關心的問題而定，可為由關心的問題而定，可為buys_computer,123456789101112131421age?overcaststudent?credit rating?noyesfairexcellent40nonoyesyesyes30.402223 v1jmjj2j1mjj2j1m1ii2i),.,(IS.sslogssSSSSSS2425輸入3032=960，隱單元3，輸出4， 96034的網(wǎng)路。

3、26輸入單元輸入單元303032=96032=960，隱單元，隱單元4 4，輸出輸出單元單元3030（代表從最左到最右方向）（代表從最左到最右方向） 9609604 430 30 的網(wǎng)路。的網(wǎng)路。270 1 9輸入輸入手寫數(shù)字手寫數(shù)字人工神人工神經(jīng)網(wǎng)絡經(jīng)網(wǎng)絡輸出結果輸出結果2829結點結點.xiO1O2Ok3031 ijiijjOwI jIje11O 每個每個都是非線性變換單元都是非線性變換單元IjOi323334n神經(jīng)網(wǎng)絡的設計者們用高超的工程技巧彌補了數(shù)學上的缺陷。神經(jīng)網(wǎng)絡的設計者們用高超的工程技巧彌補了數(shù)學上的缺陷。n綜合利用各種啟發(fā)式算法，使得用較少的計算取得一個合理的局部綜合利用各種

4、啟發(fā)式算法，使得用較少的計算取得一個合理的局部極小點成為可能。極小點成為可能。35363721( )2() 1,1,.,iiwwyw xbil3839404142) )( () )( () )| |( () )| |( (XPHPHXPXHP 43) )( () )( () )| |( () )| |( (XPHPHXPXHP )H|X(P n1kkHxPHXP) )| |( () )| |( (數(shù)據(jù)對象有數(shù)據(jù)對象有n個屬性，每個數(shù)據(jù)屬性是獨立的，就可計算每個個屬性，每個數(shù)據(jù)屬性是獨立的，就可計算每個) )| |( (HxPk4445) )( () )( () )| |( () )| |( (

5、XPHPHXPXHP 464748495051數(shù)據(jù)訓練集測試集導出分類法評估準確性52數(shù)據(jù)S1S2Sk訓練集測試集53數(shù)據(jù)C1C2Ct組合得票新數(shù)據(jù)樣本類預測545556C1 C2 CT traintraintrainxc1(x)c2(x)cT(x)C* c*(x) = max cntt ct(x)S1 S2 ST 57585960Set of weightedinstances Classifier Ct train classifier adjust weights6162xc1(x)c2(x)cT(x)C* c*(x) = argmaxcm Sct(x)=cm log(1/bt)C1 t

6、rainS,w1trainC2 S,w2CT trainS,wT636465666768X1X2X3X4X5X6X1X2X4X3X5X6譜系關系圖譜系關系圖6970717273747576美國一所大學中空手道俱樂部成員間關系的網(wǎng)絡美國一所大學中空手道俱樂部成員間關系的網(wǎng)絡77787980818283848586878889文本文本集集預處理與預處理與文本表示文本表示分類器分類器評價評價分類結果特分類結果特征和概要征和概要 詞典詞典分類模型分類模型標準結果標準結果特征抽取特征抽取文本分類一般包括了文本表達、分類器的文本分類一般包括了文本表達、分類器的選擇與訓練、分類結果的評價與反饋等過選擇與訓練

7、、分類結果的評價與反饋等過程，如圖所示：程，如圖所示：文本分類系統(tǒng)文本分類系統(tǒng)909192網(wǎng)絡挖掘網(wǎng)絡挖掘網(wǎng)絡結構挖掘網(wǎng)絡結構挖掘網(wǎng)絡內(nèi)容挖掘網(wǎng)絡內(nèi)容挖掘網(wǎng)絡使用挖掘網(wǎng)絡使用挖掘網(wǎng)頁網(wǎng)頁內(nèi)容內(nèi)容挖掘挖掘檢索檢索結果結果挖掘挖掘定制定制使用使用跟蹤跟蹤存取存取模式模式挖掘挖掘網(wǎng)絡網(wǎng)絡組織組織挖掘挖掘網(wǎng)絡網(wǎng)絡引用引用挖掘挖掘媒體媒體信息信息挖掘挖掘93949596 擴充智能數(shù)據(jù)分析算法擴充智能數(shù)據(jù)分析算法 將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類型將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類型 發(fā)展分布的智能數(shù)據(jù)分析算法發(fā)展分布的智能數(shù)據(jù)分析算法 提高智能數(shù)據(jù)分析方法的容易度提高智能數(shù)據(jù)分析方法的容易度所面臨的挑戰(zhàn)所面臨

8、的挑戰(zhàn)97 數(shù)據(jù)量的增長數(shù)據(jù)量的增長 對交互式反應和真實反應時間減少的要對交互式反應和真實反應時間減少的要 求的加強求的加強 需要多種算法的組合或新的算法需要多種算法的組合或新的算法 算法要具有可擴展性算法要具有可擴展性擴充智能數(shù)據(jù)分析算法擴充智能數(shù)據(jù)分析算法98 時間序列數(shù)據(jù)時間序列數(shù)據(jù) 未組織數(shù)據(jù)未組織數(shù)據(jù),如文本如文本 半組織數(shù)據(jù)半組織數(shù)據(jù), 如如HTML和和XML文件文件 多媒體的合作數(shù)據(jù)多媒體的合作數(shù)據(jù) 多層次的多層次的,多度量單位的數(shù)據(jù)多度量單位的數(shù)據(jù) 集合數(shù)據(jù)，圖數(shù)據(jù)集合數(shù)據(jù)，圖數(shù)據(jù)將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類將智能數(shù)據(jù)分析應用到新的數(shù)據(jù)類型型99 數(shù)據(jù)的分布特性數(shù)據(jù)的分布特性

9、 計算環(huán)境越來越普及計算環(huán)境越來越普及 必須發(fā)展與之匹配的數(shù)據(jù)分析系統(tǒng)和算法必須發(fā)展與之匹配的數(shù)據(jù)分析系統(tǒng)和算法發(fā)展分布的智能數(shù)據(jù)分析算法發(fā)展分布的智能數(shù)據(jù)分析算法100 數(shù)據(jù)分析自動化程度的提高數(shù)據(jù)分析自動化程度的提高 提高用戶界面提高用戶界面, 支持隨機用戶的瀏覽支持隨機用戶的瀏覽 提高大型分布數(shù)據(jù)的可視化程度提高大型分布數(shù)據(jù)的可視化程度 發(fā)展用以管理數(shù)據(jù)分析的元數(shù)據(jù)的技術和系統(tǒng)發(fā)展用以管理數(shù)據(jù)分析的元數(shù)據(jù)的技術和系統(tǒng) 發(fā)展恰當?shù)恼Z言和協(xié)議支持隨機提取數(shù)據(jù)發(fā)展恰當?shù)恼Z言和協(xié)議支持隨機提取數(shù)據(jù) 提高智能數(shù)據(jù)分析的環(huán)境提高智能數(shù)據(jù)分析的環(huán)境收集收集加工加工 分析與挖掘分析與挖掘可視化以及必要的合作報告可視化以及必要的合作報告提高智能數(shù)據(jù)分析方法的容易度提高智能數(shù)據(jù)分析方法的容易度101支持單個研究數(shù)據(jù)分析者的研究支持單個研究數(shù)據(jù)分析者的研究 支持數(shù)據(jù)挖掘的基礎學科的研究支持數(shù)據(jù)挖掘的基礎學科的研究 支