RR2 大數(shù)據(jù)分析課件

QuizQ1什么是數(shù)據(jù)挖掘？Q2什么是數(shù)據(jù)挖掘四部曲？Q3列舉三個常見的數(shù)據(jù)挖掘類型？Q4什么是數(shù)據(jù)挖掘系統(tǒng)三層的C/S結(jié)構(gòu)？Q5什么是人工神經(jīng)網(wǎng)絡(luò)？

Q6數(shù)據(jù)挖掘生命周期CRISP-DM是什么？數(shù)據(jù)挖掘數(shù)據(jù)挖掘（ＤataMining）：又稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（Knowledgediscoveryfromdatabases(KDD)），是基于ＡＩ、機器學(xué)習(xí)、統(tǒng)計學(xué)等技術(shù)，高度自動化地分析原有的數(shù)據(jù)，進行歸納性推理，從數(shù)據(jù)倉庫或數(shù)據(jù)庫中提取可信的、新穎的、有效的、人們感興趣的、能別人理解的知識的高級處理過程。這些知識是隱含的、事先未知的有用信息，提取的知識表現(xiàn)為概念、規(guī)則、模式、規(guī)律等形式，以幫助管理者作出正確的決策。模式：它給出了數(shù)據(jù)特性或數(shù)據(jù)之間的關(guān)系，是對數(shù)據(jù)所包含的信息更抽象的描述。模式按功能可以分為預(yù)測型模式和描述型模式。在實際應(yīng)用中，可以細分為關(guān)聯(lián)模式、分類模式、聚類模式和序列模式等。2數(shù)據(jù)挖掘四部曲數(shù)據(jù)挖掘的類型DM系統(tǒng)的體系結(jié)構(gòu)（1）DW的步驟：數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)集成數(shù)據(jù)選擇預(yù)分析挖掘表述評價（2）DW系統(tǒng)的結(jié)構(gòu)：

用戶界面結(jié)果輸出數(shù)據(jù)挖掘核心知識庫數(shù)據(jù)倉庫數(shù)據(jù)庫文件系統(tǒng)其他數(shù)據(jù)源ODBC或其他專用數(shù)據(jù)庫接口5生物學(xué)方法－神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域的一個重要的分支。采用神經(jīng)網(wǎng)絡(luò)設(shè)計的系統(tǒng)模擬人腦的結(jié)構(gòu)，而與傳統(tǒng)的系統(tǒng)截然不同。由醫(yī)學(xué)可知，人的大腦中有幾十億個大腦細胞（稱為神經(jīng)元），這些神經(jīng)元通過神經(jīng)中樞的導(dǎo)電神經(jīng)纖維互相連接，從而形成一個復(fù)雜的腦神經(jīng)網(wǎng)絡(luò)。人在學(xué)習(xí)某一件事的時候，某些神經(jīng)元的連接得到強化。在人工神經(jīng)網(wǎng)絡(luò)中，用計算機處理單元來模擬人腦的神經(jīng)元，并將這些處理單元象人腦的神經(jīng)元那樣互相連接起來，構(gòu)成一個網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)并非使用編程的方式讓計算機去做某項工作，而是采用所謂“訓(xùn)練”的方法讓神經(jīng)網(wǎng)絡(luò)進行“學(xué)習(xí)”。完成某項工作的正確動作，使得神經(jīng)網(wǎng)絡(luò)的某些連接或模式得到強化；而錯誤的動作則使神經(jīng)網(wǎng)絡(luò)的相應(yīng)連接或模式不被強化。從而讓神經(jīng)網(wǎng)絡(luò)“學(xué)會”如何去做這項工作。7CRISP-DM（CRoss-IndustryStandardProcessforDataMining）業(yè)務(wù)理解（BusinessUnderstanding）數(shù)據(jù)理解（DataUnderstanding）數(shù)據(jù)準(zhǔn)備（DataPreparation）建模（Modeling）評估（Evaluation）實施（Deployment）什么是聚類分析?簇（Cluster）:一個數(shù)據(jù)對象的集合聚類分析把一個給定的數(shù)據(jù)對象集合分成不同的簇；在同一個簇（或類）中，對象之間具有相似性；不同簇（或類）的對象之間是相異的。聚類是一種無監(jiān)督分類法:沒有預(yù)先指定的類別；典型的應(yīng)用作為一個獨立的分析工具，用于了解數(shù)據(jù)的分布；作為其它算法的一個數(shù)據(jù)預(yù)處理步驟；什么是一個好的聚類方法?一個好的聚類方法要能產(chǎn)生高質(zhì)量的聚類結(jié)果——簇，這些簇要具備以下兩個特點：高的簇內(nèi)相似性低的簇間相似性聚類結(jié)果的好壞取決于該聚類方法采用的相似性評估方法以及該方法的具體實現(xiàn)；聚類方法的好壞還取決與該方法是能發(fā)現(xiàn)某些還是所有的隱含模式；2022/10/911DataMining:ConceptsandTechniques計算對象之間的相異度通常使用距離來衡量兩個對象之間的相異度。常用的距離度量方法有:

明考斯基距離（Minkowskidistance）:其中i=(xi1,xi2,…,xip)和

j=(xj1,xj2,…,xjp)是兩個p維的數(shù)據(jù)對象,q是一個正整數(shù)。當(dāng)q=1時,d

稱為曼哈坦距離（Manhattandistance）2022/10/912DataMining:ConceptsandTechniquesK-平均算法給定k，算法的處理流程如下:1.隨機的把所有對象分配到k個非空的簇中；2.計算每個簇的平均值，并用該平均值代表相應(yīng)的簇；3.將每個對象根據(jù)其與各個簇中心的距離，重新分配到與它最近的簇中；4.回到第二步，直到不再有新的分配發(fā)生。2022/10/914DataMining:ConceptsandTechniquesTheK-MeansClusteringMethod

Example2022/10/915CasesMarriagelength(yrs)Wealth($000’s)13510023203710412755202506150718788503009229010412k=2e.gCluster1hasexamples(1,4,7,8,9)Cluster2hasexamples(2,3,5,6,10)Step1.Randomlyassigntoeachofkgroups2022/10/917CasesMarriagelength(yrs)Wealth($000’s)13510023203710412755202506150718788503009229010412e.gCluster1hasexamples(1,4,7,8,9)Marriagelengthmean=27.4Wealthmean=128.6Cluster2hasexamples(2,3,5,6,10)Marriagelengthmean=7Wealthmean=68.4Step2.Calculateclustermeans2022/10/918CasesMarriagelength(yrs)Wealth($000’s)13510023203710412755202506150718788503009229010412e.gCalculatetheerrorassociatedwitheachclustergroupingassumofsquaresofdistancefromeachexampleinthewholedatasetfromclustermean.Marriagelengthmeans=27.4,7Wealthmeans=128.6,68.4Error_cluster_1=(35-27.4)2+(100-128.6)2+(7-7)2+(10-68.4)2+..=80,523.6Step3.Calculateclustererror2022/10/919CasesMarriagelength(yrs)Wealth($000’s)13510023203710412755202506150718788503009229010412e.gStep1clusterswere:Cluster1(1,4,7,8,9)Cluster2(2,3,5,6,10)Moveexample5fromcluster2tocluster1sonewclusteris:Cluster1(1,4,5,7,8,9)Cluster2(2,3,6,10)Repeat:Ifthenewclustergeneratesanerrorlowerthanthefirst,retainthenewclusterandrepeatStep4.Moveanexampletoanewclusterandrepeat2022/10/920數(shù)據(jù)分析系列劇第二集：七步法的應(yīng)用S-0-I模型分類就是提出一個分類函數(shù)或分類模型（即分類器），通過分類器將數(shù)據(jù)對象映射到某一個給定的類別中。2022/10/924分類過程：模型創(chuàng)建訓(xùn)練集分類算法IFrank=‘professor’ORyears>6THENtenured=‘yes’模型2022/10/925DataMining:ConceptsandTechniques回歸于分類預(yù)測線性回歸是利用數(shù)理統(tǒng)計中的回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法，運用十分廣泛。分析按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。28LinearClassificationBinaryClassificationproblemThedataabovethelinebelongstoclass‘x’Thedatabelowlinebelongstoclass‘o’Examples:SVM,Perceptron,ProbabilisticClassifiersxxxxxxxxxxooooooooooooo2022/10/928關(guān)聯(lián)規(guī)則：基本概念給定:(1)交易數(shù)據(jù)庫(2)每筆交易是：一個項目列表(消費者一次購買活動中購買的商品)查找:所有描述一個項目集合與其他項目集合相關(guān)性的規(guī)則E.g.,98%ofpeoplewhopurchasetiresandautoaccessoriesalsogetautomotiveservicesdone應(yīng)用*護理用品(商店應(yīng)該怎樣提高護理用品的銷售？)家用電器

*(其他商品的庫存有什么影響?)在產(chǎn)品直銷中使用附加郵寄2022/10/929數(shù)據(jù)挖掘：概念和技術(shù)SupportandConfidenceSupportcount:ThesupportcountofanitemsetX,denotedbyX.count,inadatasetTisthenumberoftransactionsinTthatcontainX.AssumeThasntransactions.Then,confidenceifAthenB=pr(AB)/pr(B)=pr(B|A)supportifAthenB=pr(AB)/n2022/10/930關(guān)聯(lián)規(guī)則挖掘—一個例子對于A

C：suppor