數(shù)據(jù)挖掘之分類(lèi)概述

匯報(bào)人:AA2024-01-25數(shù)據(jù)挖掘之分類(lèi)概述目錄CONTENCT分類(lèi)基本概念與原理基于決策樹(shù)分類(lèi)方法基于K近鄰分類(lèi)方法基于樸素貝葉斯分類(lèi)方法基于支持向量機(jī)分類(lèi)方法集成學(xué)習(xí)在分類(lèi)中應(yīng)用總結(jié)與展望01分類(lèi)基本概念與原理分類(lèi)定義分類(lèi)作用分類(lèi)定義及作用分類(lèi)是一種數(shù)據(jù)挖掘技術(shù)，通過(guò)對(duì)已知類(lèi)別的樣本進(jìn)行學(xué)習(xí)，建立一個(gè)分類(lèi)模型，用于預(yù)測(cè)新樣本的類(lèi)別。分類(lèi)在數(shù)據(jù)挖掘中扮演著重要角色，它可以幫助我們理解數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和規(guī)律，預(yù)測(cè)未知數(shù)據(jù)的類(lèi)別，為決策提供支持。0102030405決策樹(shù)算法通過(guò)構(gòu)建決策樹(shù)來(lái)實(shí)現(xiàn)分類(lèi)，易于理解和解釋?zhuān)m用于處理離散型數(shù)據(jù)。樸素貝葉斯算法基于貝葉斯定理和特征條件獨(dú)立假設(shè)的分類(lèi)方法，適用于處理文本分類(lèi)等任務(wù)。K近鄰算法根據(jù)樣本之間的距離進(jìn)行分類(lèi)，簡(jiǎn)單直觀(guān)，但需要計(jì)算樣本之間的距離。支持向量機(jī)算法通過(guò)尋找最優(yōu)超平面來(lái)實(shí)現(xiàn)分類(lèi)，適用于處理高維數(shù)據(jù)和二分類(lèi)問(wèn)題。神經(jīng)網(wǎng)絡(luò)算法模擬人腦神經(jīng)元連接方式進(jìn)行分類(lèi)，具有強(qiáng)大的學(xué)習(xí)和泛化能力。常見(jiàn)分類(lèi)算法簡(jiǎn)介召回率精確率準(zhǔn)確率F1值ROC曲線(xiàn)和AUC值評(píng)估指標(biāo)與性能度量真正例占實(shí)際為正例的比例，衡量分類(lèi)器找出所有正例的能力。真正例占預(yù)測(cè)為正例的比例，衡量分類(lèi)器預(yù)測(cè)為正例的準(zhǔn)確程度。分類(lèi)正確的樣本數(shù)占總樣本數(shù)的比例，衡量分類(lèi)器的整體性能。精確率和召回率的調(diào)和平均值，綜合考慮了分類(lèi)器的精確率和召回率。通過(guò)繪制不同閾值下的真正例率和假正例率曲線(xiàn)，計(jì)算曲線(xiàn)下的面積AUC值來(lái)評(píng)估分類(lèi)器的性能。AUC值越大，分類(lèi)器性能越好。02基于決策樹(shù)分類(lèi)方法特征選擇決策樹(shù)生成決策樹(shù)剪枝從訓(xùn)練集中選擇對(duì)分類(lèi)最有用的特征進(jìn)行分裂。常用的特征選擇方法有信息增益、增益率和基尼指數(shù)等。根據(jù)選定的特征評(píng)估標(biāo)準(zhǔn)，遞歸地生成決策樹(shù)。典型的算法有ID3、C4.5和CART等。通過(guò)去除一些子樹(shù)或葉節(jié)點(diǎn)，降低決策樹(shù)的復(fù)雜度，提高模型的泛化能力。決策樹(shù)構(gòu)建過(guò)程預(yù)剪枝在決策樹(shù)生成過(guò)程中，提前停止樹(shù)的生長(zhǎng)。通常通過(guò)設(shè)置樹(shù)的最大深度、最小樣本數(shù)等參數(shù)來(lái)實(shí)現(xiàn)。后剪枝在決策樹(shù)生成后，對(duì)其進(jìn)行簡(jiǎn)化。常用的后剪枝方法有錯(cuò)誤率降低剪枝（Reduced-ErrorPruning,REP）、悲觀(guān)錯(cuò)誤剪枝（PessimisticErrorPruning,PEP）和代價(jià)復(fù)雜度剪枝（CostComplexityPruning,CCP）等。優(yōu)化方法針對(duì)決策樹(shù)的優(yōu)化方法包括集成學(xué)習(xí)（如隨機(jī)森林、梯度提升決策樹(shù)等）、特征工程（如特征選擇、特征變換等）以及模型調(diào)參（如調(diào)整樹(shù)的深度、葉子節(jié)點(diǎn)最少樣本數(shù)等參數(shù)）。剪枝策略及優(yōu)化方法ID3算法01采用信息增益作為特征選擇標(biāo)準(zhǔn)，遞歸地構(gòu)建決策樹(shù)。但I(xiàn)D3算法傾向于選擇取值較多的特征，且無(wú)法處理連續(xù)特征和缺失值。C4.5算法02在ID3算法的基礎(chǔ)上進(jìn)行了改進(jìn)，采用增益率作為特征選擇標(biāo)準(zhǔn)，能處理連續(xù)特征和缺失值。同時(shí)，C4.5算法引入了剪枝策略，提高了模型的泛化能力。CART算法03既可以用于分類(lèi)也可以用于回歸。在分類(lèi)任務(wù)中，CART算法使用基尼指數(shù)作為特征選擇標(biāo)準(zhǔn)，遞歸地構(gòu)建二叉決策樹(shù)。CART算法還支持后剪枝策略，進(jìn)一步提高模型的性能。實(shí)例：ID3、C4.5和CART算法03基于K近鄰分類(lèi)方法K近鄰算法原理及實(shí)現(xiàn)K近鄰算法原理：K近鄰算法是一種基于實(shí)例的學(xué)習(xí)，或者是局部逼近和將所有的計(jì)算推遲到分類(lèi)之后進(jìn)行的分類(lèi)方法。通過(guò)測(cè)量不同數(shù)據(jù)點(diǎn)之間的距離進(jìn)行分類(lèi)。010203K近鄰算法實(shí)現(xiàn)步驟計(jì)算待分類(lèi)項(xiàng)與其他各項(xiàng)之間的距離。按照距離的遞增關(guān)系進(jìn)行排序。K近鄰算法原理及實(shí)現(xiàn)選取距離最小的K個(gè)點(diǎn)。確定前K個(gè)點(diǎn)所在類(lèi)別的出現(xiàn)頻率。返回前K個(gè)點(diǎn)出現(xiàn)頻率最高的類(lèi)別作為預(yù)測(cè)分類(lèi)。K近鄰算法原理及實(shí)現(xiàn)歐氏距離最常見(jiàn)的兩點(diǎn)之間或多點(diǎn)之間的距離表示法，又稱(chēng)之為歐幾里得度量，它定義于歐幾里得空間中，如點(diǎn)x=(x1,...,xn)和y=(y1,...,yn)之間的距離為：d(x,y)=√[(x1-y1)2+(x2-y2)2+...+(xn-yn)2]。曼哈頓距離曼哈頓距離是由十九世紀(jì)的赫爾曼·閔可夫斯基所創(chuàng)詞匯，是種使用在幾何度量空間的幾何學(xué)用語(yǔ)，用以標(biāo)明兩個(gè)點(diǎn)在標(biāo)準(zhǔn)坐標(biāo)系上的絕對(duì)軸距總和，即：d(x,y)=|x1-y1|+|x2-y2|+...+|xn-yn|。余弦相似度余弦相似度通過(guò)測(cè)量?jī)蓚€(gè)向量的夾角的余弦值來(lái)度量它們之間的相似性。如果夾角為90度，則相似度為0；如果兩個(gè)向量的方向相同，則相似度為1。距離度量方式選擇01020304數(shù)據(jù)準(zhǔn)備特征提取訓(xùn)練模型測(cè)試與評(píng)估實(shí)例：手寫(xiě)數(shù)字識(shí)別使用K近鄰算法對(duì)提取的特征進(jìn)行訓(xùn)練，得到分類(lèi)模型。從圖像中提取出能夠代表數(shù)字特征的數(shù)據(jù)，如形狀、紋理等。收集手寫(xiě)數(shù)字的圖像數(shù)據(jù)，并進(jìn)行預(yù)處理，如圖像大小歸一化、去噪等。使用測(cè)試數(shù)據(jù)集對(duì)模型進(jìn)行測(cè)試，評(píng)估模型的分類(lèi)準(zhǔn)確率、誤差率等指標(biāo)。04基于樸素貝葉斯分類(lèi)方法基于貝葉斯定理和特征條件獨(dú)立假設(shè)的分類(lèi)方法。通過(guò)計(jì)算樣本屬于各個(gè)類(lèi)別的概率，選擇概率最大的類(lèi)別作為樣本的所屬類(lèi)別。樸素貝葉斯算法原理包括三個(gè)主要步驟，分別是準(zhǔn)備階段、分類(lèi)器訓(xùn)練階段和分類(lèi)器應(yīng)用階段。在準(zhǔn)備階段，需要對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、特征提取等；在分類(lèi)器訓(xùn)練階段，使用訓(xùn)練數(shù)據(jù)集對(duì)分類(lèi)器進(jìn)行訓(xùn)練，得到各個(gè)類(lèi)別的先驗(yàn)概率和條件概率；在分類(lèi)器應(yīng)用階段，使用訓(xùn)練好的分類(lèi)器對(duì)測(cè)試數(shù)據(jù)集進(jìn)行分類(lèi)。樸素貝葉斯算法實(shí)現(xiàn)樸素貝葉斯算法原理及實(shí)現(xiàn)在樸素貝葉斯分類(lèi)中，特征選擇對(duì)于分類(lèi)器的性能具有重要影響。通過(guò)選擇合適的特征，可以提高分類(lèi)器的準(zhǔn)確性和效率。特征選擇的重要性常見(jiàn)的特征選擇方法包括基于統(tǒng)計(jì)的方法、基于信息論的方法和基于機(jī)器學(xué)習(xí)的方法等。這些方法可以幫助我們?nèi)コ幌嚓P(guān)或冗余的特征，保留對(duì)分類(lèi)結(jié)果有重要影響的特征。特征選擇的方法特征選擇對(duì)性能影響垃圾郵件識(shí)別問(wèn)題垃圾郵件識(shí)別是樸素貝葉斯分類(lèi)的一個(gè)典型應(yīng)用。通過(guò)訓(xùn)練一個(gè)樸素貝葉斯分類(lèi)器，我們可以對(duì)新的郵件進(jìn)行自動(dòng)分類(lèi)，識(shí)別出垃圾郵件和非垃圾郵件。實(shí)現(xiàn)步驟首先收集一組垃圾郵件和非垃圾郵件作為訓(xùn)練數(shù)據(jù)集，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和特征提取；然后使用樸素貝葉斯算法訓(xùn)練分類(lèi)器，得到各個(gè)類(lèi)別的先驗(yàn)概率和條件概率；最后使用訓(xùn)練好的分類(lèi)器對(duì)新的郵件進(jìn)行分類(lèi)，判斷其是否為垃圾郵件。實(shí)例：垃圾郵件識(shí)別05基于支持向量機(jī)分類(lèi)方法原理參數(shù)調(diào)優(yōu)訓(xùn)練模型評(píng)估模型選擇核函數(shù)數(shù)據(jù)預(yù)處理支持向量機(jī)（SVM）是一種監(jiān)督學(xué)習(xí)模型，用于數(shù)據(jù)分類(lèi)和回歸分析。它通過(guò)在高維空間中尋找一個(gè)超平面，使得不同類(lèi)別的樣本在該超平面上的投影距離最大化，從而實(shí)現(xiàn)分類(lèi)。包括數(shù)據(jù)清洗、特征提取和標(biāo)準(zhǔn)化等。根據(jù)數(shù)據(jù)類(lèi)型和問(wèn)題特點(diǎn)選擇合適的核函數(shù)。通過(guò)交叉驗(yàn)證等方法調(diào)整SVM參數(shù)，如懲罰因子C和核函數(shù)參數(shù)等。使用訓(xùn)練數(shù)據(jù)集對(duì)SVM模型進(jìn)行訓(xùn)練。使用測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估，計(jì)算準(zhǔn)確率、召回率等指標(biāo)。支持向量機(jī)原理及實(shí)現(xiàn)核函數(shù)選擇與參數(shù)調(diào)優(yōu)線(xiàn)性核適用于線(xiàn)性可分問(wèn)題，計(jì)算簡(jiǎn)單。多項(xiàng)式核適用于非線(xiàn)性問(wèn)題，可通過(guò)調(diào)整多項(xiàng)式次數(shù)控制模型復(fù)雜度。適用于大多數(shù)非線(xiàn)性問(wèn)題，具有較強(qiáng)的泛化能力。類(lèi)似于神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，適用于某些特定問(wèn)題。核函數(shù)選擇與參數(shù)調(diào)優(yōu)Sigmoid核高斯核（RBF）80%80%100%核函數(shù)選擇與參數(shù)調(diào)優(yōu)控制誤分類(lèi)的懲罰程度，C越大則對(duì)誤分類(lèi)的懲罰越重，模型越復(fù)雜。如多項(xiàng)式核的次數(shù)、高斯核的寬度等，影響模型的復(fù)雜度和泛化能力。通過(guò)交叉驗(yàn)證選擇合適的參數(shù)組合，以獲得最優(yōu)的模型性能。懲罰因子C核函數(shù)參數(shù)交叉驗(yàn)證數(shù)據(jù)準(zhǔn)備特征提取訓(xùn)練模型評(píng)估模型實(shí)例：文本情感分析收集文本數(shù)據(jù)并進(jìn)行預(yù)處理，如分詞、去除停用詞、詞向量表示等。利用詞袋模型、TF-IDF等方法提取文本特征。選擇合適的核函數(shù)和參數(shù)，使用訓(xùn)練數(shù)據(jù)集對(duì)SVM模型進(jìn)行訓(xùn)練。使用測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估，計(jì)算準(zhǔn)確率、召回率等指標(biāo)，并與其他算法進(jìn)行比較分析。06集成學(xué)習(xí)在分類(lèi)中應(yīng)用集成學(xué)習(xí)思想及常見(jiàn)方法集成學(xué)習(xí)思想：集成學(xué)習(xí)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來(lái)完成學(xué)習(xí)任務(wù)，有時(shí)也被稱(chēng)為多分類(lèi)器系統(tǒng)、基于委員會(huì)的學(xué)習(xí)等。Bagging：從原始數(shù)據(jù)集中自助采樣生成多個(gè)子數(shù)據(jù)集，對(duì)每個(gè)子數(shù)據(jù)集訓(xùn)練一個(gè)基學(xué)習(xí)器，然后將這些基學(xué)習(xí)器的結(jié)果結(jié)合。Boosting：從初始訓(xùn)練集訓(xùn)練一個(gè)基學(xué)習(xí)器，根據(jù)基學(xué)習(xí)器的表現(xiàn)對(duì)訓(xùn)練樣本分布進(jìn)行調(diào)整，使得先前基學(xué)習(xí)器做錯(cuò)的訓(xùn)練樣本在后續(xù)受到更多關(guān)注，然后基于調(diào)整后的樣本分布來(lái)訓(xùn)練下一個(gè)基學(xué)習(xí)器；如此重復(fù)進(jìn)行，直至基學(xué)習(xí)器數(shù)目達(dá)到事先指定的值T，最終將這T個(gè)基學(xué)習(xí)器進(jìn)行加權(quán)結(jié)合。Stacking：先訓(xùn)練出初級(jí)學(xué)習(xí)器，然后“生成”一個(gè)新數(shù)據(jù)集用于訓(xùn)練次級(jí)學(xué)習(xí)器。在這個(gè)新數(shù)據(jù)集中，初級(jí)學(xué)習(xí)器的輸出被當(dāng)作樣例輸入特征，而初始樣本的標(biāo)記仍被當(dāng)作樣例標(biāo)記。原理隨機(jī)森林是以決策樹(shù)為基學(xué)習(xí)器構(gòu)建Bagging集成的基礎(chǔ)上，進(jìn)一步在決策樹(shù)的訓(xùn)練過(guò)程中引入了隨機(jī)屬性選擇。特點(diǎn)簡(jiǎn)單、容易實(shí)現(xiàn)、計(jì)算開(kāi)銷(xiāo)??；在很多現(xiàn)實(shí)任務(wù)中展現(xiàn)出強(qiáng)大的性能；被譽(yù)為“代表集成學(xué)習(xí)技術(shù)水平的方法”。隨機(jī)森林和梯度提升樹(shù)介紹原理梯度提升樹(shù)是一種迭代的決策樹(shù)算法，該算法由多棵決策樹(shù)組成，所有樹(shù)的結(jié)論累加起來(lái)做最終答案。它在被提出之初就和SVM一起被認(rèn)為是泛化能力較強(qiáng)的算法。特點(diǎn)對(duì)于異常值的魯棒性非常強(qiáng)；在相對(duì)少的調(diào)參時(shí)間情況下，預(yù)測(cè)的準(zhǔn)備率也可以比較高；適用于低維數(shù)據(jù)和高維數(shù)據(jù)；可以做特征選擇。隨機(jī)森林和梯度提升樹(shù)介紹問(wèn)題背景信用卡欺詐是一個(gè)嚴(yán)重的問(wèn)題，數(shù)據(jù)挖掘技術(shù)可以幫助銀行識(shí)別潛在的欺詐行為。集成學(xué)習(xí)可以通過(guò)結(jié)合多個(gè)模型的預(yù)測(cè)結(jié)果來(lái)提高預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性，特別是在處理不平衡數(shù)據(jù)集（如信用卡欺詐數(shù)據(jù)，其中欺詐樣本通常遠(yuǎn)少于正常樣本）時(shí)表現(xiàn)優(yōu)異?？梢圆捎秒S機(jī)森林或梯度提升樹(shù)等集成學(xué)習(xí)方法來(lái)構(gòu)建分類(lèi)模型，通過(guò)訓(xùn)練模型來(lái)學(xué)習(xí)正常交易和欺詐交易的特征差異，進(jìn)而對(duì)新的交易進(jìn)行預(yù)測(cè)和分類(lèi)。應(yīng)用集成學(xué)習(xí)的優(yōu)勢(shì)具體實(shí)現(xiàn)實(shí)例：信用卡欺詐檢測(cè)07總結(jié)與展望VS直觀(guān)易懂，分類(lèi)速度快，適合處理非數(shù)值型數(shù)據(jù)。缺點(diǎn)容易過(guò)擬合，對(duì)連續(xù)屬性處理不好，類(lèi)別不平衡時(shí)影響較大。優(yōu)點(diǎn)各類(lèi)算法優(yōu)缺點(diǎn)比較分類(lèi)準(zhǔn)確度高，對(duì)缺失數(shù)據(jù)和噪聲數(shù)據(jù)有較好的健壯性。假設(shè)屬性之間相互獨(dú)立，實(shí)際中往往不成立。優(yōu)點(diǎn)缺點(diǎn)各類(lèi)算法優(yōu)缺點(diǎn)比較優(yōu)點(diǎn)分類(lèi)效果好，尤其在高維空間中表現(xiàn)優(yōu)異。缺點(diǎn)對(duì)參數(shù)和核函數(shù)選擇敏感，計(jì)算復(fù)雜度高。各類(lèi)算法優(yōu)缺點(diǎn)比較優(yōu)點(diǎn)可以處理復(fù)雜的非線(xiàn)性關(guān)系，具有強(qiáng)大的學(xué)習(xí)能力。要點(diǎn)一要點(diǎn)二缺點(diǎn)訓(xùn)練時(shí)間長(zhǎng)，容易陷入局部最優(yōu)解，對(duì)參數(shù)設(shè)置敏感。各類(lèi)算法優(yōu)缺點(diǎn)比較發(fā)展趨勢(shì)和前沿技術(shù)探討集成學(xué)習(xí)通過(guò)組合多個(gè)弱分類(lèi)器來(lái)構(gòu)建強(qiáng)分類(lèi)器，提高分類(lèi)精度和穩(wěn)