多元統(tǒng)計分析課件(聚類分析)

多元統(tǒng)計分析之聚類分析聚類分析的定義及應(yīng)用場景聚類分析是一種無監(jiān)督學(xué)習方法，它將數(shù)據(jù)點劃分為不同的組或簇，使同一簇中的數(shù)據(jù)點彼此相似，而不同簇中的數(shù)據(jù)點彼此不同?？蛻艏毞郑焊鶕?jù)客戶特征將客戶群體劃分為不同的子集，以便更好地理解和服務(wù)客戶。文檔分類：將文本文檔根據(jù)內(nèi)容相似性進行分類，例如將新聞文章分類為政治、體育、娛樂等。圖像分割：將圖像分割為不同的區(qū)域，例如將圖像中的物體從背景中分離出來。聚類分析的特點與優(yōu)勢數(shù)據(jù)挖掘聚類分析是一種無監(jiān)督學(xué)習技術(shù)，可以幫助發(fā)現(xiàn)數(shù)據(jù)集中隱藏的結(jié)構(gòu)和模式。分組將相似的數(shù)據(jù)點分組，以便更好地理解和分析數(shù)據(jù)，從而做出更明智的決策。自動發(fā)現(xiàn)無需預(yù)先設(shè)定分類標簽，聚類算法可以自動識別數(shù)據(jù)中的相似性，從而進行分組。聚類分析的基本原理相似性度量通過計算樣本之間的距離或相似度來衡量它們之間的親近程度。聚類規(guī)則根據(jù)相似性度量結(jié)果，將樣本劃分到不同的類別或組中。優(yōu)化目標尋找最佳的聚類方案，使得同一類別內(nèi)的樣本相似度最大化，而不同類別之間的樣本相似度最小化。聚類分析的一般步驟1數(shù)據(jù)準備數(shù)據(jù)清洗、預(yù)處理2選擇距離度量根據(jù)數(shù)據(jù)類型選擇合適的距離度量3選擇聚類算法根據(jù)數(shù)據(jù)特點選擇合適的聚類算法4確定聚類數(shù)量使用肘部法則或輪廓系數(shù)等方法5結(jié)果評估評估聚類結(jié)果的有效性和穩(wěn)定性距離度量的幾種方式歐氏距離最常用的距離度量，基于直線距離計算。曼哈頓距離基于坐標軸方向上的距離計算，常用于城市街區(qū)距離測量。明氏距離歐氏距離和曼哈頓距離的泛化，可通過參數(shù)控制距離的計算方式。Euclidean距離2維度兩個點之間的距離√計算平方根∑加和各維度差值的平方Minkowski距離公式D(x,y)=(∑i=1n|xi-yi|p)1/p參數(shù)x,y：兩個數(shù)據(jù)點；p：冪參數(shù)應(yīng)用p=1：曼哈頓距離；p=2：歐氏距離Pearson相關(guān)系數(shù)定義Pearson相關(guān)系數(shù)，也稱皮爾遜積矩相關(guān)系數(shù)，用來衡量兩個變量之間的線性相關(guān)程度。取值范圍為-1到1，正值表示正相關(guān)，負值表示負相關(guān)，0表示不相關(guān)。計算公式r=Σ[(Xi-X?)(Yi-?)]/√[Σ(Xi-X?)2Σ(Yi-?)2]其中，Xi和Yi分別表示兩個變量的第i個樣本值，X?和?分別表示兩個變量的平均值。層次聚類方法1自下而上凝聚聚類算法，從單個樣本開始，逐步合并相似樣本，形成更大的簇。2自上而下分裂聚類算法，從所有樣本構(gòu)成一個簇開始，逐步將不相似樣本劃分到不同的簇中。凝聚聚類算法自下而上將每個樣本視為一個獨立的類，逐步合并距離最近的兩個類，直至所有樣本聚集成一個類。層次分明形成一個層次化的樹狀結(jié)構(gòu)，可以根據(jù)需要在不同層次上劃分樣本。易于可視化通過樹狀圖直觀展示聚類過程，方便理解和分析結(jié)果。分裂聚類算法自上而下從所有數(shù)據(jù)點開始，并將它們視為一個單一簇。然后根據(jù)某個準則將這個簇分裂成兩個子簇。遞歸分裂對每個子簇重復(fù)分裂過程，直到滿足某個停止條件，例如簇的數(shù)量達到預(yù)設(shè)值或簇內(nèi)方差小于某個閾值。典型算法常見的分裂聚類算法包括二分K均值算法(bisectingk-means)和基于方差的劃分算法(variance-basedpartitioning)。k-means算法的原理1隨機初始化隨機選取k個數(shù)據(jù)點作為初始聚類中心2分配樣本計算每個樣本點到所有聚類中心的距離，將其分配到距離最近的聚類中心所在的簇中3更新中心重新計算每個簇中所有樣本點的平均值，作為新的聚類中心4迭代更新重復(fù)步驟2和3，直到聚類中心不再發(fā)生明顯變化k-means算法的特點速度快，尤其在處理大數(shù)據(jù)集時。易于理解和實現(xiàn)，不需要調(diào)整過多的參數(shù)。對球形或橢圓形聚類效果較好。k-means算法的實現(xiàn)過程1初始化隨機選擇k個數(shù)據(jù)點作為初始聚類中心。2分配將每個數(shù)據(jù)點分配到距離其最近的聚類中心所在的簇。3更新重新計算每個簇的中心點，將其設(shè)置為該簇中所有數(shù)據(jù)點的平均值。4迭代重復(fù)步驟2和3，直到聚類中心不再發(fā)生明顯變化。確定聚類數(shù)量k的方法肘部法則該方法根據(jù)不同的k值，計算相應(yīng)的誤差平方和（SSE），并在圖像中繪制SSE與k的關(guān)系曲線。SSE通常會隨著k值的增加而減小，但是當k值達到最佳值時，SSE的下降速度會明顯減緩，形成一個“肘部”。輪廓系數(shù)該方法計算每個樣本點與所屬簇中其他樣本點的平均距離（a）和與其他簇中樣本點的平均距離（b），并定義輪廓系數(shù)為（b-a）/max（a，b）。輪廓系數(shù)越大表示聚類效果越好。凝聚系數(shù)和輪廓系數(shù)指標描述凝聚系數(shù)表示同一簇內(nèi)樣本間的緊密程度，數(shù)值越大，聚類效果越好。輪廓系數(shù)衡量樣本點與其所屬簇的相似度，數(shù)值越大，聚類效果越好。評價聚類效果的指標1輪廓系數(shù)衡量每個樣本點與其所屬簇的相似度，以及與其他簇的差異度，數(shù)值越大越好，表明聚類效果越好。2蘭德指數(shù)通過比較實際聚類結(jié)果和真實標簽，計算一致性，數(shù)值越大越好，表明聚類結(jié)果與真實標簽越接近。3卡爾林斯基-哈拉巴斯指數(shù)衡量簇間距離和簇內(nèi)距離，數(shù)值越大越好，表明簇內(nèi)樣本距離越近，簇間樣本距離越遠。4密度指標評估每個簇的緊密程度，即簇內(nèi)樣本點的密集程度，密度越高，聚類效果越好。無監(jiān)督學(xué)習VS有監(jiān)督學(xué)習有監(jiān)督學(xué)習有標簽數(shù)據(jù)，算法學(xué)習標簽和數(shù)據(jù)之間的關(guān)系。例如，分類和回歸問題。無監(jiān)督學(xué)習無標簽數(shù)據(jù)，算法從數(shù)據(jù)中發(fā)現(xiàn)模式。例如，聚類分析和降維。聚類分析案例1：客戶細分客戶細分是將客戶群劃分為不同組，以滿足特定需求。例如，企業(yè)可以使用聚類分析將客戶群分為高價值、中價值和低價值客戶，并針對每個組制定不同的營銷策略。聚類分析案例2：商品分組基于商品屬性（價格、品牌、類別等），將相似商品分組，方便商品陳列、促銷策略制定和庫存管理。例如，將同一品牌的服裝、同一價位的商品、同一類別的商品等進行分組，便于消費者快速找到目標商品，提升購物體驗。聚類分析案例3：圖像分割圖像分割是將圖像分成多個區(qū)域的過程，每個區(qū)域具有相似的特征，例如顏色、紋理或形狀。聚類分析可以用于圖像分割，將像素分組到不同的類中，從而形成不同的區(qū)域。例如，可以使用聚類分析將圖像中的背景和前景分開，或?qū)D像中的不同物體分開。在醫(yī)學(xué)圖像分析、自動駕駛等領(lǐng)域，圖像分割技術(shù)具有廣泛的應(yīng)用。聚類分析的優(yōu)缺點總結(jié)優(yōu)點無需人工標注數(shù)據(jù)，可自動發(fā)現(xiàn)數(shù)據(jù)中的潛在結(jié)構(gòu)和模式?？梢杂糜趯Υ笮蛿?shù)據(jù)集進行分類和分析，并可以幫助用戶理解數(shù)據(jù)的分布特征。缺點聚類結(jié)果的質(zhì)量取決于數(shù)據(jù)的特征和選擇的聚類算法?？赡艽嬖趯Ξ惓Ｖ档拿舾行裕瑢?dǎo)致聚類結(jié)果不穩(wěn)定。難以確定最佳的聚類數(shù)量和聚類方法。聚類分析與其他算法的結(jié)合1增強學(xué)習聚類分析可用于識別環(huán)境狀態(tài)，為強化學(xué)習提供信息。2深度學(xué)習深度學(xué)習模型可以應(yīng)用于特征提取，提高聚類結(jié)果的準確性。3決策樹聚類分析可以作為決策樹算法的預(yù)處理步驟，將數(shù)據(jù)劃分成更小的子集。聚類分析在實際應(yīng)用中的技巧選擇合適的距離度量根據(jù)數(shù)據(jù)的類型和特征選擇合適的距離度量，如歐式距離、曼哈頓距離、余弦距離等。確定最佳聚類數(shù)量通過肘部法則、輪廓系數(shù)等方法來評估聚類數(shù)量，選擇最優(yōu)的聚類結(jié)果。處理異常值異常值會影響聚類結(jié)果，需要進行預(yù)處理，例如刪除或替換異常值。評估聚類效果使用合適的指標評估聚類效果，例如輪廓系數(shù)、蘭德指數(shù)等。聚類分析發(fā)展趨勢展望人工智能融合與人工智能技術(shù)結(jié)合，實現(xiàn)更加智能化、自動化的聚類分析。大數(shù)據(jù)處理處理海量數(shù)據(jù)，提升聚類分析的效率和準確性。云