機(jī)器學(xué)習(xí)算法-KMEANS算法原理及阿里云PAI平臺(tái)算法模塊參數(shù)說明

概述KMEANS算法又被成為K均值算法，是一種常用的聚類算法，由于不需要根據(jù)給定的訓(xùn)練集訓(xùn)練模型因此是一種無監(jiān)督學(xué)習(xí)算法。其本質(zhì)是根據(jù)選定的參數(shù)K將數(shù)據(jù)分類成K類，在聚類過程中從單一樣本開始通過不斷計(jì)算聚類數(shù)據(jù)的均值來作為整個(gè)類的中心進(jìn)而再將距離此類別中心最近的數(shù)據(jù)納入同一類。算法原理:1、以下圖樣本散點(diǎn)圖展示數(shù)據(jù)集的整體分布情況2、K值是KMEANS最重要的選擇參數(shù)，直接決定著數(shù)據(jù)聚類的類別數(shù)量，在選擇K值后，會(huì)在數(shù)據(jù)中隨機(jī)選擇K個(gè)數(shù)據(jù)樣本最為初始中心點(diǎn)，如K=3,則結(jié)果如下圖所示

3、計(jì)算和中心點(diǎn)距離最近的點(diǎn)，將其歸入同類4、每個(gè)類別當(dāng)有了兩個(gè)以上的數(shù)據(jù)時(shí)，類的中心就會(huì)發(fā)生變化，因此類中一旦有新的數(shù)據(jù)被劃入時(shí)就需要重新計(jì)算整個(gè)類的中心點(diǎn)，這一步的計(jì)算也是整個(gè)算法的核心，所以稱為K均值算法5、通過幾步計(jì)算之后的結(jié)果，能夠更直觀的展示出類的聚合情況和中心點(diǎn)的位置情況

6、判斷聚類過程結(jié)束的標(biāo)準(zhǔn)有兩個(gè)，一是中心點(diǎn)的位置不再發(fā)生變化，即結(jié)果收斂；二是執(zhí)行了最夠多次的迭代次數(shù)（通俗可以理解為計(jì)算了幾次中心點(diǎn)位置）注意事項(xiàng)：1、K值是整個(gè)算法中最重要的參數(shù)，但是也是最不好確定的參數(shù)，如果需要比較好的確定K值，需要采用其他驗(yàn)證算法，如計(jì)算樣本離最近聚類中心的總和，總和越小，則聚類的效果越好；輪廓系數(shù)，輪廓系數(shù)的范圍為-1至1之間，數(shù)字越大則聚類效果越好；蘭德指數(shù)，范圍為-1至1之間，數(shù)字越大則聚類效果越好；同質(zhì)化得分，如果所有的聚類都只包含屬于單個(gè)類的成員的數(shù)據(jù)點(diǎn)則聚類結(jié)果將滿足同質(zhì)性，其取值范圍為0至1之間，值越大意味著聚類結(jié)果與真實(shí)情況越吻合。2、以上驗(yàn)證方法雖然對(duì)于確定K值有效，但是驗(yàn)證過程需要額外的計(jì)算力資源，并且占用的計(jì)算力接近于聚類過程所需要的計(jì)算力資源，數(shù)據(jù)集如果較大，則計(jì)算力的消耗會(huì)產(chǎn)生疊加效應(yīng)。3、較為簡(jiǎn)易的方法為，從數(shù)據(jù)集中隨機(jī)抽取部分小規(guī)模數(shù)據(jù)，以散點(diǎn)圖等可視化手段來觀察數(shù)據(jù)的可能聚類數(shù)量，以此來判斷K的取值。這種方法可以認(rèn)為是經(jīng)驗(yàn)法的一種表現(xiàn)形式，相比經(jīng)驗(yàn)法的完全定性分析，隨機(jī)抽取數(shù)據(jù)觀察能夠在經(jīng)驗(yàn)的基礎(chǔ)上增加定量的分析部分，雖然隨機(jī)抽取的數(shù)據(jù)也可能有誤差，但是抽取的數(shù)據(jù)量越多，則準(zhǔn)確度越高。4、因?yàn)槌跏嫉闹行狞c(diǎn)選擇是根據(jù)K的值隨機(jī)選擇K個(gè)點(diǎn)，所以選擇的隨機(jī)性加上迭代過程造成算法的結(jié)果只是局部最優(yōu)解，畢竟反復(fù)的計(jì)算最短距離的點(diǎn)和類的中心都是在局部已經(jīng)聚合的類的基礎(chǔ)上進(jìn)行的，而不是從全局的范圍進(jìn)行。算法使用場(chǎng)景：1、隱含類別的數(shù)據(jù)較為平衡的情況，如隱含類別的數(shù)據(jù)量差別較大，則聚類的效果就較差。2、數(shù)據(jù)最好是凸數(shù)據(jù)，即隱含類別間的差異越大，則聚類效果越好，因?yàn)橹行狞c(diǎn)不再變化所需要的迭代次數(shù)較少，比較容易收斂。3、一般作為數(shù)據(jù)預(yù)處理，或者用于輔助分類貼標(biāo)簽使用，因?yàn)樵谝呀?jīng)經(jīng)過分類的數(shù)據(jù)上再進(jìn)行聚類，準(zhǔn)確度會(huì)非常高。阿里云PAI平臺(tái)算法模塊及參數(shù)設(shè)置說明：inputTableName：輸入表表名selectedColNames:輸入表中用于訓(xùn)練的列名，默認(rèn)選擇所有列即仇丁2?0「2代讓加$:輸入表中指定哪些分區(qū)參與訓(xùn)練，默認(rèn)選擇所有分區(qū)centerCount：聚類數(shù)K,是算法中最重要的參數(shù)，決定數(shù)據(jù)的聚類數(shù)量loop：最大迭代次數(shù)，算法中非常重要的參數(shù)，當(dāng)最大迭代次數(shù)到達(dá)但是仍然無法收斂時(shí)，則停止計(jì)算accuracy：中心點(diǎn)計(jì)算終止條件，如果兩次迭代之間變化低于該值，算法終止，默認(rèn)值0.0，值過大則會(huì)出現(xiàn)欠擬合情況，值較小則中心點(diǎn)容易在小范圍間變化造成計(jì)算結(jié)果無法收斂distanceType：距離度量方式，euclidean（歐式距離），cosine（夾角余弦），cityblock^哈頓距離），默認(rèn)為歐式距離舊工0位0W0坨。~：質(zhì)心初始化方法，random（隨機(jī)采樣），topk（輸入表前k行），uniform（均勻分布），external（指定初始質(zhì)心表），默認(rèn)值為隨機(jī)采樣initCenterTableName：初始質(zhì)心表名，當(dāng)質(zhì)心初始化方法采用指定初始質(zhì)心表方式時(shí)采用seed：初始隨機(jī)種子數(shù)，正整數(shù)，默認(rèn)值為當(dāng)前時(shí)間，seed設(shè)置為固定值則每次聚類結(jié)果是穩(wěn)定的enableSparse：輸入表數(shù)據(jù)是否為稀疏格式，默認(rèn)值為非稀疏格式itemDelimiter：當(dāng)輸入表數(shù)據(jù)為稀疏格式時(shí)，kv間的分割符，默認(rèn)值為空格★Delimiter：當(dāng)輸入表數(shù)據(jù)為稀疏格式時(shí)，key和value的分割符，默認(rèn)值冒號(hào)modelName：輸出模型的模型名idxTableName：輸出聚類結(jié)果表，和輸入表對(duì)應(yīng)，并指明聚類后每條記錄所屬的類號(hào)idxTablePartition：輸出聚類結(jié)果表的分區(qū)表名clusterCountTableName：輸出聚類統(tǒng)計(jì)表，統(tǒng)計(jì)各個(gè)聚類包含的點(diǎn)的數(shù)目centerTableName：輸出聚類中心表coreNum