Python高級(jí)數(shù)據(jù)建模分析課件

1、高級(jí)數(shù)據(jù)建模分析Python數(shù)據(jù)處理、分析、可視化與數(shù)據(jù)化運(yùn)營07第1頁，共147頁。本章學(xué)習(xí)目標(biāo)了解常用的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的概念和應(yīng)用場景掌握運(yùn)用常見機(jī)器學(xué)習(xí)算法解決實(shí)際項(xiàng)目問題的能力掌握不同算法評(píng)估的主要方法熟悉常見的用于機(jī)器學(xué)習(xí)的數(shù)據(jù)預(yù)處理工作和技巧了解如何將機(jī)器學(xué)習(xí)與日常應(yīng)用結(jié)合并推動(dòng)結(jié)果落地掌握如何通過可視化展示機(jī)器學(xué)習(xí)結(jié)果的方法第2頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征聚類的概念算法引言聚類是數(shù)據(jù)挖掘和計(jì)算的基本任務(wù)，它將大量數(shù)據(jù)集中具有“相似”特征的數(shù)據(jù)點(diǎn)或樣本劃分為一個(gè)類別。聚類分析的基本思想是“物以類聚、人以群分”，因此大量的數(shù)據(jù)集中必然存在相似

2、的數(shù)據(jù)樣本，基于這個(gè)假設(shè)就可以將數(shù)據(jù)區(qū)分出來，并發(fā)現(xiàn)不同類的特征。第3頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征聚類的應(yīng)用場景算法引言聚類常用于數(shù)據(jù)探索或挖掘前期，在沒有做先驗(yàn)經(jīng)驗(yàn)的背景下做的探索性分析也適用于樣本量較大情況下的數(shù)據(jù)預(yù)處理工作。第4頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征聚類的常用算法算法引言基于劃分、層次、密度、網(wǎng)格、統(tǒng)計(jì)學(xué)、模型等類型的算法典型算法包括K均值（經(jīng)典的聚類算法）、DBSCAN、兩步聚類、BIRCH、譜聚類等第5頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征業(yè)務(wù)需求案例背景業(yè)務(wù)部門拿了一些關(guān)于用戶的數(shù)據(jù)找

3、到數(shù)據(jù)部門，苦于沒有分析入手點(diǎn)，希望數(shù)據(jù)部門通過分析給業(yè)務(wù)部門一些啟示或者提供后續(xù)分析或業(yè)務(wù)思考的建議。第6頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征需求解讀案例背景（1）探索性數(shù)據(jù)分析的任務(wù)，且業(yè)務(wù)方?jīng)]有任何先驗(yàn)經(jīng)驗(yàn)給到數(shù)據(jù)部門。（2）這次的分析結(jié)果，用于做業(yè)務(wù)的知識(shí)啟發(fā)或后續(xù)分析的深入應(yīng)用。（3）業(yè)務(wù)希望得到的是他們自己無法認(rèn)知到，且自身無法實(shí)現(xiàn)的數(shù)據(jù)知識(shí)。第7頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征從CRM數(shù)據(jù)獲取，數(shù)據(jù)共1000條記錄、5列字段，沒有缺失值，具體如下：數(shù)據(jù)源概述（1）USER_ID：用戶ID列，整數(shù)型。該列為用戶數(shù)據(jù)分析師唯一I

4、D標(biāo)志。（2）AVG_ORDERS：平均用戶訂單數(shù)量，浮點(diǎn)型。（3）AVG_MONEY：平均訂單價(jià)值，浮點(diǎn)型。（4）IS_ACTIVE：是否活躍，以0-1來表示結(jié)果，數(shù)值型。（5）SEX：性別，以0-1來標(biāo)識(shí)性別男和女，數(shù)值型。第8頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征數(shù)據(jù)源關(guān)鍵信息點(diǎn)數(shù)據(jù)源概述（1）分割I(lǐng)D列，ID列不能直接參與特征計(jì)算。（2） IS_ACTIVE和SEX代表是一個(gè)分類型變量，但由于使用0和1來標(biāo)記數(shù)據(jù)，因此可直接參與計(jì)算。如果使用0-1-2甚至更多分類數(shù)值索引，則需要單獨(dú)做處理。（3）AVG_ORDERS和AVG_MONEY具有明顯的量綱差異，如果直

5、接做相似度計(jì)算，那么結(jié)果會(huì)直接受到量綱的影響，因此需要做量綱歸一化或標(biāo)準(zhǔn)化處理。第9頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征導(dǎo)入庫案例過程import pandas as pd # panda庫from sklearn.preprocessing import MinMaxScaler # 標(biāo)準(zhǔn)化庫from sklearn.cluster import KMeans # 導(dǎo)入sklearn聚類模塊from sklearn.metrics import silhouette_score # 效果評(píng)估模塊第10頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征讀取

6、數(shù)據(jù)案例過程cluster_data = pd.read_excel(demo.xlsx,sheet_name=0,index_col=USER_ID)print(cluster_data.head(3)第11頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征數(shù)據(jù)預(yù)處理案例過程scaler = MinMaxScaler() scaled_features = scaler.fit_transform(cluster_data) # 標(biāo)準(zhǔn)化 print(scaled_features:2,:) 第12頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征用戶聚類案例過程mod

7、el_kmeans = KMeans(n_clusters=3, random_state=0) # 建立聚類模型對(duì)象model_kmeans.fit(scaled_features) # 訓(xùn)練聚類模型設(shè)置聚類數(shù)量為3random_state為0第13頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征模型評(píng)估案例過程n_samples, n_features = cluster_data.shape # print(samples: %d t features: %d % (n_samples, n_features) # silhouette = silhouette_score

8、(scaled_features, model_kmeans.labels_, metric=euclidean) # 使用輪廓系數(shù)（Silhouette）檢驗(yàn)聚類模型的質(zhì)量結(jié)果print(silhouette score:,silhouette) # 第14頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征組合原始數(shù)據(jù)與標(biāo)簽案例過程kmeans_labels = pd.DataFrame(model_kmeans.labels_,index=cluster_data.index,columns=labels) # kmeans_data = pd.concat(cluster_d

9、ata,kmeans_labels),axis=1) # 將原始數(shù)據(jù)框和聚類結(jié)果數(shù)據(jù)框按列合并print(kmeans_data.head(3) # 第15頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征基于聚類群組匯總特征案例過程radar_gb = kmeans_data.groupby(labels,as_index=False).mean()print(radar_gb)第16頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征基于聚類群組匯總特征案例過程radar_gb.plot(kind=bar, x=labels,y=AVG_ORDERS,AVG_MONE

10、Y,IS_ACTIVE,SEX, figsize=(10, 4),logy=True, title=不同聚類分組結(jié)果對(duì)比)第17頁，共147頁。7.1使用KMeans聚類算法挖掘用戶潛在特征用戶的各類別情況用戶特征分析（1）Labels值為0（命名為A組）的群組特征是平均訂單量和平均訂單價(jià)值較低，活躍度一般的群體，主要是男性用戶。（2）Labels值為1（命名為B組）的群組特征是平均訂單量和平均訂單價(jià)值較高，活躍度低（甚至是不活躍），主要是女性用戶。（3）Labels值為2（命名為C組）的群組特征是平均訂單量和平均訂單價(jià)值比B組略低，活躍度很高，主要是女性用戶。第18頁，共147頁。7.2 使

11、用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化分類的概念算法引言分類算法通過對(duì)已知類別訓(xùn)練集的計(jì)算和分析，從中發(fā)現(xiàn)類別規(guī)則并預(yù)測新數(shù)據(jù)的類別。分類算法是解決分類問題的方法，是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和模式識(shí)別中一個(gè)重要的研究領(lǐng)域。第19頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化分類的應(yīng)用場景算法引言分類的主要用途和場景是“預(yù)測”，基于已有的樣本預(yù)測新樣本的所屬類別。例如信用評(píng)級(jí)、風(fēng)險(xiǎn)等級(jí)、欺詐預(yù)測等；同時(shí)，它也是模式識(shí)別的重要組成部分，廣泛應(yīng)用到機(jī)器翻譯，人臉識(shí)別、醫(yī)學(xué)診斷、手寫字符識(shí)別、指紋識(shí)別的圖像識(shí)別、語音識(shí)別、視頻識(shí)別的領(lǐng)域。分類算法也可以用于知識(shí)抽取，通過模型找到潛在的規(guī)律，幫助業(yè)務(wù)得到

12、可執(zhí)行的規(guī)則。第20頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化分類的常用算法算法引言素貝葉斯、邏輯回歸、決策樹、隨機(jī)森林、支持向量機(jī)、GBDT、XGboost等第21頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化業(yè)務(wù)需求案例背景業(yè)務(wù)方希望數(shù)據(jù)部門能對(duì)轉(zhuǎn)化用戶做分析，然后找到轉(zhuǎn)化用戶的典型特征，即哪些特征對(duì)于轉(zhuǎn)化用戶最重要，然后針對(duì)這些特征做特定的業(yè)務(wù)動(dòng)作。同時(shí)，對(duì)一些新的用戶做預(yù)測，得到其轉(zhuǎn)化的可能性和是否會(huì)轉(zhuǎn)化。第22頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化需求解讀案例背景（1）其中包含特征提取的分析工作，目標(biāo)交付物是特征重要性。（2）需要預(yù)測得

13、到用戶的轉(zhuǎn)化概率和轉(zhuǎn)化標(biāo)簽兩個(gè)信息。因此，經(jīng)過梳理后，我們決定使用決策樹的分類算法來實(shí)現(xiàn)。第23頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化從促銷活動(dòng)系統(tǒng)和CRM系統(tǒng)獲取，數(shù)據(jù)共725條記錄、12個(gè)字段列，并含有缺失值，具體如下：數(shù)據(jù)源概述（1）USER_ID：用戶ID。（2）LIMIT_INFOR：用戶購買范圍限制類型，分類型數(shù)值索引。（3）CAMPAIGN_TYPE：用戶對(duì)應(yīng)的促銷活動(dòng)的類型，分類型數(shù)值索引。（4）CAMPAIGN_LEVEL：用戶對(duì)應(yīng)的促銷活動(dòng)的等級(jí)，分類型數(shù)值索引。（5）PRODUCT_LEVEL：活動(dòng)對(duì)應(yīng)的產(chǎn)品等級(jí)，分類型數(shù)值索引。第24頁，共147頁。

14、7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化從促銷活動(dòng)系統(tǒng)和CRM系統(tǒng)獲取，數(shù)據(jù)共725條記錄、12個(gè)字段列，并含有缺失值，具體如下：數(shù)據(jù)源概述（6）RESOURCE_AMOUNT：商品資源對(duì)應(yīng)的備貨數(shù)量，以千為單位，數(shù)值型。（7）EMAIL_RATE：用戶歷史上的email打開率，浮點(diǎn)型。（8）PRICE：商品對(duì)應(yīng)的價(jià)格，數(shù)值型。（9）DISCOUNT_RATE：商品對(duì)應(yīng)的折扣率，浮點(diǎn)型。第25頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化從促銷活動(dòng)系統(tǒng)和CRM系統(tǒng)獲取，數(shù)據(jù)共725條記錄、12個(gè)字段列，并含有缺失值，具體如下：數(shù)據(jù)源概述（10）HOUR_RESOUCES：商品資源

15、售賣的時(shí)間，以小時(shí)計(jì)，數(shù)值型。（11）CAMPAIGN_FEE：商品對(duì)應(yīng)的促銷活動(dòng)費(fèi)用。（12）ORDERS：是否會(huì)產(chǎn)生訂單轉(zhuǎn)化，轉(zhuǎn)化為1，否則為0。第26頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化數(shù)據(jù)源關(guān)鍵信息點(diǎn)數(shù)據(jù)源概述其中ORDERS 為目標(biāo)字段；LIMIT_INFOR,CAMPAIGN_TYPE,CAMPAIGN_LEVEL,PRODUCT_LEVEL,RESOURCE_AMOUNT為分類型變量，雖然是數(shù)值型索引，但并不是連續(xù)性屬性，后續(xù)處理時(shí)需要注意其余字段為數(shù)值型字段。第27頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化導(dǎo)入庫案例過程import pan

16、das as pdfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, f1_score, precision_score, recall_score第28頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化讀取數(shù)據(jù)案例過程tree_data = pd.read_excel(demo.xlsx,sheet_name=1,index_col=USER_ID)x

17、,y = tree_data.iloc:,:-1,tree_data.iloc:,-1print(tree_data.head(1)第29頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化數(shù)據(jù)預(yù)處理案例過程null_val = x.isnull().any(axis=0) # print(null_valnull_val=True) # x = x.fillna(x.mean() # x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=.3, random_state=0) # 將x和y按照訓(xùn)練集70%

18、、測試集30%的比例拆分?jǐn)?shù)據(jù)為訓(xùn)練集和測試第30頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化訓(xùn)練模型案例過程model_tree = DecisionTreeClassifier(max_depth=4,class_weight=balanced) # model_tree.fit(x_train, y_train) # pre_y = model_tree.predict(x_test) # max_depth指定樹最大深度為4，通過class_weight=balanced設(shè)置根據(jù)不同的類別的樣本量分布自動(dòng)平衡權(quán)重，該方法常用于樣本不均衡分布的場景第31頁，共147頁。7.2

19、 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化模型評(píng)估案例過程metrics = accuracy_score,precision_score,recall_score,f1_score # scores = i(y_test, pre_y) for i in metrics # 使用列表推導(dǎo)式，依次計(jì)算每個(gè)回歸評(píng)估指標(biāo)結(jié)果columns = i._name_ for i in metrics # 基于函數(shù)的_name_屬性得到函數(shù)名scores_pd = pd.DataFrame(scores,index=columns).T # print(scores_pd) # 第32頁，共147頁。7.2 使

20、用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化模型評(píng)估案例過程（1） accuracy_score：準(zhǔn)確率（Accuracy），分類模型的預(yù)測結(jié)果中將正例預(yù)測為正例、將負(fù)例預(yù)測為負(fù)例的比例，取值范圍0,1，值越大說明分類結(jié)果越準(zhǔn)確。（2） precision_score：精確度（Precision），分類模型的預(yù)測結(jié)果中將正例預(yù)測為正例的比例，取值范圍0,1，值越大說明分類結(jié)果越準(zhǔn)確。第33頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化模型評(píng)估案例過程（3） recall_score：召回率（Recall），分類模型的預(yù)測結(jié)果被正確預(yù)測為正例占總的正例的比例，取值范圍0,1，值越大說明分類結(jié)果越

21、準(zhǔn)確。（4） f1_score：F1得分（F-score），準(zhǔn)確度和召回率的調(diào)和均值，取值范圍0,1，值越大說明分類結(jié)果越準(zhǔn)確。第34頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化展示特征重要性案例過程feature_pd = pd.Series(model_tree.feature_importances_,index=x.columns)feature_pd.sort_values().plot(kind=barh,figsize=(10, 4), title=特征重要性評(píng)估)第35頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化重新訓(xùn)練模型并預(yù)測案例過程new_da

22、ta = pd.read_csv(tree.txt,index_col=USER_ID) # model_tree.fit(x,y) # print(model_tree.predict(new_data) # proba_data = pd.DataFrame(model_tree.predict_proba(new_data),columns=model_tree.classes_) # print(proba_data) # 在模型效果確認(rèn)相對(duì)較好的前提下，使用完整的數(shù)據(jù)集做訓(xùn)練，能夠獲得更完整的數(shù)據(jù)信息，因此這里重新訓(xùn)練模型再對(duì)新數(shù)據(jù)做預(yù)測。第36頁，共147頁。7.2 使用CART預(yù)

23、測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化重新訓(xùn)練模型并預(yù)測案例過程第37頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化預(yù)測的predict和predict_proba方法分析用戶的轉(zhuǎn)化可能性predict用來預(yù)測用戶的最終結(jié)果類別屬于哪一類，如屬于第一類還是第二類predict_proba方法預(yù)測得到的結(jié)果是用戶屬于每一類的概率，有幾個(gè)預(yù)測類別就有幾列預(yù)測概率。第38頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化預(yù)測的predict和predict_proba方法分析用戶的轉(zhuǎn)化可能性一般情況下，用戶屬于哪個(gè)類別基于50%的基準(zhǔn)閾值做劃分，以本案例為例，當(dāng)屬于0這個(gè)類別的概率大于50%時(shí)則分

24、類為0，否則分類為1。兩種方法結(jié)合起來，predict得到的分類結(jié)合說明了用戶的分類，而predict_proba則說明了用戶有多大程度上屬于這一類，90%的概率和60%雖然在predict會(huì)得到相同的預(yù)測結(jié)果，但是90%的概率卻在程度上要遠(yuǎn)高于另一個(gè)，即顯示出“非常確認(rèn)”的可信度。第39頁，共147頁。7.2 使用CART預(yù)測用戶是否會(huì)產(chǎn)生轉(zhuǎn)化結(jié)論分析用戶的轉(zhuǎn)化可能性每個(gè)用戶在轉(zhuǎn)化可能性上，都是“比較確信”用戶不會(huì)轉(zhuǎn)化，因?yàn)槠錇?的概率是60%70%左右，雖然比50%基準(zhǔn)值高，但也沒有到80%甚至以上的“非常確認(rèn)”的程度。第40頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV回歸的

25、概念算法引言回歸是研究自變量x對(duì)因變量y影響的一種數(shù)據(jù)分析方法。最簡單的回歸模型是一元線性回歸（只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示），可以表示為Y=0+1x+，其中Y為因變量，x為自變量，1為影響系數(shù)，0為截距，為隨機(jī)誤差。第41頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV回歸的應(yīng)用場景算法引言回歸分析是廣泛應(yīng)用的統(tǒng)計(jì)分析方法，可用于分析自變量和因變量的影響關(guān)系（通過自變量求因變量），也可以分析自變量對(duì)因變量的影響方向（正向影響還是負(fù)向影響）?；貧w分析的主要應(yīng)用場景是進(jìn)行預(yù)測和控制，如計(jì)劃制訂、KPI制定、目標(biāo)制定等方面；也可以基于預(yù)測的數(shù)據(jù)與實(shí)際數(shù)據(jù)

26、進(jìn)行比對(duì)和分析，確定事件發(fā)展程度并給未來行動(dòng)提供方向性指導(dǎo)。第42頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV回歸的常用算法算法引言線性回歸、二項(xiàng)式回歸、對(duì)數(shù)回歸、指數(shù)回歸、核SVM、嶺回歸、Lasso等。第43頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV業(yè)務(wù)需求案例背景在做大型活動(dòng)促銷前一天的上午，業(yè)務(wù)方得到了一些數(shù)據(jù)，想要基本現(xiàn)有的數(shù)據(jù)做些預(yù)測UV數(shù)。但限制條件是，1個(gè)小時(shí)之內(nèi)必須給出結(jié)果，在線等，挺急的！第44頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV需求解讀案例背景（1）這是一次回歸任務(wù)，目標(biāo)是預(yù)測數(shù)值。（2）由于時(shí)間緊任務(wù)重，因此無法通過非

27、常深入的觀察、探索性分析、深入的算法選擇和參數(shù)調(diào)優(yōu)等方式得到最優(yōu)結(jié)果，因此必須在有限時(shí)間內(nèi)得到盡量好的結(jié)果。（3）該次工作不注重中間過程，只要求輸出最后結(jié)果。第45頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV從網(wǎng)站分析和廣告系統(tǒng)獲取，數(shù)據(jù)共93條記錄、5個(gè)字段列，無缺失值，具體如下：數(shù)據(jù)源概述（1）MONEY：廣告費(fèi)用，數(shù)值型。（2）TYPE：廣告類型，字符串類。（3）SIZE：廣告尺寸，字符串型。（4）PROMOTION：促銷賣點(diǎn)，字符串型。（5）UV：獨(dú)特訪客數(shù)量，數(shù)值型。第46頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV數(shù)據(jù)源關(guān)鍵信息點(diǎn)數(shù)據(jù)源概述TYPE、SI

28、ZE和PROMOTION需要做OneHotEncode轉(zhuǎn)換，以實(shí)現(xiàn)可以做距離計(jì)算的目的。MONEY由于量綱（數(shù)據(jù)分布范圍和量級(jí)）更其他的字段不同，需要做標(biāo)準(zhǔn)化處理。第47頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV導(dǎo)入庫案例過程import pandas as pdimport numpy as npfrom sklearn.linear_model import Ridgefrom sklearn.decomposition import PCAfrom sklearn.preprocessing import OrdinalEncoder,OneHotEncoder,MinM

29、axScalerfrom sklearn.pipeline import Pipelinefrom sklearn.model_selection import cross_val_scorefrom sklearn.metrics import make_scorer,mean_absolute_error,mean_squared_error,median_absolute_error # 多種回歸評(píng)估指標(biāo)第48頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV讀取數(shù)據(jù)案例過程ad_data = pd.read_excel(demo.xlsx,sheet_name=2)print(

30、ad_data.head()第49頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV數(shù)據(jù)預(yù)處理案例過程cols = TYPE,SIZE,PROMOTION # cate_model = Pipeline(ode, OrdinalEncoder(), (ohe, neHotEncoder(categories=auto,sparse=False) # 使用Pipeline方法將字符串轉(zhuǎn)數(shù)值索引和啞編碼轉(zhuǎn)換結(jié)合起來cate_data = cate_model.fit_transform(ad_datacols) # num_model = MinMaxScaler() # num_data

31、 = num_model.fit_transform(ad_dataMONEY) # 第50頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV生成最終模型為x和y案例過程x = np.hstack(cate_data,num_data) # y = ad_dataUV # 使用numpy的hstack方法，將類別型特征和數(shù)值型特征數(shù)據(jù)框合并起來第51頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV訓(xùn)練模型案例過程pipe_model = Pipeline(pca, PCA(n_components=0.85), (ridge, Ridge() # 基于PCA主成分分析和嶺回歸

32、組件組合評(píng)估器pipe_model.fit(x,y) # 主成分分析通過n_components=0.85設(shè)置只選擇方差解釋比例超過85%的主成分第52頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV模型評(píng)估案例過程metrics = mean_absolute_error,mean_squared_error,median_absolute_error # columns = i._name_ for i in metrics # scores = cross_val_score(pipe_model, x, y, cv=3,scoring=make_scorer(i),n_job

33、s=-1) for i in metrics # 通過cross_val_score來做交叉檢驗(yàn)reg_pd = pd.DataFrame(scores,index=columns).T.round(1) # print(reg_pd) # 指定cv數(shù)量為3，每個(gè)指標(biāo)做3次交叉檢驗(yàn)；scoring=make_scorer(i)將每個(gè)遍歷出來的評(píng)估指標(biāo)函數(shù)轉(zhuǎn)換為評(píng)估對(duì)象；n_jobs=-1設(shè)置啟用所有的CPU資源做交叉檢驗(yàn)計(jì)算，這樣可以提高計(jì)算速度第53頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV模型評(píng)估案例過程第54頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV模型評(píng)

34、估案例過程（1）mean_absolute_error：平均絕對(duì)值誤差（MAE），指所有單個(gè)估計(jì)值與算術(shù)平均值的偏差的絕對(duì)值的平均，平均絕對(duì)誤差可以避免誤差相互抵消的問題，因而可以準(zhǔn)確反映實(shí)際預(yù)測誤差的大小。（2）mean_squared_error：均方差（MSE），估計(jì)值與真值之差平方的期望值，值越小越好，該指標(biāo)計(jì)算方便，因此使用較為廣泛。（3）median_absolute_error：中值絕對(duì)誤差，與MAE類似，用中位數(shù)代替均值。第55頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV展示不同交叉檢驗(yàn)結(jié)果案例過程reg_pd.plot(kind=bar,figsize=(10,

35、 4), logy=True,title=不同聚類分組結(jié)果對(duì)比)第56頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV預(yù)測新數(shù)據(jù)案例過程data_new = pd.read_csv(ad.txt) # cate_data_new = cate_model.transform(data_newcols) # num_data_new = num_model.transform(data_newMONEY) # x_new = np.hstack(cate_data_new,num_data_new) # print(pipe_model.predict(x_new).round(0)

36、# 第57頁，共147頁。7.3 使用主成分分析+嶺回歸預(yù)測廣告UV通過predict方法獲得結(jié)果獲得廣告UV量通過上述predict得到的結(jié)果，可以直接給到業(yè)務(wù)部門，然后業(yè)務(wù)部門基于UV值制定廣告目標(biāo)、與營銷平臺(tái)做商務(wù)談判與合作等。需要注意的是，由于回歸預(yù)測得到的結(jié)果是浮點(diǎn)型，因此需要保留整數(shù)才能使用。第58頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量關(guān)聯(lián)的概念算法引言關(guān)聯(lián)分析通過尋找最能夠解釋數(shù)據(jù)變量之間關(guān)系的規(guī)則，來找出大量多元數(shù)據(jù)集中有用的關(guān)聯(lián)規(guī)則，它是從大量數(shù)據(jù)中發(fā)現(xiàn)多種數(shù)據(jù)之間關(guān)系的一種方法它也可以基于時(shí)間序列對(duì)多種數(shù)據(jù)間的關(guān)系進(jìn)行挖掘。關(guān)聯(lián)分析的典型案例是“啤酒

37、和尿布”的捆綁銷售，即買了尿布的用戶還會(huì)一起買啤酒。第59頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量關(guān)聯(lián)的應(yīng)用場景算法引言關(guān)聯(lián)規(guī)則相對(duì)其他數(shù)據(jù)挖掘模型更加簡單，易于業(yè)務(wù)理解和應(yīng)用購物籃分析等，通過分析用戶同時(shí)購買了哪些商品來分析用戶購物習(xí)慣第60頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量關(guān)聯(lián)的常用算法算法引言Apriori、FP-Growth、PrefixSpan、SPADE、AprioriAll、AprioriSome第61頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量業(yè)務(wù)需求案例背景業(yè)務(wù)方希望數(shù)據(jù)部門能對(duì)用戶的購買數(shù)據(jù)做分析，從而得到

38、用戶的商品頻繁模式，例如哪些商品之間經(jīng)常一起購買。這樣業(yè)務(wù)部門就能根據(jù)用戶的頻繁模式，做相應(yīng)的打包銷售或產(chǎn)品組合銷售第62頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量需求解讀案例背景（1）業(yè)務(wù)方需求可通過關(guān)聯(lián)算法得到結(jié)果。（2）關(guān)聯(lián)分析的結(jié)果需要能給出一些針對(duì)性的指標(biāo)和分析建議，這樣業(yè)務(wù)方可以有效選擇規(guī)則并應(yīng)用。（3）默認(rèn)的業(yè)務(wù)希望得到有效規(guī)則，但是實(shí)際上，除了給他們有效規(guī)則外，我們還可以提供頻繁的“互斥規(guī)則”給到業(yè)務(wù)方，來驅(qū)動(dòng)他們避免互動(dòng)信息給運(yùn)營帶來的潛在風(fēng)險(xiǎn)。第63頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量從銷售系統(tǒng)中獲取，數(shù)據(jù)共10000條記錄、3

39、個(gè)字段列，無缺失值，具體如下：數(shù)據(jù)源概述（1）ORDER_ID：訂單ID（2）ORDER_DT：訂單日期（3）ITEM_ID：訂單中的商品ID第64頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量數(shù)據(jù)源關(guān)鍵信息點(diǎn)數(shù)據(jù)源概述由于每個(gè)訂單內(nèi)可能包含有多個(gè)商品，因此一個(gè)訂單ID會(huì)有對(duì)應(yīng)多個(gè)商品名稱的情況，并且多個(gè)商品會(huì)被拆分為多行第65頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量導(dǎo)入庫案例過程from dataclasses import dataclassimport pandas as pdimport aprioridataclasses 是Python3.7新

40、增用法，本案例導(dǎo)入用來定義類中用到的屬性Apriori則是本地的代碼庫，這是一個(gè)Python文件，里面已經(jīng)封裝了實(shí)現(xiàn)apriori的邏輯的代碼第66頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量定義關(guān)聯(lián)應(yīng)用類對(duì)象案例過程dataclassclass ASSO: # 類名 sup: float = 0.01 # 最小支持度 conf: float = 0.05 # 最小置信度 staticmethod def bulid_sets(data): # 構(gòu)建數(shù)據(jù)集 order_data = dataORDER_ID, ITEM_ID # order_list = order_data

41、.groupby(ORDER_ID)ITEM_ID.unique().values.tolist() # 統(tǒng)計(jì)每個(gè)訂單中ITEM_ID的數(shù)量，對(duì)其做計(jì)數(shù)統(tǒng)計(jì) return list(i) for i in order_list if len(list(i) 1 # def generate_rule(self, order_list): # L, suppData = apriori.apriori(order_list,minSupport=self.sup) # return apriori.generateRules(order_list, L, suppData,minConf=sel

42、f.conf) # 第67頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量讀取數(shù)據(jù)案例過程raw_data = pd.read_excel(demo.xlsx,sheet_name=3)print(raw_data.head(3)第68頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量調(diào)用類實(shí)例并構(gòu)建數(shù)據(jù)集案例過程ass_model = ASSO(0.01,0.05) # order_list = ass_model.bulid_sets(raw_data) # 調(diào)用ass_model的bulid_sets方法，將上面讀取的數(shù)據(jù)傳入，將數(shù)據(jù)轉(zhuǎn)換為列表形式，其中每一個(gè)子

43、列表都是每個(gè)訂單內(nèi)的商品ID列表。轉(zhuǎn)換后的數(shù)據(jù)格式為912614671, 919214556, 919214554, 913204601, 912538662, 912531673, 919214555, 910914651, 912614671, 912528662, 910420652, 919214556, 919214555, 912531673, 910527661第69頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量調(diào)用類實(shí)例并輸出關(guān)聯(lián)結(jié)果案例過程rules = ass_model.generate_rule(order_list) # columns = ITEM_

44、ID1, ITEM_ID2, INSTANCE, SUPPORT, CONFIDENCE,LIFT # model_result = pd.DataFrame(rules, columns=columns) # 規(guī)則原始樣例(frozenset(912528662), frozenset(910615651), 30, 0.0169, 0.119, 0.626), (frozenset(910615651), frozenset(912528662), 30, 0.0169, 0.089, 0.626),第70頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量調(diào)用類實(shí)例并輸出關(guān)聯(lián)結(jié)

45、果案例過程打印輸出前3條dataframe數(shù)據(jù) ITEM_ID1 ITEM_ID2 INSTANCE SUPPORT CONFIDENCE LIFT0 (912528662) (910615651) 30 0.0169 0.1190 0.62601 (910615651) (912528662) 30 0.0169 0.0890 0.62602 (919214555) (910615651) 28 0.0158 0.1481 0.7790第71頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量模型評(píng)估案例過程（1）前項(xiàng)：前項(xiàng)指規(guī)則中的第一個(gè)項(xiàng)目集。（2）后項(xiàng)：前項(xiàng)指規(guī)則中的第二個(gè)項(xiàng)

46、目集，前項(xiàng)和后項(xiàng)共同組成規(guī)則。（3）實(shí)例數(shù)：特定規(guī)則在所有記錄中出現(xiàn)的頻次。（4）支持度：特定規(guī)則在所有記錄中出現(xiàn)的頻率，計(jì)算方式為：實(shí)例數(shù)/總記錄數(shù)。支持度越高說明規(guī)則出現(xiàn)的概率越頻繁，即越經(jīng)常出現(xiàn)。第72頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量模型評(píng)估案例過程（5）置信度：包含前項(xiàng)的事務(wù)中同時(shí)包含后項(xiàng)的事務(wù)的比例（即前項(xiàng)發(fā)生后，后項(xiàng)發(fā)生的概率）。置信度越高說明這個(gè)規(guī)則越可靠。（6）提升度：“包含前項(xiàng)的事務(wù)中同時(shí)包含后項(xiàng)的事務(wù)的比例”與“包含 B 的事務(wù)的比例”的比例。提升度大于1說明規(guī)則是正向有效的，小于1說明規(guī)則是負(fù)向作用的，等于1說明規(guī)則沒有任何作用。一般情況下，

47、選擇大于1值的規(guī)則。第73頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量過濾lift1的規(guī)則案例過程valid_result = model_resultmodel_resultLIFT1print(valid_result.head()第74頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量過濾lift1的規(guī)則案例過程valid_result = model_resultmodel_resultLIFT1print(valid_result.head()第75頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量展示關(guān)聯(lián)分析結(jié)果案例過程from pyech

48、arts.charts import Graphfrom pyecharts import options as opts# 找到所有的節(jié)點(diǎn)，即前項(xiàng)和后項(xiàng)商品集合并添加node_data = valid_resultITEM_ID1.append(valid_resultITEM_ID2)value_count = node_data.value_counts()nodes = opts.GraphNode(name=str(node), symbol_size=int(np.log(value)*10) for node,value in zip(value_count.index,valu

49、e_count.values)links = opts.GraphLink(source=str(i), target=str(j) for i,j in valid_resultITEM_ID1,ITEM_ID2.values# 畫出關(guān)系圖graph = Graph()graph.add(, nodes, links, repulsion=2000)graph.set_global_opts(title_opts=opts.TitleOpts(title=商品交叉銷售關(guān)系)graph.render_notebook()第76頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量展示關(guān)

50、聯(lián)分析結(jié)果案例過程第77頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量如何通過關(guān)聯(lián)分析結(jié)果提高銷量？通過關(guān)聯(lián)分析結(jié)果提高銷量（1）捆綁銷售：將用戶頻繁一起購買的商品組成銷售包，每次售賣時(shí)組合銷售。（2）頁面促銷設(shè)計(jì)：將用戶頻繁一起購買的商品、品類、品牌等，放在較近的位置，方便用戶在查看特定商品內(nèi)容之后，方便地找到其他要買的商品，減少內(nèi)部轉(zhuǎn)化路徑的長度。第78頁，共147頁。7.4 使用Apriori關(guān)聯(lián)分析提高商品銷量如何通過關(guān)聯(lián)分析結(jié)果提高銷量？通過關(guān)聯(lián)分析結(jié)果提高銷量（3）貨架設(shè)計(jì)：線上商品陳列設(shè)計(jì)（例如不同類型的商品列表頁）、線下的貨柜或貨架設(shè)計(jì)，將用戶頻繁一起購買的商品

51、放到一起和臨近的位置。（4）活動(dòng)促銷設(shè)計(jì)：在通過不同的方式精準(zhǔn)觸達(dá)用戶時(shí)，例如使用EDM給用戶推送商品活動(dòng)，將用戶經(jīng)常購買的商品一起推送。（5）推薦系統(tǒng)：當(dāng)用戶將特定商品加入購物車之后，推薦他還可能買的其他商品，尤其在加入購物車按鈕事件觸發(fā)時(shí)、我的購物車頁面、提交訂單成功提示頁常用。第79頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面序列關(guān)聯(lián)的概念算法引言序列關(guān)聯(lián)相對(duì)于普通關(guān)聯(lián)分析的主要區(qū)別在于其中包含嚴(yán)格的前后序列關(guān)系。例如，用戶在不同的訂單下分別買了A和B兩個(gè)商品，與用戶在一個(gè)訂單一起購買了A和B商品所適用的關(guān)聯(lián)算法不同：前者屬于序列關(guān)聯(lián)模式，后者屬于普通關(guān)

52、聯(lián)模式。第80頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面序列關(guān)聯(lián)的應(yīng)用場景算法引言用戶頁面瀏覽的先后行為分析用戶購買的商品的先后分析尤其在精準(zhǔn)營銷、個(gè)性化推薦等方面應(yīng)用廣泛第81頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面序列關(guān)聯(lián)的常用算法算法引言Prefixspan、GSP、FreeSpan第82頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面業(yè)務(wù)需求案例背景業(yè)務(wù)方從Google Big Query拿到用戶瀏覽頁面的詳細(xì)數(shù)據(jù)，希望數(shù)據(jù)部門能對(duì)從中挖掘出用戶瀏覽的行為模式，然后基于該模式可以分析

53、不同用戶以及群組的行為路徑和特征，最終在頁面設(shè)計(jì)、活動(dòng)促銷、站內(nèi)運(yùn)營、體驗(yàn)優(yōu)化等方面做數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化。第83頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面需求解讀案例背景（1）業(yè)務(wù)方需求可通過序列關(guān)聯(lián)算法得到結(jié)果。（2）關(guān)聯(lián)分析的結(jié)果需要能給出一些針對(duì)性的指標(biāo)和分析建議，這樣業(yè)務(wù)方可以有效選擇規(guī)則并應(yīng)用。第84頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面從Google BigQuery系統(tǒng)獲取，共有9638條記錄，共3列，無缺失值，具體如下：數(shù)據(jù)源概述（1）FULL_VISITOR_ID：識(shí)別唯一匿名訪客所用的ID（2）PAGE

54、_URL：瀏覽的頁面URL（3）VIEW_TIME：瀏覽時(shí)間第85頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面數(shù)據(jù)源關(guān)鍵信息點(diǎn)數(shù)據(jù)源概述由于基于時(shí)間序列的關(guān)聯(lián)，核心是要在原有關(guān)聯(lián)基礎(chǔ)上增加時(shí)間的關(guān)系，因此要求時(shí)間列必須能正確識(shí)別和解析，然后才能基于時(shí)間做排序。第86頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面導(dǎo)入庫案例過程from dataclasses import dataclassimport pandas as pdfrom prefixspan import PrefixSpan as pfs使用pip instal

55、l prefixspan 可安裝prefixspan第87頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面定義序列關(guān)聯(lián)應(yīng)用類對(duì)象案例過程dataclassclass SEQV: mini_support: int = 2 # 最小支持度 max_len: int = 2 # 序列最大項(xiàng)目數(shù)量 staticmethod def bulid_sets(data: pd.DataFrame): # 將事務(wù)型數(shù)據(jù)轉(zhuǎn)換為序列數(shù)據(jù)集 order_list = data.groupby(FULL_VISITOR_ID)PAGE_URL.unique().values.tolis

56、t() order_records = list(i) for i in order_list order_filter = i for i in order_records if len(i) 1 return order_filter第88頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面定義序列關(guān)聯(lián)應(yīng)用類對(duì)象案例過程# 繼續(xù)上一頁代碼 def fit(self, frequent_seq_data): ps = pfs(frequent_seq_data) # 建立對(duì)象 # TODO 設(shè)置最長和最短序列長度-只要二項(xiàng)集，這是挖掘規(guī)則數(shù)量的關(guān)鍵 ps.maxle

57、n = ps.minlen = self.max_len rec_sequences = ps.frequent(self.mini_support) # 獲取最小支持度為2的頻繁項(xiàng)集 return rec_sequences第89頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面定義序列關(guān)聯(lián)應(yīng)用類對(duì)象案例過程# 繼續(xù)上一頁代碼 def format_output(self, rec_sequences): target_sequence_items = i0, i10, i11 for i in rec_sequences # 格式化二項(xiàng)集 sequences =

58、 pd.DataFrame(target_sequence_items, columns=SUPPORT, ITEM_ID1,ITEM_ID2) # 建立數(shù)據(jù)框 # 按支持度倒敘排序 sequences_sort = sequences.sort_values(SUPPORT, ascending=False) return sequences_sortITEM_ID1, ITEM_ID2, SUPPORT第90頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面讀取數(shù)據(jù)案例過程page_data = pd.read_excel(demo.xlsx,sheet_nam

59、e=4) # print(page_data.dtypes) # print(page_data.head(3) # 第91頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面按時(shí)間排序案例過程page_sort = page_data.sort_values(FULL_VISITOR_ID,VIEW_TIME)print(page_sort.tail(3)第92頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面應(yīng)用序列關(guān)聯(lián)分析案例過程seq_model = SEQV(mini_support=2,max_len=2) # frequent

60、_seq_data = seq_model.bulid_sets(page_sort) # rec_sequences = seq_model.fit(frequent_seq_data) # sequences_sort = seq_model.format_output(rec_sequences) # print(sequences_sort.head(3) # 第93頁，共147頁。7.5 使用Prefixspan序列關(guān)聯(lián)找到用戶下一個(gè)訪問頁面如何引導(dǎo)用戶訪問特定頁面通過序列模式引導(dǎo)用戶頁面訪問行為假如用戶在訪問了bagmncode.html之后，應(yīng)該引導(dǎo)用戶訪問其他哪些頁面，才能在保