機(jī)器學(xué)習(xí)原理與應(yīng)用課件 第2章 特征工程

第2章

特征工程學(xué)習(xí)目標(biāo)掌握Sklearn庫(kù)特征預(yù)處理方法掌握Sklearn庫(kù)Filter、Wrapper與Embedded等特征選擇方法掌握Sklearn庫(kù)主成分分析、線性判別分析等特征提取方法123目錄頁(yè)2.1基本原理2.2特征預(yù)處理2.3特征選擇2.4特征提取特征工程2.5應(yīng)用實(shí)例思考構(gòu)建支持向量機(jī)分類器識(shí)別“貓”與“狗”類別，具體步驟是什么？哪些步驟最為關(guān)鍵？2.1基本原理在構(gòu)建機(jī)器學(xué)習(xí)模型時(shí)，特征設(shè)計(jì)與模型求解方法是決定其性能的兩個(gè)重要因素，其中，特征設(shè)計(jì)是基礎(chǔ)，模型求解是關(guān)鍵，兩者相輔相成，缺一不可。特征工程研究的目的在于最大限度地從原始數(shù)據(jù)中提取與問(wèn)題相關(guān)的特征以供模型求解使用。在特征的設(shè)計(jì)中，需要根據(jù)當(dāng)前擬解決問(wèn)題的特點(diǎn)對(duì)影響問(wèn)題求解質(zhì)量的特征進(jìn)行提取與選擇，而最大可能地剔除無(wú)關(guān)特征與冗余特征。2.1基本原理長(zhǎng)方體長(zhǎng)/m寬/m高/m底面積/m2體積/m3樣本1312226樣本2421288樣本35349460特征提取通過(guò)對(duì)原始特征進(jìn)行一系列變換生成新的特征，而特征選擇則并不改變?cè)继卣鳎菑脑继卣髦羞x擇重要的特征，用更適于需要保持原始特征意義以及確定特定特征重要程度的場(chǎng)合。2.1基本原理Scikit-learn庫(kù)（官網(wǎng)網(wǎng)址：/stable/）是基于Python語(yǔ)言的機(jī)器學(xué)習(xí)庫(kù)，如圖所示，其由數(shù)據(jù)預(yù)處理、分類、回歸、聚類、降維、模型選擇與預(yù)處理等六個(gè)模塊構(gòu)成。2.2特征預(yù)處理在特征初步采集時(shí)，需要盡可能找出對(duì)擬解決問(wèn)題的求解產(chǎn)生影響或有關(guān)聯(lián)的所有相關(guān)因素，通常采用獲取率、覆蓋率與準(zhǔn)確率對(duì)初步采集到的特征進(jìn)行評(píng)估；其中獲取率表示特征獲取的可行性（如涉及隱私的特征不易獲?。?，覆蓋率表示特征獲取的完整性（如特征并非所有數(shù)據(jù)都具備），準(zhǔn)確率表示所獲取特征的可靠性（如虛填的年齡）。2.2特征預(yù)處理在特征初步設(shè)計(jì)與采集之后，需要對(duì)其進(jìn)行異常值處理、數(shù)據(jù)采樣、規(guī)范化等預(yù)處理操作以使其轉(zhuǎn)換為有利于模型求解的形式。Scikit-learn庫(kù)中的Preprocessing模塊用于對(duì)數(shù)據(jù)進(jìn)行規(guī)范化、量化等預(yù)處理操作。2.2.1異常值檢測(cè)

2.2.2數(shù)據(jù)采樣此操作旨在解決樣本不均衡問(wèn)題，即當(dāng)正負(fù)樣本數(shù)量差距較大且正負(fù)樣本個(gè)數(shù)本身也較大時(shí)，以樣本量較少的類別對(duì)應(yīng)樣本數(shù)量為準(zhǔn)，從樣本量較多的類別對(duì)應(yīng)的樣本集中隨機(jī)抽取樣本以保證兩類別對(duì)應(yīng)的樣本數(shù)量相當(dāng)。在特定情況下，也可采用數(shù)據(jù)增強(qiáng)方法（如對(duì)圖像樣本進(jìn)行旋轉(zhuǎn)、縮放、平移與裁剪等處理）根據(jù)樣本量較小的類別對(duì)應(yīng)的樣本集生成新的樣本以保證兩類別對(duì)應(yīng)的樣本數(shù)量相當(dāng)。2.2.3規(guī)范化將特征取值映射至指定的區(qū)間可以克服不同特征之間的取值差異或量綱差異（如統(tǒng)一映射至[0,1]區(qū)間），進(jìn)而提高后續(xù)模型求解的可靠性；兩種常用的規(guī)范化方法：（1）Min-Max規(guī)范化（2）Z-score規(guī)范化2.2.3規(guī)范化（1）Min-Max標(biāo)準(zhǔn)化（Min-MaxNormalization）通過(guò)對(duì)原始樣本特征的進(jìn)行以下線性變換，使結(jié)果值映射到[0,1]之間。其中，x與x*分別為原始特征與標(biāo)準(zhǔn)化后的特征，x_max與x_min分別為原理特征的最大值與最小值。缺點(diǎn)：當(dāng)有新數(shù)據(jù)加入時(shí)，可能導(dǎo)致x_max和x_min發(fā)生變化，因而需要重新定義。

2.2.3規(guī)范化（2）Z-score標(biāo)準(zhǔn)化此方法采用原始特征的均值和標(biāo)準(zhǔn)差對(duì)原始特征進(jìn)行標(biāo)準(zhǔn)化以使處理后的樣本特征符合標(biāo)準(zhǔn)正態(tài)分布（即均值為0、標(biāo)準(zhǔn)差為1），即：

其中μ為所有樣本特征的均值，σ為所有樣本特征的標(biāo)準(zhǔn)差。

2.2.4離散化為解決特定分類問(wèn)題或簡(jiǎn)化分類模型的復(fù)雜度，有時(shí)需要采用特定標(biāo)記將原特征取值進(jìn)行離散化處理；例如，在成績(jī)預(yù)測(cè)中，將小于60分的成績(jī)標(biāo)記為0或low，將60至80之間的成績(jī)標(biāo)記為1或middle，將80至100之間的成績(jī)標(biāo)記為2或high，進(jìn)而將回歸類型的成績(jī)預(yù)測(cè)問(wèn)題轉(zhuǎn)化為分類類型的成績(jī)預(yù)測(cè)問(wèn)題進(jìn)行求解。2.2.5特征編碼此操作旨在將定性表述的特征取值轉(zhuǎn)換為機(jī)器學(xué)習(xí)模型所能處理的形式；假設(shè)初始數(shù)據(jù)如表2-2所示，常用的特征編碼方法有序數(shù)編碼，獨(dú)熱編碼和啞編碼。序號(hào)籍貫學(xué)歷1北京博士2上海碩士3天津碩士2.2.5特征編碼（1）序數(shù)編碼（OrdinalEncoder）采用特定的有序數(shù)字表示指定特征的取值，如采用0、1、2分別表示北京、上海與天津，采用0、1分別表示博士與碩士，則可生成[0,0]、[1,1]與[2,1]三個(gè)樣本。在Scikit-learn庫(kù)中，OrdinalEncoder模塊用于特征的序數(shù)編碼處理。2.2.5特征編碼（2）獨(dú)熱編碼（One-HotEncoding）若特征有K個(gè)取值，則采用K位由0與1組成且僅有1位為1的二元數(shù)字串對(duì)其進(jìn)行編碼，如“籍貫”有3個(gè)取值，則可分別采用001、100與010對(duì)其編碼，而“學(xué)歷”特征有2個(gè)取值，則可分別采用01、10對(duì)其進(jìn)行編碼，最終可生成[0,0,1,0,1]、[1,0,0,1,0]與[0,1,0,1,0]三個(gè)樣本。在Scikit-learn庫(kù)中，OneHotEncoder模塊用于特征的獨(dú)熱編碼處理。2.2.5特征編碼（3）啞編碼（Dummyencoding）由于指定獨(dú)熱編碼位的二進(jìn)制可表達(dá)信息通常大于特征的可能取值，因而，為精簡(jiǎn)編碼長(zhǎng)度，可將獨(dú)熱編碼位去除1位；如“籍貫”有3個(gè)取值，則可分別采用01、10與11對(duì)其編碼。在Scikit-learn庫(kù)的OneHotEncoder模塊中，可通過(guò)設(shè)置drop參數(shù)實(shí)現(xiàn)啞編碼2.3特征選擇當(dāng)特征預(yù)處理之后，可利用相應(yīng)的樣本進(jìn)行模型的求解；在實(shí)際中，為了提高模型求解的質(zhì)量與效率，通常需要從原特征中挑選出最具代表性或與所求解問(wèn)題最為相關(guān)的特征以降低特征空間的維度（如從10個(gè)原特征中挑選出3個(gè)關(guān)鍵性特征）。特征選擇不但可有效剔除不相關(guān)或冗余的特征以避免維數(shù)災(zāi)難與提高模型訓(xùn)練效率，而且可降低模型復(fù)雜度、提高模型的泛化能力。2.3特征選擇特征選擇是特征工程中重要的一個(gè)環(huán)節(jié)，遵循“抓大放小”原則，在現(xiàn)實(shí)生活中也要學(xué)會(huì)“抓大”，善于“放小”。習(xí)近平主席在省部級(jí)主要領(lǐng)導(dǎo)干部學(xué)習(xí)貫徹黨的十九屆六中全會(huì)精神專題研討班開(kāi)班式上強(qiáng)調(diào)，面對(duì)復(fù)雜形勢(shì)、復(fù)雜矛盾、繁重任務(wù)，沒(méi)有主次，不加區(qū)別，眉毛胡子一把抓，是做不好工作的，這為我們統(tǒng)籌抓好工作、解決好矛盾問(wèn)題指明了方向和方法。黨員領(lǐng)導(dǎo)干部學(xué)習(xí)貫徹習(xí)主席重要講話精神，就要在實(shí)踐中既學(xué)會(huì)“抓大”，牽住“牛鼻子”，抓住主要矛盾，也善于“放小”，切忌大包大攬、“一竿子插到底”，乃至越俎代庖。只有懂得區(qū)分本末、主次、緩急推進(jìn)工作，按照分級(jí)管理抓落實(shí)，才能取得事半功倍的成效。抓大，就是要學(xué)會(huì)從戰(zhàn)略上去思考謀劃問(wèn)題?！皯?zhàn)略是從全局、長(zhǎng)遠(yuǎn)、大勢(shì)上作出判斷和決策”，對(duì)于具體工作而言，就是要學(xué)會(huì)抓住工作的主要矛盾，抓緊矛盾的主要方面，切實(shí)做到立說(shuō)立行，把重要工作督辦好、落實(shí)好。放小，不是不管工作中的次要矛盾、矛盾的次要方面，而是要把握好度，不能“眉毛胡子一把抓”，主次不分而影響中心任務(wù)、全局發(fā)展。只有區(qū)分主次，抓好事關(guān)全局、維系長(zhǎng)遠(yuǎn)的重點(diǎn)工作，才能牽一發(fā)而動(dòng)全身，帶動(dòng)其他矛盾問(wèn)題的解決。課程思政2.3.1特征過(guò)濾（Filter）此類方法按照統(tǒng)計(jì)學(xué)準(zhǔn)則對(duì)各個(gè)特征進(jìn)行評(píng)分并排序，然后采用設(shè)定閾值的方式選擇對(duì)擬解決問(wèn)題影響較大特征或重要的特征，最優(yōu)特征子集原特征統(tǒng)計(jì)學(xué)準(zhǔn)則模型訓(xùn)練與評(píng)估圖2-2Filter方法基本流程2.3.1特征過(guò)濾（Filter）（1）方差過(guò)濾（VarianceThreshold）方差過(guò)濾的目的在于移除所有方差不滿足指定閾值的特征；事實(shí)上，如果某特征的取值較為集中或變化較小（即方差較?。?，則該特征對(duì)問(wèn)題的求解作用不大（如95%以上的樣本該特征取值均相同，不利于區(qū)別兩個(gè)類別），應(yīng)當(dāng)剔除。Scikit-learn庫(kù)方差過(guò)濾模塊導(dǎo)入方式如下：fromsklearn.feature_selectionimportVarianceThreshold函數(shù)原型如下：VarianceThreshold(threshold=0.0)其中，參數(shù)threshold為特征過(guò)濾閾值（即方差低于此閾值的特征被刪除）。2.3.1特征過(guò)濾（Filter）（2）皮爾森相關(guān)系數(shù)皮爾森相關(guān)系數(shù)是一種有助于理解特征與目標(biāo)變量之間關(guān)系的方法，其通過(guò)區(qū)間[-1，1]之間的值衡量變量之間的線性相關(guān)性，-1表示完全負(fù)相關(guān)（即一個(gè)變量值下降，則另一個(gè)變量值上升)，+1表示完全正相關(guān)，0則表示無(wú)線性相關(guān)性。Scikit-learn庫(kù)利用pearsonr模塊實(shí)現(xiàn)基于皮爾森相關(guān)系數(shù)的特征選擇。2.3.1特征過(guò)濾（Filter）（3）卡方檢驗(yàn)卡方檢驗(yàn)的思想在于通過(guò)觀察實(shí)際值與理論值的偏差判斷理論值是否正確。具體而言，其首先假設(shè)兩個(gè)變量相互獨(dú)立（稱為“原假設(shè)”），然后觀測(cè)實(shí)際值（或“觀察值”）與理論值（即“若兩變量確實(shí)獨(dú)立”的情況下應(yīng)有的值）之間的偏差程度；若該偏差足夠小，則認(rèn)為兩者確實(shí)相互獨(dú)立，相關(guān)誤差則是由于測(cè)量手段、噪聲等因素所致，否則則認(rèn)為兩者實(shí)際上是相關(guān)的。2.3.1特征過(guò)濾（Filter）

2.3.1特征過(guò)濾（Filter）（4）互信息和最大信息系數(shù)在實(shí)際中，由于互信息不便于歸一化、聯(lián)合概率難以計(jì)算等問(wèn)題而不易用于特征的選擇，而在特征選擇中更為常用的相關(guān)度量則是根據(jù)互信息演化而成的最大信息系數(shù)。最大信息系數(shù)（MaximalInformationCoefficient）用于衡量?jī)蓚€(gè)變量X和Y之間的關(guān)聯(lián)程度（線性或非線性），其基本思想在于將兩變量相應(yīng)的二維空間進(jìn)行離散化并使用散點(diǎn)圖進(jìn)行表示，進(jìn)而通過(guò)度量散點(diǎn)落入離散方格的情況計(jì)算聯(lián)合概率。在具體應(yīng)用中互信息或最大信息系數(shù)的計(jì)算可通過(guò)minepy庫(kù)中的MIC模塊實(shí)現(xiàn)，同時(shí)結(jié)合Scikit-learn庫(kù)中的feature_selection.SelectKBest模塊可從原特征中選擇具有最大信息系數(shù)的特征。2.3.2特征包裝（Wrapper）此類方法將特征選擇問(wèn)題視為最優(yōu)特征子集搜索問(wèn)題進(jìn)行求解，其中，不同特征子集的性能利用相關(guān)模型進(jìn)行評(píng)估與分析。相對(duì)于Filter方法，Wrapper方法考慮到了特征之間相關(guān)性以及特征組合對(duì)模型性能的影響，整體上具有更高的性能。Wrapper方法一般包括搜索策略、評(píng)估函數(shù)、終止條件與驗(yàn)證過(guò)程四個(gè)部分，其基本流程如圖2-3所示：2.3.2特征包裝（Wrapper）（1）搜索策略：根據(jù)原特征生成特征子集的過(guò)程，通常包括完全搜索（如廣度優(yōu)先搜索、定向搜索）、啟發(fā)式搜索（如雙向搜索、后向選擇）、隨機(jī)搜索（如模擬退火、遺傳算法)等方式。（2）評(píng)估函數(shù)：評(píng)估特征子集的優(yōu)劣程度的標(biāo)準(zhǔn)。（3）終止條件：與評(píng)價(jià)函數(shù)相關(guān)特定閾值。（4）驗(yàn)證過(guò)程：驗(yàn)證所選特征子集的實(shí)際效果。原特征特征子集選擇特征子集評(píng)估滿足終止條件驗(yàn)證是否圖2-3Wrapper方法基本流程2.3.2特征包裝（Wrapper）遞歸特征刪除方法（RecursiveFeatureElimination）是典型的Wrapper方法，其通過(guò)遞歸減少特征集規(guī)模的方式進(jìn)行特征的選擇，相關(guān)過(guò)程可描述為：首先利用訓(xùn)練樣本對(duì)模型（如支持向量機(jī)）進(jìn)行訓(xùn)練并確定原特征集中每個(gè)特征的權(quán)重，然后從原特征集中刪除具有最小權(quán)重的特征，如此往復(fù)遞歸，直至剩余的特征數(shù)量達(dá)到指定的數(shù)量。Scikit-learn庫(kù)遞歸特征刪除模塊導(dǎo)入方式如下：fromsklearn.feature_selectionimportRFE函數(shù)原型如下：RFE(estimator,n_features_to_select=None,step=1,verbose=0)2.3.3特征嵌入（Embedded）此類方法的主要特點(diǎn)是特征選擇與模型訓(xùn)練同時(shí)進(jìn)行，如圖2-4所示，其首先利用模型（如決策樹(shù)模型的feature_importances_屬性）確定各特征的權(quán)值（對(duì)模型的貢獻(xiàn)度或重要性），然后根據(jù)權(quán)值大小從原特征中選擇最有用的特征。此方法不僅考慮到了模型的整體性能，而且考慮到了特征對(duì)模型的貢獻(xiàn)，因此，無(wú)關(guān)的特征（需要相關(guān)性過(guò)濾的特征）和無(wú)區(qū)分度的特征（需要方差過(guò)濾的特征）均會(huì)被刪除。2.3.3特征嵌入（Embedded）原特征特征子集選擇模型評(píng)估圖2-4Embedded方法基本流程特征嵌入方法的主要缺點(diǎn)在于其所采用的權(quán)值并不具有明確的統(tǒng)計(jì)含義，若較多特征對(duì)模型均有貢獻(xiàn)且貢獻(xiàn)不一時(shí)，不易確定相應(yīng)的閾值進(jìn)行判別。此外，模型訓(xùn)練的效率也會(huì)受特征選擇過(guò)程的影響。2.3.3特征嵌入（Embedded）Scikit-learn庫(kù)Embedded相關(guān)模塊導(dǎo)入方式如下：fromsklearn.feature_selectionimportSelectFromModel函數(shù)原型如下：SelectFromModel(estimator,threshold=None,prefit=False)其中，SelectFromModel對(duì)象可以與任何具有coef_與feature_importances_屬性的模型聯(lián)合使用（如隨機(jī)森林、Logistic回歸等）。此外，對(duì)于具有feature_importances_屬性的模型而言，若特征重要性低（如0.0001）于指定閾值，則可認(rèn)為此特征不重要并被移除。2.4特征提取特征選擇是在原特征的基礎(chǔ)上選擇最優(yōu)特征子集而不改變?cè)继卣?，特征提取則在原特征的基礎(chǔ)上生成維度較小卻仍保留原特征主要信息的新特征，其主要目的在于將高維空間中的數(shù)據(jù)映射到低維空間，不但保證盡可能少地丟失信息，而且使得低維空間的數(shù)據(jù)更易于分開(kāi)。常用的特征提取方法有主成分分析與線性判別分析。2.4.1主成分分析主成分分析（PrincipalComponentAnalysis，PCA），其思想是將m維特征映射為k維全新的正交特征(k<m)，而非從m維特征中簡(jiǎn)單地選擇k維特征或去除m-k維特征。將數(shù)據(jù)轉(zhuǎn)換成前k個(gè)主成分的過(guò)程如圖2-5所示。原特征歸一化計(jì)算協(xié)方差矩陣計(jì)算協(xié)方差矩陣特征值與特征向量根據(jù)指定標(biāo)準(zhǔn)選擇前k個(gè)最大特征值根據(jù)相應(yīng)特征向量構(gòu)建變換矩陣特征變換圖

2-5PCA算法基本流程2.4.1主成分分析

2.4.1主成分分析

2.4.1主成分分析

2.4.1主成分分析

2.4.1主成分分析

2.4.2線性判別分析主成分分析只是降低了特征的維度而未考慮降維后特征的分類或擬合性能，為解決此問(wèn)題，線性判別分析（LinearDiscriminantAnalysis，LDA）在通過(guò)尋找最優(yōu)投影方向的方式對(duì)特征進(jìn)行降維時(shí)，設(shè)法將樣本投影至一條直線上，以使同類樣本對(duì)應(yīng)的投影點(diǎn)盡可能接近（即類內(nèi)離散度越小越好）而異樣樣本對(duì)應(yīng)的投影點(diǎn)盡可能遠(yuǎn)離（即類間離散度越大越好）；在對(duì)新樣本進(jìn)行分類時(shí)，首先將其投影至同樣的直線上，然后再根據(jù)對(duì)應(yīng)投影點(diǎn)的位置確定相應(yīng)的類別。2.4.2線性判別分析

2.4.2線性判別分析

2.4.2線性判別分析

2.4.2線性判別分析

2.4.2線性判別分析線性判別分析適于兩類分類問(wèn)題的求解，當(dāng)推廣至多類分類問(wèn)題時(shí)，可采用類似類間距離最大而類內(nèi)距離最小的思想進(jìn)行求解，此時(shí)待求解的參數(shù)為諸多基向量構(gòu)成的矩陣。Scikit-learn庫(kù)中的線性判別分析模塊導(dǎo)入方法如下：fromsklearn.discriminant_analysisimportLinearDiscriminantAnalysis主函數(shù)原型如下：LinearDiscriminantAnalysis(solver='svd',shrinkage=None,priors=None,n_components=None,store_covariance=False,tol=0.0001)2.5應(yīng)用實(shí)例特征提取與選擇不但是提高分類器性能的關(guān)鍵，而且可應(yīng)用于圖像、視頻等數(shù)據(jù)的壓縮處理。本節(jié)通過(guò)主成分分析與線性判別分析算法的對(duì)比、圖像壓縮等實(shí)例介紹特征提取與選擇相關(guān)應(yīng)用方法。2.5.1特征分析（1）問(wèn)題描述利用Skicit-learn庫(kù)中的鳶尾花數(shù)據(jù)集構(gòu)建Logistic回歸模型，實(shí)現(xiàn)鳶尾花的預(yù)測(cè)與精度分析?；疽笕缦拢孩倮萌刻卣鲗?shí)現(xiàn)模型的訓(xùn)練與預(yù)測(cè)。②利用主成分分析算法將特征降至兩維后實(shí)現(xiàn)模型的訓(xùn)練與預(yù)測(cè)。③利用線性判別分析算法將特征降至兩維后實(shí)現(xiàn)模型的訓(xùn)練與預(yù)測(cè)。④對(duì)兩種特征提取算法相應(yīng)模型的分類效果進(jìn)行可視化。（2）編程實(shí)現(xiàn)見(jiàn)實(shí)例特征分析.py2.5.1特征分析（3）結(jié)果與分析以上代碼運(yùn)行結(jié)果如下。采用全部特征的精度:0.9777777777777777方差占比:95.81320720000164PCA提取兩維特征時(shí)的精度:0.7777777777777778方差占比:100.0LDA提取兩維特征時(shí)的精度:0.84444444444444442.5.1特征分析（3）結(jié)果與分析根據(jù)實(shí)驗(yàn)結(jié)果可知，在指定特征提取維度的情況下，線性判別分析可利用類別信息對(duì)數(shù)據(jù)進(jìn)行變換以使同類數(shù)據(jù)點(diǎn)之間距離盡可能小而異類數(shù)據(jù)點(diǎn)之間距離盡可能大，因而更好地保留了原始數(shù)據(jù)中的關(guān)鍵信息，相關(guān)的方差占比與分類精度均較高。相對(duì)而言