python數(shù)據(jù)分析

1、python數(shù)據(jù)分析(pandas)幾年后發(fā)生了。在使用SAS工作超過5年后，我決定走出自己的舒適區(qū)。作為一個數(shù)據(jù)科學(xué)家，我尋找其他有用的工具的旅程開始了！幸運的是，沒過多久我就決定，Python作為我的開胃菜。 我總是有一個編寫代碼的傾向。這次我做的是我真正喜歡的。代碼。原來，寫代碼是如此容易！ 我一周內(nèi)學(xué)會了Python基礎(chǔ)。并且，從那時起，我不僅深度探索了這門語言，而且也幫助了許多人學(xué)習(xí)這門語言。Python是一種通用語言。但是，多年來，具有強大的社區(qū)支持，這一語言已經(jīng)有了專門的數(shù)據(jù)分析和預(yù)測模型庫。 由于Python缺乏數(shù)據(jù)科學(xué)的資源，我決定寫這篇教程來幫助別人更快地學(xué)習(xí)Python。

2、在本教程中，我們將講授一點關(guān)于如何使用Python進行數(shù)據(jù)分析的信息，咀嚼它，直到我們覺得舒適并可以自己去實踐。目錄1. 數(shù)據(jù)分析的Python基礎(chǔ)o 為什么學(xué)Python用來數(shù)據(jù)分析o Python 2.7 v/s 3.4o 怎樣安裝Pythono 在Python上運行一些簡單程序2. Python的庫和數(shù)據(jù)結(jié)構(gòu)o Python的數(shù)據(jù)結(jié)構(gòu)o Python的迭代和條件結(jié)構(gòu)o Python庫3. 在Python中使用Pandas進行探索性分析o 序列和數(shù)據(jù)框的簡介o 分析Vidhya數(shù)據(jù)集貸款的預(yù)測問題4. 在Python中使用Pandas進行數(shù)據(jù)再加工5. 使用Python中建立預(yù)測模型o 邏

3、輯回歸o 決策樹o 隨機森林讓我們開始吧1.數(shù)據(jù)分析的Python基礎(chǔ)為什么學(xué)Python用來數(shù)據(jù)分析 很多人都有興趣選擇Python作為數(shù)據(jù)分析語言。這一段時間以來，我有比較過SAS和R。這里有一些原因來支持學(xué)習(xí)Python： 開源免費安裝 極好的在線社區(qū) 很容易學(xué)習(xí) 可以成為一種通用的語言，用于基于Web的分析產(chǎn)品數(shù)據(jù)科學(xué)和生產(chǎn)中。 不用說，它仍然有幾個缺點： 它是一種解釋性的語言，而不是編譯的語言，因此可能占用更多的CPU時間。然而，由于它節(jié)省了程序員的時間（由于學(xué)習(xí)的方便），它可能仍然是一個很好的選擇。Python 2.7 v/s 3.4 這是關(guān)于Python的一個最具爭議的話題。你可

4、能總是不能避免遇到，尤其是如果你是一個初學(xué)者。這里沒有正確/錯誤的選擇。它完全取決于具體情況和你的需要。我會嘗試給你一些建議，以幫助你做出明智的選擇。為什么選擇Python 2.71. 極好的社區(qū)支持！這是你在初期需要的東西。Python 2發(fā)行于2000年末，已經(jīng)被使用超過15年。2. 很多第三方庫！雖然許多庫已經(jīng)提供了3.X的支持，但仍然有大量的模塊只工作在2.X。如果你計劃將Python用于具體的應(yīng) 用，如Web開發(fā)這種高度依賴外部模塊的，你選擇2.7可能會更好。3. 3.X版本的一些特性有向后兼容性，可以使用2.7版本。為什么選擇Python 3.41. 更整齊和更快！Python開發(fā)

5、者修正了一些固有的問題和小缺點，以此為未來建立一個強大的基礎(chǔ)。這些可能不是很相關(guān)，但最終會很重要。2. 這是未來！2.7是2 .X族發(fā)布的最后一個版本，并且最終每個人都要轉(zhuǎn)移到3.X版本。Python 3在過去5年已經(jīng)發(fā)布的穩(wěn)定版本，并將繼續(xù)。 沒有明確的贏家，但我想，底線是，你應(yīng)該專注于學(xué)習(xí)Python語言。版本之間的轉(zhuǎn)換應(yīng)該只是一個時間問題。敬請期待，不久的將來一個專門對比Python 2.X和3 X的文章！怎樣安裝Python有兩種方法安裝Python 你可以直接從項目網(wǎng)站下載Python，然后單獨安裝你想要的組件和庫 或者，你可以下載并安裝一個包，它附帶了預(yù)裝的庫。我建議您下載Anac

6、onda。另一種選擇是 Enthought Canopy Express。第二種方法提供了一個避免麻煩的安裝，因此我會推薦給初學(xué)者。這種方法是你必須等待整個包進行升級， 即使你只是對一個單一的庫的最新版本感興趣。它應(yīng)該不重要，直到和除非，直到和除非，你正在做的尖端統(tǒng)計研究。選擇開發(fā)環(huán)境 一旦你已經(jīng)安裝了Python，選擇環(huán)境可以有很多種選擇。這里是3個最常見的選擇： 終端/基于Shell IDLE(默認環(huán)境) iPython notebook 類似于R的markdown 而環(huán)境權(quán)取決于你的需要，我個人更喜歡iPython notebook一點 。它提供了許多良好的功能，編寫代碼的同時還可以用于

7、記錄，你可以選擇在上面運行代碼塊（而不是一行一行的執(zhí)行）。我們在整個教程中將使用Ipython 環(huán)境熱身：跑第一個Python程序 你可以使用Python作為一個簡單的計算器來開始：有一些事情需要注意： 你可以在你的終端/ CMD鍵入“IPython notebook”來啟動IPython notebook，這取決于你的工作在操作系統(tǒng) 你可以通過簡單地點擊上面截圖中的名字來對IPython notebook命名 界面顯示In*代表輸入和Out*代表輸出。 你可以通過按“Shift + Enter”或“ALT + Enter”來執(zhí)行代碼，如果你后面還想插入一行。 在我們深入挖掘如何解決問題之前，

8、讓我們退后一步，了解Python的基本知識。當(dāng)我們知道數(shù)據(jù)結(jié)構(gòu)和迭代和條件結(jié)構(gòu)是形成任何語言的關(guān)鍵。在Python中，這些包括列表、字符串、元組、字典、for循環(huán)，while循環(huán)，if-else等等，讓我們來看看下面的因素。2 .在Python上運行一些簡單程序Python的數(shù)據(jù)結(jié)構(gòu) 以下是Python中使用的一些數(shù)據(jù)結(jié)構(gòu)。你應(yīng)該熟悉他們，以便恰當(dāng)?shù)氖褂盟鼈儭?列表列表是在Python中最通用的數(shù)據(jù)結(jié)構(gòu)。列表可以這樣簡單的定義：就是在方括號中一系列用逗號來分隔的值。列表可能包含不同類型的項，但它們通常都有相同類型的。Python列表是可變的，列表中的單個元素是可以改變的。 這里是一個快速的例子

9、，定義了一個列表，然后訪問它： 字符串字符串可以簡單的使用單引號（）、雙引號（”）或三引號（）來定義。字符串封閉三引號（）中可以跨越多行的代碼，在文檔字符串中是很常用的（記錄功能的Python方式）。作為一個轉(zhuǎn)義字符。請注意，Python中的字符串是不可變的，所以你不能改變字符串的部分。 元組元組由一系列由逗號分隔的值表示。元組是不可變的，輸出的用括號包圍，目的是嵌套結(jié)構(gòu)可以被正確處理。此外，盡管元組是不可變的，但它們可以在必要是含有可變數(shù)據(jù)。 因為元組是不可變的，不可改變的，他們相對列表來說可以處理的更快。因此，如果你的清單是不可能改變的，你應(yīng)該使用元組，而不是列表。 字典字典是鍵：值對一個

10、無序集合，要求鍵是唯一的（在一個字典里）。一對大括號創(chuàng)建一個空的字典： 。Python的迭代和條件結(jié)構(gòu) 和大多數(shù)語言一樣，Python也有一個FOR循環(huán)，這是最廣泛使用的迭代方法。它有一個簡單的語法： 這里的“Python的迭代可以是列表、元組或其他先進的數(shù)據(jù)結(jié)構(gòu)，我們將在后面的章節(jié)中探討。讓我們來看看一個簡單的例子，確定一個數(shù)字的因子。 來看看條件語句，它們是用來基于條件執(zhí)行代碼片段。最常用的結(jié)構(gòu)是if-else，有以下語法： 例如，如果我們想打印出某個數(shù)字n是偶數(shù)還是奇數(shù)： 既然你熟悉了Python的基礎(chǔ)，我們來更近一步。如果你像完成以下任務(wù)：1. 乘2矩陣2. 求二次方程的根3. 繪制條

11、形圖和直方圖4. 建立統(tǒng)計模型5. 訪問網(wǎng)頁 如果你想從零開始寫代碼，它將是一場噩夢，你使用Python不會超過2天！但不要擔(dān)心這些。值得慶幸的是，有許多預(yù)定義的庫，我們可以直接導(dǎo)入到我們的代碼，使我們的生活很容易。例如，考慮我們剛才看到的因子的例子。我們可以一步就完成： 當(dāng)然，為了這樣我們需要導(dǎo)入的math庫。讓我們探索下一個不同的庫。Python庫 在開始我們的學(xué)習(xí)Python之旅之前，讓我們先一步，了解一些有用的python庫。第一步顯然是要學(xué)會將它們導(dǎo)入到我們的環(huán)境中。在Python中有以下幾種方法： 在第一種方式中，我們已經(jīng)為math庫定義了一個別名m?，F(xiàn)在我們可以使用數(shù)學(xué)庫的各種功

12、能（例如階乘, 通過引用別名m.factorial() 。 第二方式，你需要導(dǎo)入math的整個命名空間，你可以直接使用factorial()，而不用提到math。提示：谷歌推薦您使用第一種方式導(dǎo)入庫，因為您將知道函數(shù)來自何處。 下面是一個庫列表，你將在任何科學(xué)計算和數(shù)據(jù)分析中用到： NumPy代表數(shù)值Python。NumPy最強大的功能是n維數(shù)組。該庫還包含基本的線性代數(shù)函數(shù)，傅里葉變換，高級的隨機數(shù)功能，以及集成其他低級語言如Fortran，C和C+的工具。 SciPy代表科學(xué)的Python。SciPy是基于NumPy的。它是最有用的庫之一，具有各種高層次的科學(xué)和工程模塊，如離散傅立葉變換，

13、線性代數(shù)，優(yōu)化和稀疏矩陣。 Matplotlib用于繪制各種各樣的圖表，從直方圖到線圖，再到熱圖。你可以在IPython notebook中使用PyLab（IPython notebookPyLab = inline）以此使用這些繪圖功能的inline。如果你忽略inline選項， PyLab 會將IPython notebook環(huán)境轉(zhuǎn)換成類似于Matlab的環(huán)境。你也可以使用 Latex命令將math庫添加到您的繪圖中。 Pandas對于結(jié)構(gòu)化數(shù)據(jù)操作和控制。它廣泛用于數(shù)據(jù)再加工和數(shù)據(jù)準(zhǔn)備。Pandas說最近一直在推動對Python Python的使用數(shù)據(jù)科學(xué)家共同體的工具。 Scikit

14、Learn機器學(xué)習(xí)庫。建立在NumPy、SciPy和matplotlib的基礎(chǔ)上，這個庫包含了機器學(xué)習(xí)和統(tǒng)計模型包括分類、回歸、聚類和降維等很多有效的工具。 Statsmodels用于統(tǒng)計建模。statsmodels是一個Python模塊，允許用戶探索數(shù)據(jù)，估計統(tǒng)計模型，并進行統(tǒng)計檢驗。一個廣泛的描述性統(tǒng)計，統(tǒng)計檢驗的列表。繪圖功能，和結(jié)果統(tǒng)計可用于不同類型的數(shù)據(jù)和每個估計。 Seaborn用于統(tǒng)計數(shù)據(jù)的可視化。Seaborn是Python中用來繪制讓人喜歡的并能提供大量信息的統(tǒng)計圖形庫。它是基于matplotlib。Seaborn旨在使可視化成為探索和理解數(shù)據(jù)的核心部分。 Bokeh創(chuàng)建交互

15、式圖、儀表盤和現(xiàn)代Web瀏覽器上的數(shù)據(jù)應(yīng)用。它允許用戶生成的優(yōu)雅和簡潔的d3.js風(fēng)格的圖形。此外，在非常大的或流媒體數(shù)據(jù)集上，它具有高性能的交互性的能力。 Blaze擴展NumPy和Pandas的分布式和流媒體數(shù)據(jù)集。它可以用來訪問來自多種來源的數(shù)據(jù)，包括bcolz，MongoDB，SQLAlchemy，Apache Spark, PyTables等等，結(jié)合Bokeh，Blaze可以作為一個非常強大的工具，用于對大規(guī)模數(shù)據(jù)創(chuàng)建高效的的可視化和儀表板。 Scrapy用于網(wǎng)絡(luò)爬蟲。它是用于獲取特定數(shù)據(jù)模式的一個非常有用的框架，。它可以通過開始的一個網(wǎng)站主頁的網(wǎng)址，然后通過挖掘網(wǎng)頁內(nèi)的網(wǎng)站收集信息

16、。 SymPy用于符號計算。它具有廣泛的功能，從基本的符號運算到微積分，代數(shù)，離散數(shù)學(xué)和量子物理學(xué)。另一個有用的功能是將計算的結(jié)果格式化為LaTeX碼的能力。 Requests用于訪問網(wǎng)絡(luò)。它的工作原理類似于Python標(biāo)準(zhǔn)庫urllib2，但是更容易編碼。但對于初學(xué)者，你會發(fā)現(xiàn)和urllib2細微的差別，Requests可能更方便。 其它的庫，你可能需要： os 用于操作系統(tǒng)和文件操作 networkx和 igraph基于數(shù)據(jù)操作繪制圖形 regular expressions 用于在文本數(shù)據(jù)中查找模式 BeautifulSoup將探索Web。它不如Scrapy，它一次運行將從一個單一的網(wǎng)頁

17、中提取信息。 現(xiàn)在我們已經(jīng)熟悉Python的基礎(chǔ)和更多的庫，讓我們深入到通過Python解決問題。是的，我的意思是做一個預(yù)測模型！在這個過程中，我們使用了一些強大的庫，也遇到了下一級的數(shù)據(jù)結(jié)構(gòu)。我們將帶你通過這3個關(guān)鍵階段：1. 數(shù)據(jù)探索從我們所擁有的數(shù)據(jù)中發(fā)現(xiàn)更多2. 數(shù)據(jù)修改清理數(shù)據(jù)和并修改它使它更適合用來統(tǒng)計建模3. 預(yù)測建模運行的實際算法，自得其樂3.在Python中使用Pandas進行探索性分析 為了進一步探索我們的數(shù)據(jù)，讓我把你介紹給另一種動物（好像Python是不夠的?。?Pandas Pandas是Python最有用的一種數(shù)據(jù)分析庫的我知道這些名字聽起來很奇怪，但堅持下去?。┧?/p>

18、們對于增加一直在增加Python在數(shù)據(jù)科學(xué)界的使用量起了很大的作用。我們現(xiàn)在將使用Pandas從Analytics Vidhya的競賽中讀數(shù)據(jù)集，進行探索性分析，建立我們的第一個基本分類算法來解決這一問題。 在加載數(shù)據(jù)之前，讓我們了解Pandas 中的2個關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)序列和數(shù)據(jù)框序列和數(shù)據(jù)框的簡介 序列可以被理解為一個1維標(biāo)記/索引數(shù)組。你可以通過這些標(biāo)簽訪問這個序列的各個元素。 一個數(shù)據(jù)框類似于Excel工作簿你可以使用列名來引用列，可以通過行號來訪問行數(shù)據(jù)，本質(zhì)的區(qū)別是，在數(shù)據(jù)幀中，列名和行號是列和行的索引。 More: 10 Minutes to Pandas實踐數(shù)據(jù)集貸款預(yù)測問題 您

19、可以從這里下載數(shù)據(jù)集。這里是變量的描述：讓我們從數(shù)據(jù)探索開始 開始，通過在你的你的終端/ Windows命令提示符鍵入下面的代碼，來以Inline Pylab模式啟動IPython界面： 這在PyLab環(huán)境下打開IPython notebook，其中有幾個有用的庫已經(jīng)導(dǎo)入。此外，你將能夠繪制您的數(shù)據(jù)內(nèi)聯(lián)，這對于互動的數(shù)據(jù)分析是一個非常好的環(huán)境。你可以通過鍵入以下命令，檢查環(huán)境是否正確的加載了（并獲得如下圖所示的輸出）：plot(arange(5)我目前在Linux上工作，并已將數(shù)據(jù)集存儲在以下位置：/home/kunal/Downloads/Loan_Prediction/train.csv導(dǎo)

20、入庫和數(shù)據(jù)集：下面是我們將在本教程中使用的庫： numpy matplotlib pandas 請注意，你不需要導(dǎo)入matplotlib和NumPy，因為是在PyLab環(huán)境下。但我仍然在代碼中保留了它們，以防你在不同的環(huán)境中使用代碼。 導(dǎo)入庫以后，你可以使用read_csv()函數(shù)讀數(shù)據(jù)集。這是直到這個階段的代碼：快速數(shù)據(jù)探索 一旦你讀取了數(shù)據(jù)，可以通過使用head()函數(shù)查看一下前幾行的數(shù)據(jù)： 這應(yīng)該打印10行?；蛘?，您也可以通過打印數(shù)據(jù)集來查看更多的行。 接下來，你可以使用describe()函數(shù)來查看數(shù)值字段的概要： describe()功能將提供計數(shù)、平均、標(biāo)準(zhǔn)差（STD），最小值，分

21、位數(shù)值和最大值（讀這篇文章來更新基本統(tǒng)計數(shù)據(jù)了解人口分布） 這里有幾個結(jié)論，你可以通過查看describe()函數(shù)的輸出得出：1. LoanAmount有 (614 592)22個缺失值2. Loan_Amount_Term 有(614 600) 14個缺失值3. Credit_History有 (614 564)50個缺失值4. 我們還可以看到84%的申請者有credit_history，怎么樣， credit_history的均值為0.84（記住，credit_history將那些有信用歷史的值設(shè)置為1，沒有的設(shè)置為0）5. ApplicantIncome 的分布似乎和expectatio

22、n呈線性關(guān)系，CoapplicantIncome也是。 請注意，我們通過比較的平均值和中位數(shù)，即50%位數(shù)，來得到偏差的概念。 對于非數(shù)值（例如property_area，credit_history等），我們可以看看頻率分布，了解他們是否有意義。頻率表可以通過以下命令打?。?同樣地，我們可以看看信用卡歷史的唯一值。注意，dfname column_name 是一個基本的索引技術(shù)，來訪問一個數(shù)據(jù)框的特定的列。它也可以是列的列表。想要了解更多信息，參考上面的“Pandas 10分鐘教程”的資源共享。分布分析 現(xiàn)在我們熟悉了基本的數(shù)據(jù)特征，讓我們研究不同變量的分布情況。讓我們從數(shù)字變量開始即app

23、licantincome和LoanAmount 我們通過繪制applicantincome的直方圖開始，使用下面的命令： 在這里，我們觀察到，有幾個極端值。這也是分箱值為50的原因，就是為了清楚地描述它的分布。 下一步，我們看箱線圖，了解分布。fare 的箱圖可以使用下面代碼繪制： 這證實了大量的離群值/極值的存在。這可以歸因于社會上的收入差距。部分原因源于這樣一個事實：我們正在查看不同的教育水平的人。讓我們根據(jù)他們所受的教育進行分組： 我們可以看到，研究生和非畢業(yè)生的平均收入之間沒有實質(zhì)性的區(qū)別。但是畢業(yè)生中高收入的人群更多，它們出現(xiàn)在異常值的點中。 現(xiàn)在，讓我們使用下面的命令看看LoanA

24、mount的直方圖和箱線圖： 再次，有一些異常的值。顯然，applicantincome和LoanAmount都需要進行一定的數(shù)據(jù)處理。 LoanAmount有一些缺失值以及一些異常的值，而applicantincome有一些異常值，需要更深入的了解。我們將在即將到來的部分完成這些。分類變量的分析 現(xiàn)在我們了解了applicantincome和loanincome的分布，讓我們了解更多關(guān)于分類變量的細節(jié)。我們將使用Excel數(shù)據(jù)透視表和交叉制表的風(fēng)格。例如，讓我們看看基于信用記錄，可以獲得貸款的可能性。這可以在微軟的Excel上使用一個透視表實現(xiàn)： 注：這里的貸款狀況已被編碼，使用1代表yes

25、，而0代表no，因此，所以均值代表了獲得貸款的概率。 現(xiàn)在我們將看看使用Python產(chǎn)生類似的效果所需要的步驟。請參考這篇文章，以使用Pandas獲得不同的數(shù)據(jù)操縱技術(shù)。 現(xiàn)在我們可以觀察到，我們得到一個像微軟的 Excel的pivot_table。這可以使用matplotlib庫繪制成條形圖，使用下面的代碼： 這表明，如果申請人有一個有效的信用記錄，獲得貸款的機會是沒有信用記錄的人的八倍。你可以根據(jù)Married, Self-Employed, Property_Area等繪制類似的圖。 或著，這兩個圖可以進行組合以后的可視化，使用堆疊圖表示： 你還可以再上圖中加入性別變量（類似于Excel

26、中的數(shù)據(jù)透視表） 如果你還沒有意識到，我們剛剛在這里創(chuàng)建了兩個基本的分類算法，一個基于信用歷史，而另一個基于2個分類變量（包括性別）。你可以在AV Datahacks上很快的編寫代碼來創(chuàng)建首次提交。 我們只看到我們?nèi)绾问褂肞ython中的Pandas做探索性分析。我希望你對大熊貓（動物）的愛現(xiàn)在增加了給予一些幫助，這個庫可以為你提供分析數(shù)據(jù)集。 接下來讓我們進一步探討applicantincome和loanstatus變量，進行數(shù)據(jù)修改和創(chuàng)建一個數(shù)據(jù)集并應(yīng)用各種建模技術(shù)。我強烈要求你采用另一個數(shù)據(jù)集和習(xí)題，并在進一步閱讀之前完成一個獨立的例子。在Python中使用Pandas進行數(shù)據(jù)再加工4.

27、數(shù)據(jù)修改翻新的需要對于那些一直跟下來的人來說，這時你必須穿上鞋才能開始跑。 在我們的探索數(shù)據(jù)期間，我們發(fā)現(xiàn)了數(shù)據(jù)集的一些問題，在數(shù)據(jù)準(zhǔn)備好建立一個好的模型之前需要解決。這個練習(xí)通常被稱為“數(shù)據(jù)修改”。這里是問題，我們已經(jīng)意識到的：1. 在一些變量中有缺失值。我們應(yīng)該基于丟失的值的數(shù)量明智地估計這些值并評估該變量的重要性。2. 當(dāng)我們查看數(shù)據(jù)的分布時，我們看到，applicantincome和LoanAmount似乎在兩端都含有極端值。雖然他們可能有直觀的感覺，但應(yīng)適當(dāng)處理。 除了數(shù)值領(lǐng)域的這些問題，我們也應(yīng)該看看非數(shù)值領(lǐng)域Gender, Property_Area, Married，Educa

28、tion 和 Dependents這些變量，看看它們是否包含任何有用的信息。 如果你是Pandas的新手，我建議在繼續(xù)前進之前閱讀這篇文章。它詳細介紹了一些有用的數(shù)據(jù)處理技術(shù)。檢查數(shù)據(jù)集中的缺失值 讓我們看看所有的變量中的缺失值，因為大多數(shù)模型不能處理有缺失值的數(shù)據(jù)，即使他們可以，輸入它們往往不能幫助更多。所以，讓我們看看數(shù)據(jù)集中空值/NAN值的數(shù)量： 這個命令告訴我們每一列中缺失值的數(shù)量，因為如果值為缺失值isnull()返回1。 雖然缺失值數(shù)量不是很多，但許多變量都有缺失值，它們中的每一個都應(yīng)該被估計和補充。通過這篇文章對不同的插值技術(shù)進行詳細了解。 注：記住，缺失值可能并不總是NaN。例

29、如，如果loan_amount_term是0，它是有意義的或者你認為是缺失的？我想你的答案是缺失的，你是對的。所以我們應(yīng)該檢查那些不切實際的值。如何填補LoanAmount的缺失值？ 有許多方法來填補價值貸款金額的缺失值，最簡單的就是使用均值來替換，可以通過以下代碼實現(xiàn)：另一個極端是可以建立一個監(jiān)督學(xué)習(xí)模型來基于其他變量預(yù)測貸款金額，然后使用年齡以及其他變量來預(yù)測。 既然，現(xiàn)在的目標(biāo)是講述數(shù)據(jù)修改的步驟，我寧愿采取一種方法，它介于這2個極端方法之間。一個關(guān)鍵的假設(shè)是，一個人是否受教育的或是否自雇人士可以結(jié)合起來，提供一個很好的貸款金額的估計。 首先，讓我們看看箱線圖看是否有某種趨勢存在： 因此

30、我們看到在每一組中貸款金額的中位數(shù)的一些變化而這可以用來估計值。但首先，我們必須確保每個self_employed和Education變量 不應(yīng)該有缺失值。 如我們先前所說，self_employed有缺失值。讓我們看看頻率表： 因為 86%的值是“No”，將缺失值估計為“No”是比較可靠的，有很高的成功概率。這可以用下面的代碼來完成： 現(xiàn)在，我們將創(chuàng)建一個數(shù)據(jù)透視表，它提供了我們所有Education和self_employed變量的唯一值分組的中位數(shù)。接下來，我們定義了一個函數(shù)，它返回這些單元格的值，并應(yīng)用它來填充丟失的貸款金額的值： 這應(yīng)該給你提供了一個估計貸款金額的缺失值好方法。如何處

31、理在LoanAmount和applicantincome分布中的極值？ 讓我們先分析LoanAmount。由于極端值可能是現(xiàn)實的的，即一些人可能會由于特定的需求，申請高額的貸款，。所以，不把它們當(dāng)做離群點對待，讓我們嘗試對數(shù)據(jù)轉(zhuǎn)換從而發(fā)揮它們的作用： 再看直方圖： 現(xiàn)在的分布看起來更接近標(biāo)準(zhǔn)的，極端值的影響已經(jīng)顯著消退。 來看看applicantincome。一種直覺可以是一些申請人有較低的收入，但有一個有力的支持，共同申請者。所以將兩者的收入結(jié)合起來作為總收入可能是一個好主意，并采取相同的對數(shù)變換。 現(xiàn)在我們看到，分布比以前好多了。我會把Gender, Married, Dependents

32、, Loan_Amount_Term, Credit_History等缺失值的估計留給你。此外，我鼓勵你考慮可能的額外的信息，可以來自數(shù)據(jù)。例如，創(chuàng)建一個LoanAmount/TotalIncome列可能會有意義，因為它能給你一個關(guān)于申請人如何償還他的貸款的好想法。 下一步，我們將研究預(yù)測模型。5. 使用Python中建立預(yù)測模型 之后，我們已經(jīng)使數(shù)據(jù)可以用于建模，現(xiàn)在讓我們來看看Python代碼，來在我們的數(shù)據(jù)集上創(chuàng)建一個預(yù)測模型。Skicit-kearn（sklearn）是Python中最常用于此目的的庫，我們將跟隨這條小徑。我建議你通過這篇文章來復(fù)習(xí)進修sklearn。 因為，sklea

33、rn要求所有輸入都是數(shù)字，我們應(yīng)該通過編碼類別將我們所有的分類變量轉(zhuǎn)換為數(shù)值型。這可以用下面的代碼來完成： 下一步，我們將導(dǎo)入所需的模塊。然后，我們將定義一個通用的分類函數(shù)，它需要一個模型作為輸入，并確定準(zhǔn)確性度和交叉驗證分?jǐn)?shù)。由于這是一篇介紹性文章，我將不會進入編碼的細節(jié)。請參考這篇文章得到詳細的算法以及R和Python的代碼。此外，通過本文復(fù)習(xí)一下交叉驗證會更好，因為它是一個非常重要的性能測量方法。邏輯回歸 讓我們做我們的第一個邏輯回歸模型。一個方法就是把所有的變量都加入模型，這可能會導(dǎo)致過度擬合（如果你還不知道這個術(shù)語，不要擔(dān)心）。簡單的說，考慮所有的變量可能會導(dǎo)致模型的理解出比較復(fù)雜的

34、關(guān)系，對于具體的數(shù)據(jù)，不能很好的概括。閱讀更多關(guān)于邏輯回歸。 我們可以很容易地作出一些直觀的假設(shè)來設(shè)定啟動資金。獲得貸款的機會將更高：1. 有信用記錄的申請人（記得我們在探索時觀察到的？）2. 申請人或著共同申請人具有較高收入的申請3. 申請人具有較高的教育水平屬性4. 在具有高增長前景的城市地區(qū) 讓我們使用credit_history建立我們的第一個模型。 準(zhǔn)確度：80.946% 交叉驗證得分：80.945% 準(zhǔn)確度：80.946% 交叉驗證得分：80.945% 一般來說，我們期望通過增加變量來提高準(zhǔn)確度。但這是一個更具挑戰(zhàn)性的案例。準(zhǔn)確度和交叉驗證得分不受那些影響較小變量的影響。credit_history主導(dǎo)模式。我們現(xiàn)在有兩個選擇：1. 工程特征：導(dǎo)出新信息并試圖預(yù)測。我將把這留給你的創(chuàng)造力。2. 更好的建模技術(shù)。讓我們探索這個下一個。決策樹 決策樹是建立預(yù)測模型的另一種方法。它能比邏輯回歸模型提供