python數(shù)據(jù)分析

1、python數(shù)據(jù)分析(pandas)幾年后發(fā)生了。在使用SAS工作超過5年后，我決定走出自己的舒適區(qū)。作為一個(gè)數(shù)據(jù)科學(xué)家，我尋找其他有用的工具的旅程開始了！幸運(yùn)的是，沒過多久我就決定，Python作為我的開胃菜。 我總是有一個(gè)編寫代碼的傾向。這次我做的是我真正喜歡的。代碼。原來，寫代碼是如此容易！ 我一周內(nèi)學(xué)會(huì)了Python基礎(chǔ)。并且，從那時(shí)起，我不僅深度探索了這門語言，而且也幫助了許多人學(xué)習(xí)這門語言。Python是一種通用語言。但是，多年來，具有強(qiáng)大的社區(qū)支持，這一語言已經(jīng)有了專門的數(shù)據(jù)分析和預(yù)測(cè)模型庫。 由于Python缺乏數(shù)據(jù)科學(xué)的資源，我決定寫這篇教程來幫助別人更快地學(xué)習(xí)Python。

2、在本教程中，我們將講授一點(diǎn)關(guān)于如何使用Python進(jìn)行數(shù)據(jù)分析的信息，咀嚼它，直到我們覺得舒適并可以自己去實(shí)踐。目錄1. 數(shù)據(jù)分析的Python基礎(chǔ)o 為什么學(xué)Python用來數(shù)據(jù)分析o Python 2.7 v/s 3.4o 怎樣安裝Pythono 在Python上運(yùn)行一些簡(jiǎn)單程序2. Python的庫和數(shù)據(jù)結(jié)構(gòu)o Python的數(shù)據(jù)結(jié)構(gòu)o Python的迭代和條件結(jié)構(gòu)o Python庫3. 在Python中使用Pandas進(jìn)行探索性分析o 序列和數(shù)據(jù)框的簡(jiǎn)介o 分析Vidhya數(shù)據(jù)集貸款的預(yù)測(cè)問題4. 在Python中使用Pandas進(jìn)行數(shù)據(jù)再加工5. 使用Python中建立預(yù)測(cè)模型o 邏

3、輯回歸o 決策樹o 隨機(jī)森林讓我們開始吧1.數(shù)據(jù)分析的Python基礎(chǔ)為什么學(xué)Python用來數(shù)據(jù)分析 很多人都有興趣選擇Python作為數(shù)據(jù)分析語言。這一段時(shí)間以來，我有比較過SAS和R。這里有一些原因來支持學(xué)習(xí)Python： 開源免費(fèi)安裝 極好的在線社區(qū) 很容易學(xué)習(xí) 可以成為一種通用的語言，用于基于Web的分析產(chǎn)品數(shù)據(jù)科學(xué)和生產(chǎn)中。 不用說，它仍然有幾個(gè)缺點(diǎn)： 它是一種解釋性的語言，而不是編譯的語言，因此可能占用更多的CPU時(shí)間。然而，由于它節(jié)省了程序員的時(shí)間（由于學(xué)習(xí)的方便），它可能仍然是一個(gè)很好的選擇。Python 2.7 v/s 3.4 這是關(guān)于Python的一個(gè)最具爭(zhēng)議的話題。你可

4、能總是不能避免遇到，尤其是如果你是一個(gè)初學(xué)者。這里沒有正確/錯(cuò)誤的選擇。它完全取決于具體情況和你的需要。我會(huì)嘗試給你一些建議，以幫助你做出明智的選擇。為什么選擇Python 2.71. 極好的社區(qū)支持！這是你在初期需要的東西。Python 2發(fā)行于2000年末，已經(jīng)被使用超過15年。2. 很多第三方庫！雖然許多庫已經(jīng)提供了3.X的支持，但仍然有大量的模塊只工作在2.X。如果你計(jì)劃將Python用于具體的應(yīng) 用，如Web開發(fā)這種高度依賴外部模塊的，你選擇2.7可能會(huì)更好。3. 3.X版本的一些特性有向后兼容性，可以使用2.7版本。為什么選擇Python 3.41. 更整齊和更快！Python開發(fā)

5、者修正了一些固有的問題和小缺點(diǎn)，以此為未來建立一個(gè)強(qiáng)大的基礎(chǔ)。這些可能不是很相關(guān)，但最終會(huì)很重要。2. 這是未來！2.7是2 .X族發(fā)布的最后一個(gè)版本，并且最終每個(gè)人都要轉(zhuǎn)移到3.X版本。Python 3在過去5年已經(jīng)發(fā)布的穩(wěn)定版本，并將繼續(xù)。 沒有明確的贏家，但我想，底線是，你應(yīng)該專注于學(xué)習(xí)Python語言。版本之間的轉(zhuǎn)換應(yīng)該只是一個(gè)時(shí)間問題。敬請(qǐng)期待，不久的將來一個(gè)專門對(duì)比Python 2.X和3 X的文章！怎樣安裝Python有兩種方法安裝Python 你可以直接從項(xiàng)目網(wǎng)站下載Python，然后單獨(dú)安裝你想要的組件和庫 或者，你可以下載并安裝一個(gè)包，它附帶了預(yù)裝的庫。我建議您下載Anac

6、onda。另一種選擇是 Enthought Canopy Express。第二種方法提供了一個(gè)避免麻煩的安裝，因此我會(huì)推薦給初學(xué)者。這種方法是你必須等待整個(gè)包進(jìn)行升級(jí)， 即使你只是對(duì)一個(gè)單一的庫的最新版本感興趣。它應(yīng)該不重要，直到和除非，直到和除非，你正在做的尖端統(tǒng)計(jì)研究。選擇開發(fā)環(huán)境 一旦你已經(jīng)安裝了Python，選擇環(huán)境可以有很多種選擇。這里是3個(gè)最常見的選擇： 終端/基于Shell IDLE(默認(rèn)環(huán)境) iPython notebook 類似于R的markdown 而環(huán)境權(quán)取決于你的需要，我個(gè)人更喜歡iPython notebook一點(diǎn) 。它提供了許多良好的功能，編寫代碼的同時(shí)還可以用于

7、記錄，你可以選擇在上面運(yùn)行代碼塊（而不是一行一行的執(zhí)行）。我們?cè)谡麄€(gè)教程中將使用Ipython 環(huán)境熱身：跑第一個(gè)Python程序 你可以使用Python作為一個(gè)簡(jiǎn)單的計(jì)算器來開始：有一些事情需要注意： 你可以在你的終端/ CMD鍵入“IPython notebook”來啟動(dòng)IPython notebook，這取決于你的工作在操作系統(tǒng) 你可以通過簡(jiǎn)單地點(diǎn)擊上面截圖中的名字來對(duì)IPython notebook命名 界面顯示In*代表輸入和Out*代表輸出。 你可以通過按“Shift + Enter”或“ALT + Enter”來執(zhí)行代碼，如果你后面還想插入一行。 在我們深入挖掘如何解決問題之前，

8、讓我們退后一步，了解Python的基本知識(shí)。當(dāng)我們知道數(shù)據(jù)結(jié)構(gòu)和迭代和條件結(jié)構(gòu)是形成任何語言的關(guān)鍵。在Python中，這些包括列表、字符串、元組、字典、for循環(huán)，while循環(huán)，if-else等等，讓我們來看看下面的因素。2 .在Python上運(yùn)行一些簡(jiǎn)單程序Python的數(shù)據(jù)結(jié)構(gòu) 以下是Python中使用的一些數(shù)據(jù)結(jié)構(gòu)。你應(yīng)該熟悉他們，以便恰當(dāng)?shù)氖褂盟鼈儭?列表列表是在Python中最通用的數(shù)據(jù)結(jié)構(gòu)。列表可以這樣簡(jiǎn)單的定義：就是在方括號(hào)中一系列用逗號(hào)來分隔的值。列表可能包含不同類型的項(xiàng)，但它們通常都有相同類型的。Python列表是可變的，列表中的單個(gè)元素是可以改變的。 這里是一個(gè)快速的例子

9、，定義了一個(gè)列表，然后訪問它： 字符串字符串可以簡(jiǎn)單的使用單引號(hào)（）、雙引號(hào)（”）或三引號(hào)（）來定義。字符串封閉三引號(hào)（）中可以跨越多行的代碼，在文檔字符串中是很常用的（記錄功能的Python方式）。作為一個(gè)轉(zhuǎn)義字符。請(qǐng)注意，Python中的字符串是不可變的，所以你不能改變字符串的部分。 元組元組由一系列由逗號(hào)分隔的值表示。元組是不可變的，輸出的用括號(hào)包圍，目的是嵌套結(jié)構(gòu)可以被正確處理。此外，盡管元組是不可變的，但它們可以在必要是含有可變數(shù)據(jù)。 因?yàn)樵M是不可變的，不可改變的，他們相對(duì)列表來說可以處理的更快。因此，如果你的清單是不可能改變的，你應(yīng)該使用元組，而不是列表。 字典字典是鍵：值對(duì)一個(gè)

10、無序集合，要求鍵是唯一的（在一個(gè)字典里）。一對(duì)大括號(hào)創(chuàng)建一個(gè)空的字典： 。Python的迭代和條件結(jié)構(gòu) 和大多數(shù)語言一樣，Python也有一個(gè)FOR循環(huán)，這是最廣泛使用的迭代方法。它有一個(gè)簡(jiǎn)單的語法： 這里的“Python的迭代可以是列表、元組或其他先進(jìn)的數(shù)據(jù)結(jié)構(gòu)，我們將在后面的章節(jié)中探討。讓我們來看看一個(gè)簡(jiǎn)單的例子，確定一個(gè)數(shù)字的因子。 來看看條件語句，它們是用來基于條件執(zhí)行代碼片段。最常用的結(jié)構(gòu)是if-else，有以下語法： 例如，如果我們想打印出某個(gè)數(shù)字n是偶數(shù)還是奇數(shù)： 既然你熟悉了Python的基礎(chǔ)，我們來更近一步。如果你像完成以下任務(wù)：1. 乘2矩陣2. 求二次方程的根3. 繪制條

11、形圖和直方圖4. 建立統(tǒng)計(jì)模型5. 訪問網(wǎng)頁 如果你想從零開始寫代碼，它將是一場(chǎng)噩夢(mèng)，你使用Python不會(huì)超過2天！但不要擔(dān)心這些。值得慶幸的是，有許多預(yù)定義的庫，我們可以直接導(dǎo)入到我們的代碼，使我們的生活很容易。例如，考慮我們剛才看到的因子的例子。我們可以一步就完成： 當(dāng)然，為了這樣我們需要導(dǎo)入的math庫。讓我們探索下一個(gè)不同的庫。Python庫 在開始我們的學(xué)習(xí)Python之旅之前，讓我們先一步，了解一些有用的python庫。第一步顯然是要學(xué)會(huì)將它們導(dǎo)入到我們的環(huán)境中。在Python中有以下幾種方法： 在第一種方式中，我們已經(jīng)為math庫定義了一個(gè)別名m?，F(xiàn)在我們可以使用數(shù)學(xué)庫的各種功

12、能（例如階乘, 通過引用別名m.factorial() 。 第二方式，你需要導(dǎo)入math的整個(gè)命名空間，你可以直接使用factorial()，而不用提到math。提示：谷歌推薦您使用第一種方式導(dǎo)入庫，因?yàn)槟鷮⒅篮瘮?shù)來自何處。 下面是一個(gè)庫列表，你將在任何科學(xué)計(jì)算和數(shù)據(jù)分析中用到： NumPy代表數(shù)值Python。NumPy最強(qiáng)大的功能是n維數(shù)組。該庫還包含基本的線性代數(shù)函數(shù)，傅里葉變換，高級(jí)的隨機(jī)數(shù)功能，以及集成其他低級(jí)語言如Fortran，C和C+的工具。 SciPy代表科學(xué)的Python。SciPy是基于NumPy的。它是最有用的庫之一，具有各種高層次的科學(xué)和工程模塊，如離散傅立葉變換，

13、線性代數(shù)，優(yōu)化和稀疏矩陣。 Matplotlib用于繪制各種各樣的圖表，從直方圖到線圖，再到熱圖。你可以在IPython notebook中使用PyLab（IPython notebookPyLab = inline）以此使用這些繪圖功能的inline。如果你忽略inline選項(xiàng)， PyLab 會(huì)將IPython notebook環(huán)境轉(zhuǎn)換成類似于Matlab的環(huán)境。你也可以使用 Latex命令將math庫添加到您的繪圖中。 Pandas對(duì)于結(jié)構(gòu)化數(shù)據(jù)操作和控制。它廣泛用于數(shù)據(jù)再加工和數(shù)據(jù)準(zhǔn)備。Pandas說最近一直在推動(dòng)對(duì)Python Python的使用數(shù)據(jù)科學(xué)家共同體的工具。 Scikit

14、Learn機(jī)器學(xué)習(xí)庫。建立在NumPy、SciPy和matplotlib的基礎(chǔ)上，這個(gè)庫包含了機(jī)器學(xué)習(xí)和統(tǒng)計(jì)模型包括分類、回歸、聚類和降維等很多有效的工具。 Statsmodels用于統(tǒng)計(jì)建模。statsmodels是一個(gè)Python模塊，允許用戶探索數(shù)據(jù)，估計(jì)統(tǒng)計(jì)模型，并進(jìn)行統(tǒng)計(jì)檢驗(yàn)。一個(gè)廣泛的描述性統(tǒng)計(jì)，統(tǒng)計(jì)檢驗(yàn)的列表。繪圖功能，和結(jié)果統(tǒng)計(jì)可用于不同類型的數(shù)據(jù)和每個(gè)估計(jì)。 Seaborn用于統(tǒng)計(jì)數(shù)據(jù)的可視化。Seaborn是Python中用來繪制讓人喜歡的并能提供大量信息的統(tǒng)計(jì)圖形庫。它是基于matplotlib。Seaborn旨在使可視化成為探索和理解數(shù)據(jù)的核心部分。 Bokeh創(chuàng)建交互

15、式圖、儀表盤和現(xiàn)代Web瀏覽器上的數(shù)據(jù)應(yīng)用。它允許用戶生成的優(yōu)雅和簡(jiǎn)潔的d3.js風(fēng)格的圖形。此外，在非常大的或流媒體數(shù)據(jù)集上，它具有高性能的交互性的能力。 Blaze擴(kuò)展NumPy和Pandas的分布式和流媒體數(shù)據(jù)集。它可以用來訪問來自多種來源的數(shù)據(jù)，包括bcolz，MongoDB，SQLAlchemy，Apache Spark, PyTables等等，結(jié)合Bokeh，Blaze可以作為一個(gè)非常強(qiáng)大的工具，用于對(duì)大規(guī)模數(shù)據(jù)創(chuàng)建高效的的可視化和儀表板。 Scrapy用于網(wǎng)絡(luò)爬蟲。它是用于獲取特定數(shù)據(jù)模式的一個(gè)非常有用的框架，。它可以通過開始的一個(gè)網(wǎng)站主頁的網(wǎng)址，然后通過挖掘網(wǎng)頁內(nèi)的網(wǎng)站收集信息

16、。 SymPy用于符號(hào)計(jì)算。它具有廣泛的功能，從基本的符號(hào)運(yùn)算到微積分，代數(shù)，離散數(shù)學(xué)和量子物理學(xué)。另一個(gè)有用的功能是將計(jì)算的結(jié)果格式化為L(zhǎng)aTeX碼的能力。 Requests用于訪問網(wǎng)絡(luò)。它的工作原理類似于Python標(biāo)準(zhǔn)庫urllib2，但是更容易編碼。但對(duì)于初學(xué)者，你會(huì)發(fā)現(xiàn)和urllib2細(xì)微的差別，Requests可能更方便。 其它的庫，你可能需要： os 用于操作系統(tǒng)和文件操作 networkx和 igraph基于數(shù)據(jù)操作繪制圖形 regular expressions 用于在文本數(shù)據(jù)中查找模式 BeautifulSoup將探索Web。它不如Scrapy，它一次運(yùn)行將從一個(gè)單一的網(wǎng)頁

17、中提取信息。 現(xiàn)在我們已經(jīng)熟悉Python的基礎(chǔ)和更多的庫，讓我們深入到通過Python解決問題。是的，我的意思是做一個(gè)預(yù)測(cè)模型！在這個(gè)過程中，我們使用了一些強(qiáng)大的庫，也遇到了下一級(jí)的數(shù)據(jù)結(jié)構(gòu)。我們將帶你通過這3個(gè)關(guān)鍵階段：1. 數(shù)據(jù)探索從我們所擁有的數(shù)據(jù)中發(fā)現(xiàn)更多2. 數(shù)據(jù)修改清理數(shù)據(jù)和并修改它使它更適合用來統(tǒng)計(jì)建模3. 預(yù)測(cè)建模運(yùn)行的實(shí)際算法，自得其樂3.在Python中使用Pandas進(jìn)行探索性分析 為了進(jìn)一步探索我們的數(shù)據(jù)，讓我把你介紹給另一種動(dòng)物（好像Python是不夠的?。?Pandas Pandas是Python最有用的一種數(shù)據(jù)分析庫的我知道這些名字聽起來很奇怪，但堅(jiān)持下去?。┧?/p>

18、們對(duì)于增加一直在增加Python在數(shù)據(jù)科學(xué)界的使用量起了很大的作用。我們現(xiàn)在將使用Pandas從Analytics Vidhya的競(jìng)賽中讀數(shù)據(jù)集，進(jìn)行探索性分析，建立我們的第一個(gè)基本分類算法來解決這一問題。 在加載數(shù)據(jù)之前，讓我們了解Pandas 中的2個(gè)關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)序列和數(shù)據(jù)框序列和數(shù)據(jù)框的簡(jiǎn)介 序列可以被理解為一個(gè)1維標(biāo)記/索引數(shù)組。你可以通過這些標(biāo)簽訪問這個(gè)序列的各個(gè)元素。 一個(gè)數(shù)據(jù)框類似于Excel工作簿你可以使用列名來引用列，可以通過行號(hào)來訪問行數(shù)據(jù)，本質(zhì)的區(qū)別是，在數(shù)據(jù)幀中，列名和行號(hào)是列和行的索引。 More: 10 Minutes to Pandas實(shí)踐數(shù)據(jù)集貸款預(yù)測(cè)問題 您

19、可以從這里下載數(shù)據(jù)集。這里是變量的描述：讓我們從數(shù)據(jù)探索開始 開始，通過在你的你的終端/ Windows命令提示符鍵入下面的代碼，來以Inline Pylab模式啟動(dòng)IPython界面： 這在PyLab環(huán)境下打開IPython notebook，其中有幾個(gè)有用的庫已經(jīng)導(dǎo)入。此外，你將能夠繪制您的數(shù)據(jù)內(nèi)聯(lián)，這對(duì)于互動(dòng)的數(shù)據(jù)分析是一個(gè)非常好的環(huán)境。你可以通過鍵入以下命令，檢查環(huán)境是否正確的加載了（并獲得如下圖所示的輸出）：plot(arange(5)我目前在Linux上工作，并已將數(shù)據(jù)集存儲(chǔ)在以下位置：/home/kunal/Downloads/Loan_Prediction/train.csv導(dǎo)

20、入庫和數(shù)據(jù)集：下面是我們將在本教程中使用的庫： numpy matplotlib pandas 請(qǐng)注意，你不需要導(dǎo)入matplotlib和NumPy，因?yàn)槭窃赑yLab環(huán)境下。但我仍然在代碼中保留了它們，以防你在不同的環(huán)境中使用代碼。 導(dǎo)入庫以后，你可以使用read_csv()函數(shù)讀數(shù)據(jù)集。這是直到這個(gè)階段的代碼：快速數(shù)據(jù)探索 一旦你讀取了數(shù)據(jù)，可以通過使用head()函數(shù)查看一下前幾行的數(shù)據(jù)： 這應(yīng)該打印10行?；蛘?，您也可以通過打印數(shù)據(jù)集來查看更多的行。 接下來，你可以使用describe()函數(shù)來查看數(shù)值字段的概要： describe()功能將提供計(jì)數(shù)、平均、標(biāo)準(zhǔn)差（STD），最小值，分

21、位數(shù)值和最大值（讀這篇文章來更新基本統(tǒng)計(jì)數(shù)據(jù)了解人口分布） 這里有幾個(gè)結(jié)論，你可以通過查看describe()函數(shù)的輸出得出：1. LoanAmount有 (614 592)22個(gè)缺失值2. Loan_Amount_Term 有(614 600) 14個(gè)缺失值3. Credit_History有 (614 564)50個(gè)缺失值4. 我們還可以看到84%的申請(qǐng)者有credit_history，怎么樣， credit_history的均值為0.84（記住，credit_history將那些有信用歷史的值設(shè)置為1，沒有的設(shè)置為0）5. ApplicantIncome 的分布似乎和expectatio

22、n呈線性關(guān)系，CoapplicantIncome也是。 請(qǐng)注意，我們通過比較的平均值和中位數(shù)，即50%位數(shù)，來得到偏差的概念。 對(duì)于非數(shù)值（例如property_area，credit_history等），我們可以看看頻率分布，了解他們是否有意義。頻率表可以通過以下命令打印： 同樣地，我們可以看看信用卡歷史的唯一值。注意，dfname column_name 是一個(gè)基本的索引技術(shù)，來訪問一個(gè)數(shù)據(jù)框的特定的列。它也可以是列的列表。想要了解更多信息，參考上面的“Pandas 10分鐘教程”的資源共享。分布分析 現(xiàn)在我們熟悉了基本的數(shù)據(jù)特征，讓我們研究不同變量的分布情況。讓我們從數(shù)字變量開始即app

23、licantincome和LoanAmount 我們通過繪制applicantincome的直方圖開始，使用下面的命令： 在這里，我們觀察到，有幾個(gè)極端值。這也是分箱值為50的原因，就是為了清楚地描述它的分布。 下一步，我們看箱線圖，了解分布。fare 的箱圖可以使用下面代碼繪制： 這證實(shí)了大量的離群值/極值的存在。這可以歸因于社會(huì)上的收入差距。部分原因源于這樣一個(gè)事實(shí)：我們正在查看不同的教育水平的人。讓我們根據(jù)他們所受的教育進(jìn)行分組： 我們可以看到，研究生和非畢業(yè)生的平均收入之間沒有實(shí)質(zhì)性的區(qū)別。但是畢業(yè)生中高收入的人群更多，它們出現(xiàn)在異常值的點(diǎn)中。 現(xiàn)在，讓我們使用下面的命令看看LoanA

24、mount的直方圖和箱線圖： 再次，有一些異常的值。顯然，applicantincome和LoanAmount都需要進(jìn)行一定的數(shù)據(jù)處理。 LoanAmount有一些缺失值以及一些異常的值，而applicantincome有一些異常值，需要更深入的了解。我們將在即將到來的部分完成這些。分類變量的分析 現(xiàn)在我們了解了applicantincome和loanincome的分布，讓我們了解更多關(guān)于分類變量的細(xì)節(jié)。我們將使用Excel數(shù)據(jù)透視表和交叉制表的風(fēng)格。例如，讓我們看看基于信用記錄，可以獲得貸款的可能性。這可以在微軟的Excel上使用一個(gè)透視表實(shí)現(xiàn)： 注：這里的貸款狀況已被編碼，使用1代表yes

25、，而0代表no，因此，所以均值代表了獲得貸款的概率。 現(xiàn)在我們將看看使用Python產(chǎn)生類似的效果所需要的步驟。請(qǐng)參考這篇文章，以使用Pandas獲得不同的數(shù)據(jù)操縱技術(shù)。 現(xiàn)在我們可以觀察到，我們得到一個(gè)像微軟的 Excel的pivot_table。這可以使用matplotlib庫繪制成條形圖，使用下面的代碼： 這表明，如果申請(qǐng)人有一個(gè)有效的信用記錄，獲得貸款的機(jī)會(huì)是沒有信用記錄的人的八倍。你可以根據(jù)Married, Self-Employed, Property_Area等繪制類似的圖。 或著，這兩個(gè)圖可以進(jìn)行組合以后的可視化，使用堆疊圖表示： 你還可以再上圖中加入性別變量（類似于Excel

26、中的數(shù)據(jù)透視表） 如果你還沒有意識(shí)到，我們剛剛在這里創(chuàng)建了兩個(gè)基本的分類算法，一個(gè)基于信用歷史，而另一個(gè)基于2個(gè)分類變量（包括性別）。你可以在AV Datahacks上很快的編寫代碼來創(chuàng)建首次提交。 我們只看到我們?nèi)绾问褂肞ython中的Pandas做探索性分析。我希望你對(duì)大熊貓（動(dòng)物）的愛現(xiàn)在增加了給予一些幫助，這個(gè)庫可以為你提供分析數(shù)據(jù)集。 接下來讓我們進(jìn)一步探討applicantincome和loanstatus變量，進(jìn)行數(shù)據(jù)修改和創(chuàng)建一個(gè)數(shù)據(jù)集并應(yīng)用各種建模技術(shù)。我強(qiáng)烈要求你采用另一個(gè)數(shù)據(jù)集和習(xí)題，并在進(jìn)一步閱讀之前完成一個(gè)獨(dú)立的例子。在Python中使用Pandas進(jìn)行數(shù)據(jù)再加工4.

27、數(shù)據(jù)修改翻新的需要對(duì)于那些一直跟下來的人來說，這時(shí)你必須穿上鞋才能開始跑。 在我們的探索數(shù)據(jù)期間，我們發(fā)現(xiàn)了數(shù)據(jù)集的一些問題，在數(shù)據(jù)準(zhǔn)備好建立一個(gè)好的模型之前需要解決。這個(gè)練習(xí)通常被稱為“數(shù)據(jù)修改”。這里是問題，我們已經(jīng)意識(shí)到的：1. 在一些變量中有缺失值。我們應(yīng)該基于丟失的值的數(shù)量明智地估計(jì)這些值并評(píng)估該變量的重要性。2. 當(dāng)我們查看數(shù)據(jù)的分布時(shí)，我們看到，applicantincome和LoanAmount似乎在兩端都含有極端值。雖然他們可能有直觀的感覺，但應(yīng)適當(dāng)處理。 除了數(shù)值領(lǐng)域的這些問題，我們也應(yīng)該看看非數(shù)值領(lǐng)域Gender, Property_Area, Married，Educa

28、tion 和 Dependents這些變量，看看它們是否包含任何有用的信息。 如果你是Pandas的新手，我建議在繼續(xù)前進(jìn)之前閱讀這篇文章。它詳細(xì)介紹了一些有用的數(shù)據(jù)處理技術(shù)。檢查數(shù)據(jù)集中的缺失值 讓我們看看所有的變量中的缺失值，因?yàn)榇蠖鄶?shù)模型不能處理有缺失值的數(shù)據(jù)，即使他們可以，輸入它們往往不能幫助更多。所以，讓我們看看數(shù)據(jù)集中空值/NAN值的數(shù)量： 這個(gè)命令告訴我們每一列中缺失值的數(shù)量，因?yàn)槿绻禐槿笔е礽snull()返回1。 雖然缺失值數(shù)量不是很多，但許多變量都有缺失值，它們中的每一個(gè)都應(yīng)該被估計(jì)和補(bǔ)充。通過這篇文章對(duì)不同的插值技術(shù)進(jìn)行詳細(xì)了解。 注：記住，缺失值可能并不總是NaN。例

29、如，如果loan_amount_term是0，它是有意義的或者你認(rèn)為是缺失的？我想你的答案是缺失的，你是對(duì)的。所以我們應(yīng)該檢查那些不切實(shí)際的值。如何填補(bǔ)LoanAmount的缺失值？ 有許多方法來填補(bǔ)價(jià)值貸款金額的缺失值，最簡(jiǎn)單的就是使用均值來替換，可以通過以下代碼實(shí)現(xiàn)：另一個(gè)極端是可以建立一個(gè)監(jiān)督學(xué)習(xí)模型來基于其他變量預(yù)測(cè)貸款金額，然后使用年齡以及其他變量來預(yù)測(cè)。 既然，現(xiàn)在的目標(biāo)是講述數(shù)據(jù)修改的步驟，我寧愿采取一種方法，它介于這2個(gè)極端方法之間。一個(gè)關(guān)鍵的假設(shè)是，一個(gè)人是否受教育的或是否自雇人士可以結(jié)合起來，提供一個(gè)很好的貸款金額的估計(jì)。 首先，讓我們看看箱線圖看是否有某種趨勢(shì)存在： 因此

30、我們看到在每一組中貸款金額的中位數(shù)的一些變化而這可以用來估計(jì)值。但首先，我們必須確保每個(gè)self_employed和Education變量 不應(yīng)該有缺失值。 如我們先前所說，self_employed有缺失值。讓我們看看頻率表： 因?yàn)?86%的值是“No”，將缺失值估計(jì)為“No”是比較可靠的，有很高的成功概率。這可以用下面的代碼來完成： 現(xiàn)在，我們將創(chuàng)建一個(gè)數(shù)據(jù)透視表，它提供了我們所有Education和self_employed變量的唯一值分組的中位數(shù)。接下來，我們定義了一個(gè)函數(shù)，它返回這些單元格的值，并應(yīng)用它來填充丟失的貸款金額的值： 這應(yīng)該給你提供了一個(gè)估計(jì)貸款金額的缺失值好方法。如何處

31、理在LoanAmount和applicantincome分布中的極值？ 讓我們先分析LoanAmount。由于極端值可能是現(xiàn)實(shí)的的，即一些人可能會(huì)由于特定的需求，申請(qǐng)高額的貸款，。所以，不把它們當(dāng)做離群點(diǎn)對(duì)待，讓我們嘗試對(duì)數(shù)據(jù)轉(zhuǎn)換從而發(fā)揮它們的作用： 再看直方圖： 現(xiàn)在的分布看起來更接近標(biāo)準(zhǔn)的，極端值的影響已經(jīng)顯著消退。 來看看applicantincome。一種直覺可以是一些申請(qǐng)人有較低的收入，但有一個(gè)有力的支持，共同申請(qǐng)者。所以將兩者的收入結(jié)合起來作為總收入可能是一個(gè)好主意，并采取相同的對(duì)數(shù)變換。 現(xiàn)在我們看到，分布比以前好多了。我會(huì)把Gender, Married, Dependents

32、, Loan_Amount_Term, Credit_History等缺失值的估計(jì)留給你。此外，我鼓勵(lì)你考慮可能的額外的信息，可以來自數(shù)據(jù)。例如，創(chuàng)建一個(gè)LoanAmount/TotalIncome列可能會(huì)有意義，因?yàn)樗芙o你一個(gè)關(guān)于申請(qǐng)人如何償還他的貸款的好想法。 下一步，我們將研究預(yù)測(cè)模型。5. 使用Python中建立預(yù)測(cè)模型 之后，我們已經(jīng)使數(shù)據(jù)可以用于建模，現(xiàn)在讓我們來看看Python代碼，來在我們的數(shù)據(jù)集上創(chuàng)建一個(gè)預(yù)測(cè)模型。Skicit-kearn（sklearn）是Python中最常用于此目的的庫，我們將跟隨這條小徑。我建議你通過這篇文章來復(fù)習(xí)進(jìn)修sklearn。 因?yàn)?，sklea

33、rn要求所有輸入都是數(shù)字，我們應(yīng)該通過編碼類別將我們所有的分類變量轉(zhuǎn)換為數(shù)值型。這可以用下面的代碼來完成： 下一步，我們將導(dǎo)入所需的模塊。然后，我們將定義一個(gè)通用的分類函數(shù)，它需要一個(gè)模型作為輸入，并確定準(zhǔn)確性度和交叉驗(yàn)證分?jǐn)?shù)。由于這是一篇介紹性文章，我將不會(huì)進(jìn)入編碼的細(xì)節(jié)。請(qǐng)參考這篇文章得到詳細(xì)的算法以及R和Python的代碼。此外，通過本文復(fù)習(xí)一下交叉驗(yàn)證會(huì)更好，因?yàn)樗且粋€(gè)非常重要的性能測(cè)量方法。邏輯回歸 讓我們做我們的第一個(gè)邏輯回歸模型。一個(gè)方法就是把所有的變量都加入模型，這可能會(huì)導(dǎo)致過度擬合（如果你還不知道這個(gè)術(shù)語，不要擔(dān)心）。簡(jiǎn)單的說，考慮所有的變量可能會(huì)導(dǎo)致模型的理解出比較復(fù)雜的

34、關(guān)系，對(duì)于具體的數(shù)據(jù)，不能很好的概括。閱讀更多關(guān)于邏輯回歸。 我們可以很容易地作出一些直觀的假設(shè)來設(shè)定啟動(dòng)資金。獲得貸款的機(jī)會(huì)將更高：1. 有信用記錄的申請(qǐng)人（記得我們?cè)谔剿鲿r(shí)觀察到的？）2. 申請(qǐng)人或著共同申請(qǐng)人具有較高收入的申請(qǐng)3. 申請(qǐng)人具有較高的教育水平屬性4. 在具有高增長(zhǎng)前景的城市地區(qū) 讓我們使用credit_history建立我們的第一個(gè)模型。 準(zhǔn)確度：80.946% 交叉驗(yàn)證得分：80.945% 準(zhǔn)確度：80.946% 交叉驗(yàn)證得分：80.945% 一般來說，我們期望通過增加變量來提高準(zhǔn)確度。但這是一個(gè)更具挑戰(zhàn)性的案例。準(zhǔn)確度和交叉驗(yàn)證得分不受那些影響較小變量的影響。credit_history主導(dǎo)模式。我們現(xiàn)在有兩個(gè)選擇：1. 工程特征：導(dǎo)出新信息并試圖預(yù)測(cè)。我將把這留給你的創(chuàng)造力。2. 更好的建模技術(shù)。讓我們探索這個(gè)下一個(gè)。決策樹 決策樹是建立預(yù)測(cè)模型的另一種方法。它能比邏輯回歸模型提供更高的準(zhǔn)確度。 準(zhǔn)確度：76.656% 交叉驗(yàn)證得分