樣本數(shù)據(jù)處理 課件 第8、9章 基于Python的數(shù)據(jù)導(dǎo)入與導(dǎo)出、基于Python 的數(shù)據(jù)整理

基于Python的數(shù)據(jù)導(dǎo)入與導(dǎo)出新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第八章01PandasSeries是一種類似于數(shù)組的一維數(shù)據(jù)結(jié)構(gòu)，它包含一系列的元素及元素對應(yīng)的標(biāo)簽。元素的標(biāo)簽被稱為index。使用Pandas的功能之前，需要先導(dǎo)入Pandas模塊。本章的Python代碼運行環(huán)境為IPython，版本是6.1.0，對應(yīng)的Python版本為3.6.3。SeriesSeries對象輸出的左邊一列是索引（index），右邊一列是對應(yīng)的元素值，最下面一行是元素的類型。由于代碼中創(chuàng)建Series對象時沒有指定index，默認(rèn)創(chuàng)建的index是0~N-1的整數(shù)值，其中N是Series對象的元素個數(shù)。除了把Series看成一種類似于數(shù)組的數(shù)據(jù)結(jié)構(gòu)，還可以把它看成一種定長且有序的map，map的key是index，value是Series的元素值。因此，許多map的操作可以應(yīng)用在Series上。SeriesSeries對象的index也可以通過賦值來改變。SeriesSeries對象是可變的，這意味著通過賦值能夠改變它。DataFrameDataFrame是一種帶標(biāo)簽的二維數(shù)據(jù)結(jié)構(gòu)，有行索引、列索引，其中各列可以存儲不同的數(shù)據(jù)類型。為了幫助理解，可以將一個DataFrame對象想象為Excel中的一張表或數(shù)據(jù)庫中的一張表。DataFrame也可以看作Series的集合，DataFrame是Pandas中最常用的數(shù)據(jù)結(jié)構(gòu)。構(gòu)造一個DataFrame對象有多種方式，其中常用的一種方式是基于dict構(gòu)造。DataFrame的各列是有序排列的，可以在創(chuàng)建時傳遞columns參數(shù)調(diào)整順序，而index參數(shù)為每一行指定了一個index。columns參數(shù)中指定的列如果不存在，那么創(chuàng)建的DataFrame對象中的對應(yīng)列值均為NaN，表示一個不可用的值。使用類似于獲取dict值的語法，能夠獲取DataFrame對象的一列，存放在Series對象中。DataFrame02文本文件的導(dǎo)入與導(dǎo)出CSV（CommaSeparatedValues，逗號分隔的值）.CSV文件是一種比較簡單的文本，廣泛用于存儲表格式的行列數(shù)據(jù)，可以直接使用Excel軟件打開。Pandas提供了read_csv函數(shù)，用于導(dǎo)入CSV文件，并得到一個DataFrame對象。此外，Pandas還提供了read_table函數(shù)，能夠?qū)胗闷渌指舴念怌SV文件。在IPython中，可以使用！語法運行外部命令。cat是Linux上的一個命令，用于將文件內(nèi)容顯示在屏幕上，在Windows環(huán)境下可以用type命令顯示文件。導(dǎo)入CSV文件可以使用read_csv函數(shù)將文件內(nèi)容讀入一個DataFrame對象。Pandas還提供另外一個函數(shù)read_table函數(shù)，可以用于讀入CSV文件。testl.csv文件的第一行指定了各列的名稱，但是很多時候CSV文件沒有這樣的名稱行。導(dǎo)入CSV文件Pandas也提供了反向的操作，能夠?qū)ataFrame導(dǎo)出為CSV格式的文件。read_csv函數(shù)的返回值是一個DataFrame對象，它具有to_csv方法，能夠達到導(dǎo)出的目的。導(dǎo)出CSV文件DataFrame中的缺失值默認(rèn)使用空字符串，narep參數(shù)可以改變這一行為。to_csv的默認(rèn)行為會輸出index列和標(biāo)題行，如果不希望輸出這些，可以將index和header均設(shè)置為False。如果不希望輸出所有列，可以使用columns參數(shù)選擇只輸出一部分。導(dǎo)出CSV文件JSON格式數(shù)據(jù)的導(dǎo)入與導(dǎo)出JSON（JavaScriptObjeetNotation，JS對象簡譜）格式在Web中使用非常廣泛，常用于前端網(wǎng)頁的JavaScript腳本和后端Web服務(wù)器交換數(shù)據(jù)。與表格型的數(shù)據(jù)相比，JSON格式的數(shù)據(jù)更加復(fù)雜和靈活，能夠表達類似于樹結(jié)構(gòu)的數(shù)據(jù)?，F(xiàn)存多種庫和工具用于JSON格式數(shù)據(jù)的處理。對常規(guī)的任務(wù)，使用Python語言內(nèi)置的JSON模塊是最方便的。在使用JSON模塊之前應(yīng)先導(dǎo)入它。JSON模塊的load函數(shù)能夠?qū)隞SON數(shù)據(jù)，返回值是一個dict對象。JSON模塊的dump函數(shù)提供了反向的功能，將一個dict對象導(dǎo)出為JSON格式的文件。JSON格式數(shù)據(jù)的導(dǎo)入與導(dǎo)出03Excel文件的導(dǎo)入與導(dǎo)出Excel是微軟的經(jīng)典之作，在日常工作中的數(shù)據(jù)整理、分析和可視化方面，有其獨到的優(yōu)勢。但如果數(shù)據(jù)量超大，Excel的劣勢也就隨之而來，甚至因為內(nèi)存溢出無法打開文件，后續(xù)的分析更是難上加難。本節(jié)介紹使用Python的Pandas解決此問題，即通過Pandas完成讀/寫Excel。Excel文件的導(dǎo)入與導(dǎo)出Pandas會默認(rèn)讀取Excel文件中的第1個工作表，也就是默認(rèn)名為Sheetl的工作表。Excel文件的導(dǎo)入與導(dǎo)出Pandas讀取Excel可以通過readexcel函數(shù)將工作表讀取成DataFrame。04數(shù)據(jù)庫的導(dǎo)入與導(dǎo)出將關(guān)系數(shù)據(jù)庫的表格數(shù)據(jù)導(dǎo)入成Pandas的DataFrame并不難理解。Pandas連接關(guān)系數(shù)據(jù)庫需要Python連接對應(yīng)數(shù)據(jù)庫的客戶端，以MySQL數(shù)據(jù)庫為例，Python連接它的庫有幾種，最常用的是PyMySQL，用戶可以通過pip或者Anaconda方式進行安裝。關(guān)系數(shù)據(jù)庫的導(dǎo)入與導(dǎo)出非關(guān)系數(shù)據(jù)庫（NoSQL）具有多種多樣的存儲方式和產(chǎn)品實現(xiàn)。其中，MongoDB是一種廣泛使用的NoSQL。本節(jié)以MongoDB為例進行講述。MongoDB的基本存儲單元是一種類似于dict的對象。類似于常見的關(guān)系數(shù)據(jù)庫，MongoDB采用了客戶-服務(wù)器架構(gòu)，作為用戶，首先需要建立與服務(wù)端的連接。這里使用PyMongo（包）與MongoDB服務(wù)端進行交互，這是MongoDB官方提供的模塊，用戶可以通過pip或者Anaconda安裝。非關(guān)系數(shù)據(jù)庫的導(dǎo)入與導(dǎo)出非關(guān)系數(shù)據(jù)庫的導(dǎo)入與導(dǎo)出數(shù)據(jù)在MongoDB中是以文檔的方式存儲和使用的。文檔是一種類似于JSON風(fēng)格的數(shù)據(jù)結(jié)構(gòu)。PyMongo以dict來表示文檔?；赑ython的數(shù)據(jù)整理新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第九章01合并多個數(shù)據(jù)集join操作用于合并數(shù)據(jù)集，按照一個或多個特定的鍵來連接相關(guān)的行。在關(guān)系數(shù)據(jù)庫中，連接操作處于中心的位置。Pandas提供了merge函數(shù)，可以對數(shù)據(jù)集進行類似于數(shù)據(jù)庫連接的操作。使用鍵進行DataFrame合并有些時候，我們設(shè)置rightindex參數(shù)為True，使用index作為鍵進行合并。默認(rèn)的合并操作使用的是innerjoin，通過傳遞how參數(shù)可以改為outerjoin。使用index進行DataFrame合并在Pandas中存在一個eoncat函數(shù)，用于實現(xiàn)類串接操作。和NumPy相比，Pandas的串接操作更復(fù)雜、更通用。下面用一些例子說明Pandas的concat函數(shù)用法。沿著橫軸或縱軸串接還有一種數(shù)據(jù)合并的方式被稱為串接。例如，NumPy的concatenate函數(shù)用于串接NumPy的原生數(shù)組。在Series對象上調(diào)用concat函數(shù)，將它們的數(shù)據(jù)串接起來。串接在一起的數(shù)據(jù)包括index和數(shù)據(jù)本身。在默認(rèn)情況下，concat函數(shù)的axis參數(shù)取值為0，表示沿著縱軸串接，生成一個新的Series對象。如果傳遞axis=1，意味著沿著橫軸串接，那么結(jié)果將得到一個新的DataFrame對象。通過傳遞join參數(shù)，可以使用innerjoin的連接方式。沿著橫軸或縱軸串接沿著橫軸或縱軸串接concat函數(shù)也可以應(yīng)用在DataFrame對象上。例如，下面的dfl和df2是兩個DataFrame對象。沿著橫軸或縱軸串接使用concat函數(shù)將它們串接起來。02數(shù)據(jù)重塑數(shù)據(jù)重塑數(shù)據(jù)重塑表示轉(zhuǎn)換輸入數(shù)據(jù)的結(jié)構(gòu)，使其適合后續(xù)的分析。Pandas包含了一些用于重塑數(shù)據(jù)的基礎(chǔ)操作，這些操作用于二維度表格數(shù)據(jù)。本節(jié)將介紹其中廣泛使用的stack、unstack及pivot操作。Pandas的DataFrame可以設(shè)置多級索引。對多級索引數(shù)據(jù)，Pandas的stack方法將數(shù)據(jù)集的列旋轉(zhuǎn)為行，而unstack方法將數(shù)據(jù)的行旋轉(zhuǎn)為列。圖9-1形象地展示了Stacked和Unstack過程。多級索引數(shù)據(jù)的重塑多級索引數(shù)據(jù)的重塑多級索引數(shù)據(jù)的重塑接下來使用具體的代碼來演示相關(guān)的過程?？捎萌缦麓a定義表格數(shù)據(jù)。多級索引數(shù)據(jù)的重塑在上面的數(shù)據(jù)集上運行stack方法，將列旋轉(zhuǎn)為行，將會產(chǎn)生一個Series對象。多級索引數(shù)據(jù)的重塑相反地，在一個具有多級索引的Series對象上，應(yīng)用unstack方法可以將它轉(zhuǎn)換回一個DataFrame對象。多級索引數(shù)據(jù)的重塑在默認(rèn)情況下，stack和unstack轉(zhuǎn)換的是最內(nèi)層級別的索引，通過傳遞一個級別的編號或者名稱，可以指定要轉(zhuǎn)換的級別。針對上面的例子，下面用兩種方式指定不同的級別。多時間序列的數(shù)據(jù)通常以“長格式”（或“堆疊格式”）存儲在數(shù)據(jù)庫或者CSV文件中?？傊?，它結(jié)合了year和quarter列來創(chuàng)建一種時間間隔類型。應(yīng)用pivot方法重塑數(shù)據(jù)關(guān)系數(shù)據(jù)庫（如MySQL）中的數(shù)據(jù)就是這樣存儲的，因為固定架構(gòu)（列名和數(shù)據(jù)類型）有一個好處：隨著表中數(shù)據(jù)的增加，item列中的值的種類也增加。在前面的例子中，date和item通常就是主鍵（用關(guān)系數(shù)據(jù)庫的說法），不僅提供了關(guān)系完整性，而且提供了更為簡單的查詢支持。有時使用這樣的數(shù)據(jù)會很麻煩，用戶可能更喜歡DataFrame，不同的item值分別形成一列，date列中的時間戳則用作索引。應(yīng)用pivot方法重塑數(shù)據(jù)03數(shù)據(jù)轉(zhuǎn)換9.2節(jié)已經(jīng)介紹了數(shù)據(jù)的重塑。另一類重要操作則是數(shù)據(jù)的過濾、清理及其他的轉(zhuǎn)換工作。重復(fù)行出現(xiàn)在DataFrame中可能有多種原因。移除重復(fù)數(shù)據(jù)對很多數(shù)據(jù)集而言，我們希望根據(jù)數(shù)組、Series或者DataFrame中的某列值來進行轉(zhuǎn)換操作。來看看下面這組有關(guān)公司、城市及體量的數(shù)據(jù)，我們希望看到這些公司來自哪些城市，先編寫一個不同公司到城市的映射，Series的map方法可以接受一個函數(shù)或含有映射關(guān)系的字典型對象。利用函數(shù)或映射進行數(shù)據(jù)轉(zhuǎn)換值轉(zhuǎn)換利用fillna方法填充缺失數(shù)據(jù)，可以看作值替換的一種特殊情況。map可用于修改對象的數(shù)據(jù)子集，而replace則提供了一種實現(xiàn)該功能的更簡單、更靈活的方式。與Series中的值一樣，軸標(biāo)簽也可以通過函數(shù)或映射轉(zhuǎn)換，得到一個不同標(biāo)簽的新對象。軸還能夠被就地修改，無須新建一個數(shù)據(jù)結(jié)構(gòu)。rename方法可以復(fù)制DataFrame并對其索引和列標(biāo)簽進行賦值。如果希望就地修改某個數(shù)據(jù)集，只需傳入inplace=True即可。重命名軸索引連續(xù)數(shù)據(jù)常常被離散化或拆分為“面元（bin）”來幫助分析。假設(shè)在一項研究中有一組人員數(shù)據(jù)，用戶希望將它們劃分為不同的年齡組。離散化和面元劃分pd.value_counts（groups）是pandas.cut結(jié)果的面元計數(shù)。與“區(qū)間”的數(shù)學(xué)符號一樣，圓括號表示開端，而方括號則表示閉端。修改默認(rèn)情況可以通過right=False設(shè)置。離散化和面元劃分Pandas返回一個特殊的Categories對象。用戶可以把它當(dāng)作一組表示面元名稱的字符串。它的內(nèi)部包含一個表示不同分類名稱的數(shù)組，以及一個codes屬性中的年齡數(shù)據(jù)的標(biāo)簽。檢測或過濾異常值（outlier）在很大程度上是運用數(shù)組運算的。使用numpy.random.permutation函數(shù)能夠輕松對Series或DataFrame的列進行排序。通過排列的軸的長度調(diào)用numpy.random.permutation函數(shù)，可產(chǎn)生一個表示新順序的整數(shù)數(shù)組。該數(shù)組可以使用基于iloc的索引或等價的take函數(shù)進行操作。排列和隨機采樣將分類變量轉(zhuǎn)換為“虛擬”或“指示”的矩陣是用于統(tǒng)計建?；驒C器學(xué)習(xí)的一種轉(zhuǎn)換方式。如果DataFrame的某一列包含k個不同的值，我們可以派生出一個值均為1或O的k列矩陣。Pandas的get_dummies函數(shù)可以實現(xiàn)該功能。計算指標(biāo)/啞變量計算指標(biāo)/啞變量關(guān)于DataFrame的例子如下:計算指標(biāo)/啞變量在某些案例中，用戶給指標(biāo)DataFrame的列加上一個前綴，用于與其他數(shù)據(jù)進行合并，get

dummies的prefix參數(shù)能夠?qū)崿F(xiàn)該功能。計算指標(biāo)/啞變量DataFrame中的某行同屬多個分類。計算指標(biāo)/啞變量要為每個genres添加指標(biāo)變量就需要做一些數(shù)據(jù)規(guī)整操作。從數(shù)據(jù)集中抽取出不同的genres值。計算指標(biāo)/啞變量現(xiàn)在有：計算指標(biāo)/啞變