《Python數(shù)據(jù)分析基礎(chǔ)與案例實戰(zhàn)》第4章 數(shù)據(jù)探索

第3章數(shù)據(jù)探索22-7月-241數(shù)據(jù)特征分析目錄數(shù)據(jù)質(zhì)量分析2Python主要數(shù)據(jù)探索函數(shù)3統(tǒng)計作圖函數(shù)4數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量分析是數(shù)據(jù)預(yù)處理的前提，是數(shù)據(jù)挖掘分析結(jié)論有效性和準確性的基礎(chǔ)，其主要任務(wù)是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)，臟數(shù)據(jù)一般是指不符合要求，以及不能直接進行相應(yīng)分析的數(shù)據(jù)，在常見的數(shù)據(jù)挖掘工作中，臟數(shù)據(jù)包括：

缺失值

異常值

不一致的值

重復(fù)數(shù)據(jù)及含有特殊符號（如#、￥、*）的數(shù)據(jù)本小節(jié)將主要對數(shù)據(jù)中的缺失值、異常值和一致性進行分析。數(shù)據(jù)質(zhì)量分析——缺失值產(chǎn)生的原因有些信息暫時無法獲取，或者獲取信息的代價太大。有些信息是被遺漏的。可能是因為輸入時認為不重要、忘記填寫或?qū)?shù)據(jù)理解錯誤等一些人為因素而遺漏，也可能是由于數(shù)據(jù)采集設(shè)備的故障、存儲介質(zhì)的故障、傳輸媒體的故障等機械原因而丟失。屬性值不存在。在某些情況下，缺失值并不意味著數(shù)據(jù)有錯誤，對一些對象來說屬性值是不存在的，如一個未婚者的配偶姓名、一個兒童的固定收入狀況等。數(shù)據(jù)質(zhì)量分析——缺失值的影響數(shù)據(jù)挖掘建模將丟失大量的有用信息數(shù)據(jù)挖掘模型所表現(xiàn)出的不確定性更加顯著，模型中蘊涵的確定性成分更難把握包含空值的數(shù)據(jù)會使挖掘建模過程陷入混亂，導(dǎo)致不可靠的輸出數(shù)據(jù)質(zhì)量分析——缺失值分析對缺失值做簡單統(tǒng)計分析統(tǒng)計缺失值的變量個數(shù)統(tǒng)計每個變量的未缺失數(shù)統(tǒng)計變量的缺失數(shù)及缺失率數(shù)據(jù)質(zhì)量分析——異常值分析異常值分析是檢驗數(shù)據(jù)是否有錄入錯誤以及含有不合常理的數(shù)據(jù)。忽視異常值的存在是十分危險的，不加剔除地把異常值包括進數(shù)據(jù)的計算分析過程中，對結(jié)果會帶來不良影響；重視異常值的出現(xiàn)，分析其產(chǎn)生的原因，常常成為發(fā)現(xiàn)問題進而改進決策的契機。異常值是指樣本中的個別值，其數(shù)值明顯偏離其余的觀測值。異常值也稱為離群點，異常值的分析也稱為離群點的分析。異常值分析方法主要有：簡單統(tǒng)計量分析、3原則、箱型圖分析。異常值分析——簡單統(tǒng)計分析可以先做一個描述性統(tǒng)計，進而查看哪些數(shù)據(jù)是不合理的。需要的統(tǒng)計量主要是最大值和最小值，判斷這個變量中的數(shù)據(jù)是不是超出了合理的范圍，如身高的最大值為5米，則該變量的數(shù)據(jù)存在異常。異常值分析——3原則如果數(shù)據(jù)服從正態(tài)分布，在3原則下，異常值被定義為一組測定值中與平均值的偏差超過三倍標準差的值。在正態(tài)分布的假設(shè)下，距離平均值3之外的值出現(xiàn)的概率為

，屬于極個別的小概率事件。異常值分析——箱型圖分析箱形圖依據(jù)實際數(shù)據(jù)繪制，不需要事先假定數(shù)據(jù)服從特定的分布形式，沒有對數(shù)據(jù)作任何限制性要求，它只是真實直觀地表現(xiàn)數(shù)據(jù)分布的本來面貌；另一方面，箱形圖判斷異常值的標準以四分位數(shù)和四分位距為基礎(chǔ)，四分位數(shù)具有一定的魯棒性：多達25%的數(shù)據(jù)可以變得任意遠而不會很大地擾動四分位數(shù)，所以異常值不能對這個標準施加影響，箱形圖識別異常值的結(jié)果比較客觀。由此可見，箱形圖在識別異常值方面有一定的優(yōu)越性。一致性分析數(shù)據(jù)不一致性是指數(shù)據(jù)的矛盾性、不相容性。直接對不一致的數(shù)據(jù)進行挖掘，可能會產(chǎn)生與實際相違背的挖掘結(jié)果。在數(shù)據(jù)挖掘過程中，不一致數(shù)據(jù)的產(chǎn)生主要發(fā)生在數(shù)據(jù)集成的過程中，可能是由于被挖掘數(shù)據(jù)是來自于從不同的數(shù)據(jù)源、重復(fù)存放的數(shù)據(jù)未能進行一致性地更新造成的，比如兩張表中都存儲了用戶的地址，在用戶的地址發(fā)生改變時，如果只更新了一張表中的數(shù)據(jù)，那么這兩張表中就有了不一致的數(shù)據(jù)。1數(shù)據(jù)特征分析目錄數(shù)據(jù)質(zhì)量分析2Python主要數(shù)據(jù)探索函數(shù)3統(tǒng)計作圖函數(shù)4數(shù)據(jù)特征分析對數(shù)據(jù)進行質(zhì)量分析以后，接下來就是對數(shù)據(jù)做特征分析。一般可通過繪制圖表、計算某些特征量等手段進行數(shù)據(jù)的特征分析。這里主要介紹的特征方法有：

分布分析

對比分析

統(tǒng)計量分析

周期性分析

貢獻度分析

相關(guān)性分析

數(shù)據(jù)特征分析——分布分析分布分析能揭示數(shù)據(jù)的分布特征和分布類型，便于發(fā)現(xiàn)某些特大或特小的可疑值。對于定量數(shù)據(jù)，欲了解其分布形式，是對稱的、還是非對稱的，可做出頻率分布表、繪制頻率分布直方圖、繪制莖葉圖進行直觀地分析；對于定性分類數(shù)據(jù)，可用餅圖和條形圖直觀地顯示分布情況。定量數(shù)據(jù)的分布分析對于定量變量而言，做頻率分布分析時選擇“組數(shù)”和“組寬”是主要的問題，一般按照以下步驟：求極差決定組距與組數(shù)決定分點列出頻率分布表繪制頻率分布直方圖定量數(shù)據(jù)的分布分析遵循的主要原則有：各組之間必須是相互排斥的各組必須將所有的數(shù)據(jù)包含在內(nèi)各組的組寬最好相等定量數(shù)據(jù)分布分析——具體事例下表是描述菜品撈起生魚片在2014年第二個季度的銷售數(shù)據(jù)，繪制銷售量的頻率分布表、頻率分布圖，對該定量數(shù)據(jù)做出相應(yīng)的分析。定量數(shù)據(jù)分布分析——具體事例第一步：求極差極差=最大值-最小值=3960-45=3915第二步：分組這里根據(jù)業(yè)務(wù)數(shù)據(jù)的含義，可取組距為500。組數(shù)=極差/組距=3915/500=7.83=8第三步：決定分點，如下表：定量數(shù)據(jù)分布分析——具體事例第四步：繪制頻率分布直方圖根據(jù)分組區(qū)間得到如下表的頻率分布表，見下表。其中，第1列把數(shù)據(jù)所在的范圍分成的若干組段，第1個組段要包括最小值，最后一個組段要包括最大值，習(xí)慣上將各組段設(shè)為左閉右開的半開區(qū)間，如第一個分組為[0，500）。第2列組中值是各組段的代表值，由本組段的上、下限相加除以2得到。第3列和第4列分別為頻數(shù)和頻率。第5列是累計頻率，是否需要該列，視情況而定。定量數(shù)據(jù)分布分析——具體事例定量數(shù)據(jù)分布分析——具體事例第五步：繪制頻率分布直方圖若以2014年第二季度撈起生魚片每天的銷售額為橫軸，以各組段的頻率密度（頻率與組距之比）為縱軸，表3?3的數(shù)據(jù)可繪制成頻率分布直方圖，見圖：定性數(shù)據(jù)的分布分析對于定性變量，常常根據(jù)變量的分類類型來分組，可以采用餅圖和條形圖來描述定性變量的分布。餅圖的每一個扇形部分代表每一類型的百分比或頻數(shù)，根據(jù)定性變量的類型數(shù)目將餅圖分成幾個部分，每一部分的大小與每一類型的頻數(shù)成正比；條形圖的高度代表每一類型的百分比或頻數(shù)，條形圖的寬度沒有意義。定性數(shù)據(jù)的分布分析下面左右兩圖分別是菜品A、B、C在某段時間的餅形和條形銷售量分布圖：對比分析對比分析是指把兩個相互聯(lián)系的指標數(shù)據(jù)進行比較，從數(shù)量上展示和說明研究對象規(guī)模的大小，水平的高低，速度的快慢，以及各種關(guān)系是否協(xié)調(diào)。特別適用于指標間的橫縱向比較、時間序列的比較分析。在對比分析中，選擇合適的對比標準是十分關(guān)鍵的步驟，選擇得合適，才能做出客觀的評價，選擇不合適，評價可能得出錯誤的結(jié)論。對比分析對比分析主要有以下兩種形式：第一種:絕對數(shù)比較

它是利用絕對數(shù)進行對比，從而尋找差異的一種方法。第二種:相對數(shù)比較

它是由兩個有聯(lián)系的指標對比計算的，用以反映客觀現(xiàn)象之間數(shù)量聯(lián)系程度的綜合指標，其數(shù)值表現(xiàn)為相對數(shù)。由于研究目的和對比基礎(chǔ)不同，相對數(shù)可以分為以下幾種：

1)結(jié)構(gòu)相對數(shù)4)強度相對數(shù)

2)比例相對數(shù)5)計劃完成程度相對數(shù)

3)比較相對數(shù)6)動態(tài)相對數(shù)對比分析——相對數(shù)比較1）結(jié)構(gòu)相對數(shù)：將同一總體內(nèi)的部分數(shù)值與全部數(shù)值對比求得比重，用以說明事物的性質(zhì)、結(jié)構(gòu)或質(zhì)量。如居民食品支出額占消費支出總額比重、產(chǎn)品合格率等。2）比例相對數(shù)：將同一總體內(nèi)不同部分的數(shù)值對比，表明總體內(nèi)各部分的比例關(guān)系，如人口性別比例、投資與消費比例等。3）比較相對數(shù)：將同一時期兩個性質(zhì)相同的指標數(shù)值對比，說明同類現(xiàn)象在不同空間條件下的數(shù)量對比關(guān)系。如不同地區(qū)商品價格對比，不同行業(yè)、不同企業(yè)間某項指標對比等。

對比分析——相對數(shù)比較4）強度相對數(shù)：將兩個性質(zhì)不同但有一定聯(lián)系的總量指標對比，用以說明現(xiàn)象的強度、密度和普遍程度。如人均國內(nèi)生產(chǎn)總值用“元/人”表示，人口密度用“人/平方公里”表示，也有用百分數(shù)或千分數(shù)表示的，如人口出生率用‰表示。5）計劃完成程度相對數(shù)：是某一時期實際完成數(shù)與計劃數(shù)對比，用以說明計劃完成程度。

6）動態(tài)相對數(shù)：將同一現(xiàn)象在不同時期的指標數(shù)值對比，用以說明發(fā)展方向和變化的速度。如發(fā)展速度、增長速度等。對比分析——具體事例拿各菜品的銷售數(shù)據(jù)來看，從時間的維度上分析，可以看到甜品部A、海鮮部B、素菜部C三個部門之間的銷售金額隨時間的變化趨勢，了解在此期間哪個部門的銷售金額較高，趨勢比較平穩(wěn)，如圖3?5；也可以從單一部門（如海鮮部）做分析，了解各月份的銷售對比情況，如下圖：定性數(shù)據(jù)的分布分析從總體來看，三個部門的銷售金額呈遞減趨勢；A部門和C部門的遞減趨勢比較平穩(wěn)；B部門的銷售金額在2月份驟降，可以進一步分析造成這種現(xiàn)象的業(yè)務(wù)原因，可能是原材料不足造成的。統(tǒng)計量分析用統(tǒng)計指標對定量數(shù)據(jù)進行統(tǒng)計描述，常從集中趨勢和離中趨勢兩個方面進行分析。平均水平的指標是對個體集中趨勢的度量，使用最廣泛的是均值和中位數(shù)；反映變異程度的指標則是對個體離開平均水平的度量，使用較廣泛的是標準差（方差）、四分位間距。集中趨勢度量主要有：均值、中位數(shù)、眾數(shù)離中趨勢度量主要有：極差、標準差、變異系數(shù)周期性分析周期性分析是探索某個變量是否隨著時間變化而呈現(xiàn)出某種周期變化趨勢。周期性趨勢相對較長的有年度周期性趨勢、季節(jié)性周期趨勢，相對較短的一般有月度周期性趨勢、周度周期性趨勢，甚至更短的天、小時周期性趨勢。如在做某用電單位用電量趨勢預(yù)測過程中，可以先分析該用電單位日用電量的時序圖，來直觀地估計其用電量變化趨勢。周期性分析下面兩圖分別是某用電單位A在2014年9月份和2013年9月份日用電量的時序圖：周期性分析周期性分析從總體來看用電單位A的2014年9月份日用電量呈現(xiàn)出周期性，以周為周期，因為周六周日不上班，所以周末用電量較低。工作日和非工作日的用電量比較平穩(wěn)，沒有太大的波動。而2013年9月份日用電量總體呈現(xiàn)出遞減的趨勢，同樣周末的用電量是最低的。貢獻度分析貢獻度分析又稱帕累托分析，帕累托法則又稱20/80定律。同樣的投入放在不同的地方會產(chǎn)生不同的效益。比如對一個公司來講，80%的利潤常常來自于20%最暢銷的產(chǎn)品；而其他80%的產(chǎn)品只產(chǎn)生了20%的利潤。貢獻度分析要求我們抓住問題的重點，找到那最有效的20%的熱銷產(chǎn)品、渠道或者銷售人員，在最有效的20%上投入更多資源，盡量減少浪費在80%低效的地方。貢獻度分析就餐飲企業(yè)來講，可以重點改善盈利最高的80%的菜品，或者重點發(fā)展綜合影響最高的80%的部門。這種結(jié)果可以通過帕累托分析直觀的呈現(xiàn)出來，如下圖：相關(guān)性分析分析連續(xù)變量之間線性的相關(guān)程度的強弱，并用適當(dāng)?shù)慕y(tǒng)計指標表示出來的過程稱為相關(guān)分析。相關(guān)性分析方法主要有：直接繪制散點圖繪制散點圖矩陣計算相關(guān)系數(shù)相關(guān)性分析——直接繪制散點圖判斷兩個變量是否具有線性相關(guān)關(guān)系的最直觀的方法是直接繪制散點圖，見下圖：相關(guān)性分析——繪制散點圖矩陣需要同時考察多個變量間的相關(guān)關(guān)系時，若一一繪制它們間的簡單散點圖，十分麻煩。此時可利用散點圖矩陣來同時繪制各自變量間的散點圖，這樣可以快速發(fā)現(xiàn)多個變量間的主要相關(guān)性，這一點在進行多元線性回歸時顯得尤為重要。散點圖矩陣如下圖所示：相關(guān)性分析——計算相關(guān)系數(shù)為了更加準確的描述變量之間的線性相關(guān)程度，可以通過計算相關(guān)系數(shù)來進行相關(guān)分析。在二元變量的相關(guān)分析過程中比較常用的如Pearson相關(guān)系數(shù)、Spearman秩相關(guān)系數(shù)和判定系數(shù)。相關(guān)性分析——計算相關(guān)系數(shù)Pearson相關(guān)系數(shù)一般用于對定距變量的數(shù)據(jù)進行計算，即分析兩個連續(xù)性變量之間的關(guān)系，其計算公式如下：Spearman秩相關(guān)系數(shù)用于描述分類或等級變量之間、分類或等級變量與連續(xù)變量之間的關(guān)系。其計算公式如下：相關(guān)性分析——計算相關(guān)系數(shù)其中

代表

中的秩，所謂秩指

在

中按照一定準則的排列順序。

代表

在

中的秩。上述兩種相關(guān)系數(shù)在實際應(yīng)用計算中都要對其進行假設(shè)檢驗，使用t檢驗方法檢驗其顯著性水平以確定其相關(guān)程度。研究表明，在正態(tài)分布假定下，Spearman秩相關(guān)系數(shù)與Pearson相關(guān)系數(shù)在效率上是等價的，而對于連續(xù)測量數(shù)據(jù)，更適合用Pearson相關(guān)系數(shù)來進行分析。相關(guān)性分析——計算相關(guān)系數(shù)餐飲銷量數(shù)據(jù)和節(jié)假日、天氣等因素都可能有關(guān)系，使用相關(guān)性分析可以得到餐飲銷量數(shù)據(jù)和其他因素的相關(guān)性，其Python代碼如下所示：1數(shù)據(jù)特征分析目錄數(shù)據(jù)質(zhì)量分析2Python主要數(shù)據(jù)探索函數(shù)3統(tǒng)計作圖函數(shù)4統(tǒng)計特征函數(shù)統(tǒng)計特征函數(shù)用于計算數(shù)據(jù)的均值、方差、標準差、分位數(shù)、相關(guān)系數(shù)、協(xié)方差等，這些統(tǒng)計特征能反映出數(shù)據(jù)的整體趨勢。本小節(jié)所介紹的統(tǒng)計特征函數(shù)如下表所示。統(tǒng)計特征函數(shù)sum功能：計算數(shù)據(jù)樣本的總和（按列計算）使用格式：D.sum()按列計算樣本D的總和，樣本D可為DataFrame或者Series。mean功能：計算數(shù)據(jù)樣本的算術(shù)平均數(shù)使用格式：D.mean()按列計算樣本D的均值，樣本D可為DataFrame或者Series。var功能：計算數(shù)據(jù)樣本的方差使用格式：D.var()按列計算樣本D的均值，樣本D可為DataFrame或者Series。std功能：計算數(shù)據(jù)樣本的標準差使用格式：D.std()按列計算樣本D的均值，樣本D可為DataFrame或者Series。統(tǒng)計特征函數(shù)corr功能：計算數(shù)據(jù)樣本的Spearman（Pearson）相關(guān)系數(shù)矩陣使用格式：D.corr(method='pearson')樣本D可為DataFrame，返回相關(guān)系數(shù)矩陣，method參數(shù)為計算方法，支持ppearson（皮爾森相關(guān)系數(shù)，默認選項）、kendall（肯德爾系數(shù)）、spearman（斯皮爾曼系數(shù)）；S1.corr(S2,method='pearson')S1、S2均為Series，這種格式指定計算兩個Series之間的相關(guān)系數(shù)。cov功能：計算數(shù)據(jù)樣本的協(xié)方差矩陣使用格式：D.cov()樣本D可為DataFrame，返回協(xié)方差矩陣；S1.cov(S2)S1、S2均為Series，這種格式指定計算兩個Series之間的協(xié)方差。統(tǒng)計特征函數(shù)skew/kurt功能：計算數(shù)據(jù)樣本的偏度（三階矩）/峰度（四階矩）使用格式：D.skew()/D.kurt()計算樣本D的偏度（三階矩）/峰度（四階矩）。樣本D可為DataFrame或Series。Describe功能：直接給出樣本數(shù)據(jù)的一些基本的統(tǒng)計量，包括均值、標準差、最大值、最小值、分位數(shù)等。使用格式：D.describe()括號里可以帶一些參數(shù)，比如percentiles=[0.2,0.4,0.6,0.8]就是指定只計算0.2、0.4、0.6、0.8分位數(shù)，而不是默認的1/4、1/2、3/4分位數(shù)。統(tǒng)計特征函數(shù)——實例計算兩個列向量的相關(guān)系數(shù)，采用Spearman方法統(tǒng)計特征函數(shù)——實例計算6×5隨機矩陣的協(xié)方差矩陣。統(tǒng)計特征函數(shù)除了上述基本的統(tǒng)計特征外，Pandas還提供了另外一些非常方便實用的計算統(tǒng)計特征的函數(shù)，主要用累積計算（cum）和滾動計算（pd.rolling_）。統(tǒng)計特征函數(shù)cum系列函數(shù)是作為DataFrame或Series對象的方法而出現(xiàn)的，命令格式為D.cumsum()。rolling_系列是pandas的函數(shù)，不是DataFrame或Series對象的方法，使用格式為pd.rolling_mean(D,k)，意思是每k列計算一次均值，滾動計算。1數(shù)據(jù)特征分析目錄數(shù)據(jù)質(zhì)量分析2Python主要數(shù)據(jù)探索函數(shù)3統(tǒng)計作圖函數(shù)4統(tǒng)計作圖函數(shù)通過統(tǒng)計作圖函數(shù)繪制的圖表可以直觀地反映出數(shù)據(jù)及統(tǒng)計量的性質(zhì)及其內(nèi)在規(guī)律，如盒圖可以表示多個樣本的均值，誤差條形圖能同時顯示下限誤差和上限誤差，最小二乘擬合曲線圖能分析兩變量間的關(guān)系。如在做某用電單位用電量趨勢預(yù)測過程中，可以先分析該用電單位日用電量的時序圖，來直觀地估計其用電量變化趨勢。Python的主要作圖庫是Matplotlib，而Pandas基于Matplotlib并對某些命令作了簡化，因此作圖通常是Matplotlib和Pandas相互結(jié)合著使用。統(tǒng)計作圖函數(shù)Python中的常用作圖函數(shù)。統(tǒng)計作圖函數(shù)在使用Python作圖之前，我們通常要加載以下代碼：統(tǒng)計作圖函數(shù)plot功能：繪制線性二維圖，折線圖。使用格式：plt.plot(x,y,S)這是Matplotlib通用的繪圖方式，繪制y對于x（即以x為橫軸的二維圖形），字符串參量S指定繪制時圖形的類型、樣式和顏色，常用的選項有：’b’為藍色、’r’為紅色、’g’為綠色、’o’為圓圈、’+’為加號標記、’-’為實線、’--’為虛線。當(dāng)x、y均為實數(shù)同維向量時，則描出點，然后用直線依次相連。D.plot(kind='box')這里使用的是DataFrame或Series對象內(nèi)置的方法作圖，默認以Index為橫坐標，每列數(shù)據(jù)為縱坐標自動作圖，通過kind參數(shù)指定作圖類型，支持line（線）、bar（條形）、barh、hist（直方圖）、box（箱線圖）、kde（密度圖）、area、pie（餅圖）等，同時也能夠接受plt.plot()中接受的參數(shù)。因此，如果數(shù)據(jù)已經(jīng)被加載為Pandas中的對象，那么以這種方式作圖是比較簡潔的。統(tǒng)計作圖函數(shù)p