第5章-數(shù)據(jù)基本分析及可視化

第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)2.集中趨勢(shì)3.離散程度4.箱線圖【Excel的基本操作】5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)1.多變量數(shù)據(jù)統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析描述性統(tǒng)計(jì)，是指運(yùn)用制表和分類，圖形以及計(jì)算概括性數(shù)據(jù)來描述數(shù)據(jù)特征的各項(xiàng)活動(dòng)。主要包括數(shù)據(jù)的次序分析、集中趨勢(shì)分析、離散程度分析、頻數(shù)分析，分布圖形以及一些基本的統(tǒng)計(jì)圖形。第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析對(duì)一組數(shù)據(jù)X1,X2,...,Xn，X(i)稱為該其第i個(gè)次序統(tǒng)計(jì)量，其取值是將數(shù)據(jù)由小到大排列后得到的第i個(gè)值。從小到大排序?yàn)閄(1),X(2),...,X(n)，則稱X(1),X(2),...,X(n)為順序統(tǒng)計(jì)量。5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（1）順序統(tǒng)計(jì)5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（1）順序統(tǒng)計(jì)對(duì)2019年珠三角9個(gè)地區(qū)的人均GDP數(shù)據(jù)進(jìn)行排序：5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)（2）極值一組數(shù)據(jù)中最小的數(shù)據(jù)，即最小次序統(tǒng)計(jì)量X(1)，記為X.min一組數(shù)據(jù)中最大的數(shù)據(jù)，即最大次序統(tǒng)計(jì)量X(n)，記為X.maxInX.min()Out5.39InX.max()Out20.35第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)（3）分位數(shù)分位數(shù)（亦稱分位點(diǎn)，Quantile），是指將一組數(shù)據(jù)分為多個(gè)等份的數(shù)值點(diǎn)，如百分位數(shù)就是將數(shù)據(jù)分成100個(gè)等份。常用的分位數(shù)有二分位數(shù)、四分位數(shù)和五分位數(shù)。第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)1.次序統(tǒng)計(jì)（3）分位數(shù)Python提供了函數(shù)quantile()對(duì)數(shù)據(jù)計(jì)算分位數(shù)：InX.quantile([0,0.25,0.5,0.75,1])Out0.005.390.258.600.5011.250.7515.641.0020.35第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)2.集中趨勢(shì)對(duì)于數(shù)值型定量數(shù)據(jù)，經(jīng)常要分析它的集中趨勢(shì)和離散程度，用來描述集中趨勢(shì)的主要統(tǒng)計(jì)指標(biāo)稱為平均統(tǒng)計(jì)量，如均值、中位數(shù)；用于描述離散程度的統(tǒng)計(jì)量主要有方差、標(biāo)準(zhǔn)差。Python只需要一個(gè)命令就可以簡(jiǎn)單地得到這些結(jié)果，計(jì)算均值、中位數(shù)、方差、標(biāo)準(zhǔn)差的命令分別是mean()、median()、var()、std()第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)2.集中趨勢(shì)（1）均值均值（mean，也稱均數(shù)，即為算術(shù)平均數(shù)）：指一組數(shù)據(jù)的和除以這組數(shù)據(jù)的個(gè)數(shù)所得到的商，它反映一組數(shù)據(jù)的總體水平。對(duì)于正態(tài)分布數(shù)據(jù)：InX.mean()Out12.027777777777777第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)2.集中趨勢(shì)（2）中值中值（median，也稱中位數(shù)，即二分位數(shù)）：指一組數(shù)據(jù)按大小順序排列，處于中間位置的一個(gè)數(shù)值，它也是反映了一組數(shù)據(jù)的集中趨勢(shì)。對(duì)偏態(tài)分布數(shù)據(jù)，通常計(jì)算其中位數(shù)，來表示其平均水平。InX.median()#=X.quantile(0.5)Out11.25第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)3.離散程度（1）極差或四分位差極差指一組數(shù)據(jù)中最大數(shù)據(jù)與最小數(shù)據(jù)的差，在統(tǒng)計(jì)中常用極差來刻畫一組數(shù)據(jù)的離散程度。該指標(biāo)由于只考慮數(shù)據(jù)的最大和最小值，通常用處不是很大。IndefR(x):return(x.max()-x.min())R(X)#X.max()-X.min();Out14.96第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)3.離散程度（1）極差或四分位差四分位差（也稱四分位數(shù)間距，InterQuartileRange,IQR），是第三分位數(shù)與第一分位數(shù)的差距。IndefIQR(x):return(x.quantile(0.75)-x.quantile(0.25))IQR(X)#X.quantile(0.75)-X.quantile(0.25)Out7.040000000000001第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)3.離散程度（2）方差與標(biāo)準(zhǔn)差方差（variance，簡(jiǎn)記var）指各個(gè)數(shù)據(jù)與均值之差的平方的平均數(shù)，它表示數(shù)據(jù)的離散程度和數(shù)據(jù)的波動(dòng)大小。InX.var()Out25.721494444444446第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)3.離散程度（2）方差與標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差（standevation，簡(jiǎn)記std）是方差的算術(shù)平方根。作用等同于方差，但單位與原數(shù)據(jù)單位是一致的。InX.std()Out5.071636268941656第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)Excel的基本操作（1）在透視表中選需要分析的數(shù)據(jù)，本例是2019年珠三角“人均GDP”數(shù)據(jù)。（2）在格子B15中輸入=MIN(B4:B12)。（3）在格子B16中輸入=MAX(B4:B12)。（4）在格子B17中輸入=AVERAGE(B4:B12)。（5）在格子B18中輸入=MEDIAN(B4:B12)。（6）在格子B19中輸入=STDEV.S(B4:B12)。第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析Excel的基本操作第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)pandas中有一個(gè)描述統(tǒng)計(jì)分析的函數(shù)describe，一次可以計(jì)算大多統(tǒng)計(jì)量。InX.describe()Outcount9.000mean12.028std5.072min5.39025%8.60050%11.25075%15.640max20.350第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析下面是采用Excel菜單的數(shù)據(jù)分析模塊所做的描述統(tǒng)計(jì)。（1）在透視表中選需要分析的數(shù)據(jù)，本例是2019年珠三角“人均GDP”數(shù)據(jù)。（2）切換到“數(shù)據(jù)”選項(xiàng)卡，單擊“分析”組中的“數(shù)據(jù)分析”按鈕，將彈出數(shù)據(jù)分析對(duì)話框。在分析工具框中選擇“描述統(tǒng)計(jì)”。（3）輸入：

輸入?yún)^(qū)域：B4:B12

分組方式：逐列（4）輸出選項(xiàng)：

輸出區(qū)域:D2匯總統(tǒng)計(jì):勾選第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)4.箱線圖箱線圖（Box-plot）又稱為盒須圖、箱式圖或箱形圖，是一種用作顯示一組數(shù)據(jù)散布情況的統(tǒng)計(jì)圖。它主要用于反映原始數(shù)據(jù)分布的特征，還可以進(jìn)行多組數(shù)據(jù)分布特征的比較。箱線圖的繪制方法是：先找出一組數(shù)據(jù)的最大值、最小值、中位數(shù)和上下兩個(gè)四分位數(shù)；然后，連接兩個(gè)四分位數(shù)畫出箱子；再將最大值和最小值與箱子相連接，中位數(shù)在箱子中間。第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析【Excel的基本操作】將透視表中的B4:B12數(shù)據(jù)復(fù)制到G4:G12，選擇G4:G12單元格區(qū)域，切換到“插入”選項(xiàng)卡，在“圖表”組中單擊“箱型圖”按鈕，即可生成如下圖。第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析利用Python繪制箱線圖：5.1.1數(shù)據(jù)的描述統(tǒng)計(jì)4.箱線圖第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（1）橫向數(shù)據(jù)描述分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)1.多變量數(shù)據(jù)統(tǒng)計(jì)【Excel的基本操作】第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析【Excel的基本操作】第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析【Excel的基本操作】選擇篩選的D401:I401單元格區(qū)域，切換到“插入”選項(xiàng)卡，在“圖表”組中單擊“箱型圖”按鈕，即可生成如下圖。第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（1）橫向數(shù)據(jù)描述分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)1.多變量數(shù)據(jù)統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（1）橫向數(shù)據(jù)描述分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)1.多變量數(shù)據(jù)統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（2）縱向數(shù)據(jù)描述分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)1.多變量數(shù)據(jù)統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析（2）縱向數(shù)據(jù)描述分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)1.多變量數(shù)據(jù)統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析pandas提供靈活高效的分組（groupby）功能，使得用戶能以一種自然的方式對(duì)數(shù)據(jù)集進(jìn)行切片、切塊、摘要等操作；根據(jù)一個(gè)或多個(gè)變量拆分pandas對(duì)象；計(jì)算分組摘要統(tǒng)計(jì)，如計(jì)數(shù)、均值、標(biāo)準(zhǔn)差以及用戶自定義函數(shù)等。5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析對(duì)分組變量應(yīng)用size、mean、count等統(tǒng)計(jì)函數(shù)，可分別統(tǒng)計(jì)分組數(shù)量、不同變量的分組均值和標(biāo)準(zhǔn)差等。5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.1描述性數(shù)據(jù)分析也可以應(yīng)用聚集函數(shù)agg可以對(duì)分組后的數(shù)據(jù)計(jì)算多個(gè)統(tǒng)計(jì)量（如例數(shù)、均值、標(biāo)準(zhǔn)差等）函數(shù)。5.1.2數(shù)據(jù)的綜合統(tǒng)計(jì)2.數(shù)據(jù)的分組統(tǒng)計(jì)第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想1.聚類分析的起源2.聚類分析的類型3.聚類分析統(tǒng)計(jì)量5.2.2層次聚類分析1.層次聚類分析方法2.層次聚類步驟3.實(shí)例分析練習(xí)題5第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想1.聚類分析的起源聚類分析(clusteranalysis)是研究“物以類聚”的一種現(xiàn)代統(tǒng)計(jì)分析方法。過去人們受分析工具的限制，主要依靠經(jīng)驗(yàn)和專業(yè)知識(shí)做定性分類處理，很少利用統(tǒng)計(jì)方法，致使許多分類帶有主觀性和隨意性，不能很好地揭示客觀事物內(nèi)在的本質(zhì)差別和聯(lián)系，特別是對(duì)于多個(gè)指標(biāo)的分類問題，定性分類更難以實(shí)現(xiàn)準(zhǔn)確分類。為了克服定性分類的不足，多元統(tǒng)計(jì)分析中引入數(shù)值分類方法，形成了聚類分析分支。第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想2.聚類分析的類型聚類分析的基本思路：把分類對(duì)象按一定規(guī)則分成若干類，這些類不是事先給定的，而是根據(jù)數(shù)據(jù)的特征來確定的。在同一類中，這些對(duì)象在某種意義上趨向于彼此相似；而在不同類中，對(duì)象趨向于不相似。常見的聚類分析方法有系統(tǒng)聚類法、快速聚類法、有序聚類法和模糊聚類法等。根據(jù)分類對(duì)象的不同：Q型聚類——對(duì)樣品進(jìn)行分類處理

R型聚類——對(duì)變量進(jìn)行分類處理第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想3.聚類分析統(tǒng)計(jì)量在實(shí)際聚類分析中，很多情況下都是對(duì)樣品做聚類。進(jìn)行樣品聚類分析統(tǒng)計(jì)量主要是距離。對(duì)樣品進(jìn)行聚類時(shí)，我們把樣品間的“靠近”程度用某種距離來刻畫；對(duì)指標(biāo)的聚類，往往用某種相關(guān)系數(shù)來刻畫。當(dāng)選用n

個(gè)樣品、p個(gè)指標(biāo)時(shí)，就可以得到一個(gè)n×p

的數(shù)據(jù)矩陣

X=(xij)n×p。該矩陣的元素xij

表示第i

個(gè)樣品的第j

個(gè)變量值。第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想3.聚類分析統(tǒng)計(jì)量從數(shù)據(jù)中取出任意兩個(gè)變量，在直角坐標(biāo)系中顯示它們?cè)诳臻g的距離分布情況第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想3.聚類分析統(tǒng)計(jì)量有多個(gè)變量時(shí)，計(jì)算距離的常用方法：設(shè)xij=（i

1,2

,

,n，j

1,2,

,

p）為第i個(gè)樣品的第j個(gè)指標(biāo)的觀測(cè)數(shù)據(jù)，即每個(gè)樣品有p個(gè)變量，則每個(gè)樣品都可以看成p維空間中的一個(gè)點(diǎn)，n個(gè)樣品就是p維空間中的n個(gè)點(diǎn)，定義dij

為樣品xi

與xj

的距離，于是得到n

n的距離矩陣：第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.1聚類分析的思想3.聚類分析統(tǒng)計(jì)量聚類分析中最常用的計(jì)算樣品間距離的方法是歐氏距離(Euclidean)第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.2層次法聚類分析1.層次聚類分析方法確定了距離后就要進(jìn)行分類，分類有許多種方法，最常用的一類方法是在樣品距離的基礎(chǔ)上定義類與類之間的距離：將n個(gè)樣品分成n類，每個(gè)樣品自成一類每次將具有最小距離的兩類合并，合并后重新計(jì)算類與類之間的距離一直繼續(xù)到所有的樣品歸為一類為止，并把這個(gè)過程作成一張聚類圖。因?yàn)榫垲悎D類似于一張系統(tǒng)圖，所以這類方法就稱為層次聚類法(hierachicalclusteringmethod)。第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.2層次法聚類分析1.層次聚類分析方法不同的定義方法就產(chǎn)生了不同的系統(tǒng)聚類方法，常用的有以下六種：①最短距離法（single）：類與類之間的距離等于兩類最近樣品之間的距離。如何定義類與類之間的距離？第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.2層次法聚類分析1.層次聚類分析方法②最長(zhǎng)距離法（complete）：類與類之間的距離等于兩類最遠(yuǎn)樣品之間的距離。③中間距離法（median）：最長(zhǎng)距離法夸大了類間距離，最短距離法低估了類間距離，介于兩者間的距離法即中間距離法。第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.2層次法聚類分析1.層次聚類分析方法④類平均法（average）：類與類之間的距離等于各類元素兩兩之間的平方距離的平均值。⑤重心法（centroid）：類與類之間的距離定義為對(duì)應(yīng)這兩類重心(均值)之間的距離。⑥離差平方和法(Ward)：基于方差分析的思想，如果類分得正確，同類樣品之間的離差平方和應(yīng)當(dāng)較小，類與類之間的離差平方和應(yīng)當(dāng)較大。第5章數(shù)據(jù)基本分析及可視化5.2數(shù)據(jù)的聚類分析5.2.2層次法聚類分析2.層次聚類步驟系統(tǒng)聚類的基本步驟如下：①計(jì)算n個(gè)樣品兩兩間的距離陣，記作