數(shù)據(jù)的初步分析 R軟件

數(shù)據(jù)的初步分析一個(gè)數(shù)據(jù)可能有很多變量和觀測(cè)值，這些變量和觀測(cè)值可以通過一些簡(jiǎn)單的表格、圖形以及少數(shù)的特征統(tǒng)計(jì)量來進(jìn)行描述。這些方法在統(tǒng)計(jì)學(xué)中稱為描述性統(tǒng)計(jì)分析方法，其目的在于幫助我們整理、展示數(shù)據(jù)，使得我們可以了解數(shù)據(jù)的特征，進(jìn)而為進(jìn)一步的統(tǒng)計(jì)推斷做好準(zhǔn)備。通過計(jì)算機(jī)軟件做數(shù)據(jù)的描述性分析，可以使我們更加直觀、便捷地了解數(shù)據(jù)特征，有利于對(duì)統(tǒng)計(jì)描述的理解。本章的實(shí)驗(yàn)重點(diǎn)是介紹如何運(yùn)用R軟件來對(duì)數(shù)據(jù)進(jìn)行描述性分析，并掌握描述性統(tǒng)計(jì)的基本方法和概念。實(shí)驗(yàn)一數(shù)據(jù)的統(tǒng)計(jì)量描述實(shí)驗(yàn)?zāi)康某醪搅私鈹?shù)據(jù)的特點(diǎn)、分布形狀；熟悉R軟件的程序結(jié)構(gòu)；學(xué)會(huì)使用R軟件計(jì)算數(shù)據(jù)的描述統(tǒng)計(jì)量。實(shí)驗(yàn)內(nèi)容掌握通過R軟件讀入或輸入數(shù)據(jù)，并能夠計(jì)算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。準(zhǔn)備知識(shí)位置的度量所謂位置的度量就是那些用來描述數(shù)據(jù)集中趨勢(shì)的統(tǒng)計(jì)量。常用的有均值、眾數(shù)、中位數(shù)、百分位數(shù)等。平均數(shù)（Mean）：中位數(shù)（Median）：一組數(shù)據(jù)按從小到大（或從大到?。┑捻樞蛞来闻帕?，處在中間位置的一個(gè)數(shù)，即me中位數(shù)描述的是數(shù)據(jù)的中心位置不受數(shù)據(jù)分布的影響，具有穩(wěn)健性，是數(shù)據(jù)分析中相當(dāng)重要的統(tǒng)計(jì)量。眾數(shù)（Mode）：在一組數(shù)據(jù)中,出現(xiàn)次數(shù)最多的那個(gè)數(shù)據(jù)。百分位數(shù)：百分位數(shù)是中位數(shù)的推廣。將數(shù)據(jù)按從小到大排序后，對(duì)于0≤p<1m其中[np]為np的整數(shù)部分。離散趨勢(shì)度量表示數(shù)據(jù)分散或變異程度的特征統(tǒng)計(jì)量，常用的有方差、標(biāo)準(zhǔn)差、變異系數(shù)等樣本方差（SampleVariance）：描述數(shù)據(jù)取值分散性的一個(gè)度量，即樣本標(biāo)準(zhǔn)差（StandardDeviation）：樣本方差的開方，即變異系數(shù)（CV）：變異系數(shù)是刻畫數(shù)據(jù)相對(duì)分散性的一種度量CV=100×是一個(gè)無量綱的量，用百分?jǐn)?shù)表示。分布形狀的度量數(shù)據(jù)分布形狀的度量包括偏度系數(shù)和峰度系數(shù)。偏度系數(shù)：計(jì)算公式為gs是標(biāo)準(zhǔn)差，峰度系數(shù)：計(jì)算公式gs是標(biāo)準(zhǔn)差，μ4實(shí)驗(yàn)背景某燈泡生產(chǎn)廠商測(cè)試某種新型燈泡的燃燒壽命，如下數(shù)據(jù)表格列出了200個(gè)燈泡樣本的可使用小時(shí)數(shù)。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296計(jì)算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。實(shí)驗(yàn)過程1.讀入數(shù)據(jù)。首先通過R軟件中的read.table()命令來讀入實(shí)驗(yàn)數(shù)據(jù)（也可以通過函數(shù)scan()來讀入數(shù)據(jù)）。以本實(shí)驗(yàn)為例，我們假定數(shù)據(jù)的存儲(chǔ)路徑為：I:\非參數(shù)實(shí)驗(yàn)教材\教材\第一章描述性統(tǒng)計(jì)分析，數(shù)據(jù)名稱為”測(cè)試.txt”,則具體讀入過程如下：>x<-read.table("I:\\非參數(shù)實(shí)驗(yàn)教材\\教材\\第一章描述性統(tǒng)計(jì)分析\\測(cè)試.txt")>x=t(x)2.均值。讀入數(shù)據(jù)后，可以通過”mean()”這一函數(shù)求數(shù)據(jù)的均值，記為x.mean，過程如下：>x.mean=mean(x);x.mean[1]76.053.數(shù)據(jù)排序。在R軟件中，對(duì)原始數(shù)據(jù)進(jìn)行排序，可以通過”sort()”函數(shù)(具體用法可以參考help文件)對(duì)數(shù)據(jù)進(jìn)行排序，例如，分別對(duì)數(shù)據(jù)進(jìn)行降序和升序排列，過程如下：>sort(x,decreasing=T)[1]11610710310210199989898979696969494949493[19]939292929292919090898989898989888888[37]888887878686868685858585858484848484[55]838383838382828282818181818181808080[73]797979797979797878787878787777777777[91]777777777676767676767575757575757474[109]747474747373737373737272727272727171[127]717171717171707070706969686868686868[145]686867676767666666666666656565656565[163]656564646464636363636363626262626262[181]626261616161616059595959595858575451[199]4543>sort(x,decreasing=F)[1]434551545758585959595959606161616161[19]626262626262626263636363636364646464[37]656565656565656566666666666667676767[55]686868686868686869697070707071717171[73]717171717272727272727373737373737474[91]747474747575757575757676767676767777[109]777777777777777878787878787979797979[127]797980808081818181818182828282838383[145]838384848484848585858585868686868787[163]888888888889898989898990909192929292[181]929393949494949696969798989899101102103[199]1071164.中位數(shù)。在R軟件中，求數(shù)據(jù)中位數(shù)的命令函數(shù)為median()，可以通過以下命令求中位數(shù)。>median(x)[1]75.55.分位數(shù)。求分位數(shù)的函數(shù)命令為quantile()，我們可以通過quantile()求某一個(gè)具體的分位點(diǎn)值，也可以同時(shí)求多個(gè)分位點(diǎn)值，例如>quantile(x)0%25%50%75%100%43.0066.7575.5084.00116.00>quantile(x,0.05)5%59>quantile(w,probs=seq(0,1,0.2))0%20%40%60%80%100%47.4056.9862.2064.0067.3275.006.方差和標(biāo)準(zhǔn)差。在R軟件中求方差和標(biāo)準(zhǔn)差的命令函數(shù)為var()和sd()，通過這兩個(gè)命令可以很容易的求出數(shù)據(jù)的方差、標(biāo)準(zhǔn)差。具體如下：>var(x)[1]145.4548>sd(x)[1]12.060467.變異系數(shù)、峰度和偏度。在R軟件中沒有專門的函數(shù)用來求數(shù)據(jù)的變異系數(shù)、峰度以及偏度，不過我們可以根據(jù)公式，自己編寫命令或函數(shù)來求這些統(tǒng)計(jì)量的值。例如，變異系數(shù)可以通過以下命令求得：>cv=100*sd(x)/mean(x);cv[1]15.8586而樣本數(shù)據(jù)的峰度和偏度可以通過以下命令求得：n<-length(x)m<-mean(x)s<-sd(x)g1<-n/((n-1)*(n-2))*sum((x-m)^3)/s^3g2<-((n*(n+1))/((n-1)*(n-2)*(n-3))*sum((x-m)^4)/s^4-(3*(n-1)^2)/((n-2)*(n-3)))我們也可以編寫一個(gè)完整的函數(shù)來將以上所有特征統(tǒng)計(jì)量求出來，以下給出了一個(gè)簡(jiǎn)單的函數(shù)（具體見附錄），用法如下：>data.outline(x)NMeanV1std_devMedianstd_meanCVCSSUSSR120076.05145.454812.0604675.50.852803515.858628945.5118566673R1SkewnessKurtosis117.250.27702750.03557146練習(xí)實(shí)驗(yàn)以下數(shù)據(jù)為非洲44個(gè)國(guó)家的人均收入（單位為美元）：1890.00640.00660.00320.00290.001870.007480.00290.00740.001490.00100.00430.00170.00200.00150.00380.00440.00260.00190.00140.00290.00320.002780.003430.00250.0090.00390.00430.00220.001350.00300.00450.003580.00590.004090.00320.00310.00100.00640.00310.00130.00210.00550.00240.00計(jì)算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。以下數(shù)據(jù)為福布斯雜志的全球最好的125個(gè)公司的利潤(rùn)數(shù)據(jù)（單位為美元）：10.934.081.460.910.730.840.860.560.420.308.752.771.021.360.670.540.390.410.390.415.892.781.610.881.080.470.490.320.220.2812.432.771.491.130.590.430.460.410.300.344.542.312.431.541.140.520.280.430.350.253.541.830.870.630.440.510.810.420.270.241.801.681.070.730.841.110.280.450.380.263.303.672.851.900.520.370.310.370.270.235.093.230.911.360.930.550.360.550.931.031.070.550.470.330.333.341.481.770.340.290.420.250.390.313.551.580.871.080.340.750.6031.530.910.911.261.000.420.430.16計(jì)算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。附錄：data_outline<-function(x){n<-length(x)m<-mean(x)v<-var(x)s<-sd(x)me<-median(x)cv<-100*s/mg1<-n/((n-1)*(n-2))*sum((x-m)^3)/s^3g2<-((n*(n+1))/((n-1)*(n-2)*(n-3))*sum((x-m)^4)/s^4-(3*(n-1)^2)/((n-2)*(n-3)))data.frame(N=n,Mean=m,Var=v,std.dev=s,Median=me,CV=cv,Skewness=g1,Kurtosis=g2,s=1)}實(shí)驗(yàn)二數(shù)據(jù)分布一、實(shí)驗(yàn)?zāi)康恼莆张袛鄻颖緮?shù)據(jù)是否來自正太總體的方法；對(duì)于給定的樣本數(shù)據(jù)，會(huì)通過R軟件畫出樣本數(shù)據(jù)的直方圖、經(jīng)驗(yàn)分布圖以及Q-Q圖。二、實(shí)驗(yàn)內(nèi)容通過R軟件畫出樣本數(shù)據(jù)的直方圖、經(jīng)驗(yàn)分布圖以及Q-Q圖。三、準(zhǔn)備知識(shí)想要了解樣本數(shù)據(jù)的總體分布情況，僅有特征統(tǒng)計(jì)量是不夠的，還需要研究數(shù)據(jù)的分布。而研究數(shù)據(jù)的總體分布的一個(gè)主要問題就是想知道數(shù)據(jù)是否來自于某一個(gè)正太總體，也就是所謂的分布的正態(tài)性檢驗(yàn)問題。研究這一問題常用到的方法包括直方圖、經(jīng)驗(yàn)分布圖Q-Q圖以及下一個(gè)實(shí)驗(yàn)內(nèi)容所包括的莖葉圖、箱線圖等直方圖：直方圖是一種\o"二維"二維\o"統(tǒng)計(jì)圖表"統(tǒng)計(jì)圖表，它的兩個(gè)坐標(biāo)分別是\o"統(tǒng)計(jì)樣本（頁(yè)面不存在）"統(tǒng)計(jì)樣本和該樣本對(duì)應(yīng)的某個(gè)屬性的度量。直方圖是用面積而非高度來表示數(shù)量。直方圖由一組塊形組成，每一個(gè)塊形的面積表示在相應(yīng)的小組區(qū)間中事例的\o"百分?jǐn)?shù)"百分?jǐn)?shù)。采用\o"密度尺度（頁(yè)面不存在）"密度尺度，每一個(gè)塊形的高度等于相應(yīng)小組區(qū)間中事例的百分?jǐn)?shù)除以該\o"區(qū)間"區(qū)間的長(zhǎng)度。其面積呈現(xiàn)為百分?jǐn)?shù)，總面積為100%。直方圖下兩個(gè)數(shù)值之間的面積給出了落在那個(gè)區(qū)間內(nèi)的事件的百分?jǐn)?shù)。經(jīng)驗(yàn)分布圖：直方圖的制作適合于總體為連續(xù)分布的場(chǎng)合。對(duì)于一般的總體分布，若要估計(jì)它的總體分布函數(shù)，可以采用經(jīng)驗(yàn)分布函數(shù)。經(jīng)驗(yàn)分布函數(shù)是指根據(jù)樣本構(gòu)造的概率分布函數(shù).設(shè)x1,?,xn為一組樣本,定義函數(shù)m(x)表示樣本中小于或者等于x的樣本個(gè)數(shù),則稱函數(shù)F為樣本x1Q-Q圖：Q-Q圖是一種散點(diǎn)圖,對(duì)應(yīng)于正態(tài)分布的Q-Q圖,就是由標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)為橫坐標(biāo),樣本值為縱坐標(biāo)的散點(diǎn)圖.要利用QQ圖鑒別樣本數(shù)據(jù)是否近似于正態(tài)分布,只需看QQ圖上的點(diǎn)是否近似地在一條直線附近,而且該直線的斜率為標(biāo)準(zhǔn)差,截距為均值.用QQ圖還可獲得樣本偏度和峰度的粗略信息.Q-Q圖可以用于檢驗(yàn)數(shù)據(jù)的分布，所不同的是，Q-Q圖是用變量數(shù)據(jù)分布的分位數(shù)與所指定分布的分位數(shù)之間的關(guān)系曲線來進(jìn)行檢驗(yàn)的。四、實(shí)驗(yàn)背景某燈泡生產(chǎn)廠商測(cè)試某種新型燈泡的燃燒壽命，如下數(shù)據(jù)表格列出了200個(gè)燈泡樣本的可使用小時(shí)數(shù)。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296根據(jù)給定的樣本數(shù)據(jù)畫出數(shù)據(jù)的直方圖、經(jīng)驗(yàn)分布圖以及Q-Q圖。五、實(shí)驗(yàn)過程數(shù)據(jù)的讀入可以參見實(shí)驗(yàn)一，這里不再重復(fù)。1.直方圖。軟件中直方圖的命令為hist()（具體可以參考R軟件文檔），如果不輸入其它參數(shù)，則可以采取默認(rèn)分組，具體為>hist(x)也可以指定分組、顏色等其它參數(shù)，例如>hist(x,breaks=15)在本實(shí)驗(yàn)中，為了觀察數(shù)據(jù)的分布特征，以及判斷數(shù)據(jù)是否來自正太總體，可以同時(shí)繪出直方圖和密度估計(jì)曲線和正太分布的概率密度曲線進(jìn)行比較。>hist(x,freq=FALSE)>lines(density(x),col="blue")>w<-min(x):max(x)>lines(w,dnorm(w,mean(x),sd(x)),col="red")2.經(jīng)驗(yàn)分布圖。在這一實(shí)驗(yàn)中，我們同樣可以通過繪出200個(gè)燈泡使用時(shí)間的經(jīng)驗(yàn)分布圖和相應(yīng)的正態(tài)分布圖來進(jìn)行比較，以判斷數(shù)據(jù)是否來自于正太總體，例如>plot(ecdf(x),verticals=TRUE,do.p=FALSE)>w<-min(x):max(x)>lines(w,pnorm(w,mean(x),sd(x)))3.QQ圖。QQ圖同樣可以用來判斷數(shù)據(jù)的總體情況，畫出數(shù)據(jù)的正態(tài)QQ圖和正太QQ曲線，判斷樣本是否來自正態(tài)總體，過程如下：>qqnorm(x);qqline(x)七、練習(xí)實(shí)驗(yàn)以下數(shù)據(jù)為非洲44個(gè)國(guó)家的人均收入（單位為美元）：1890.00640.00660.00320.00290.001870.007480.00290.00740.001490.00100.00430.00170.00200.00150.00380.00440.00260.00190.00140.00290.00320.002780.003430.00250.0090.00390.00430.00220.001350.00300.00450.003580.00590.004090.00320.00310.00100.00640.00310.00130.00210.00550.00240.00計(jì)算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。以下數(shù)據(jù)為福布斯雜志的全球最好的125個(gè)公司的利潤(rùn)數(shù)據(jù)（單位為美元）：10.934.081.460.910.730.840.860.560.420.308.752.771.021.360.670.540.390.410.390.415.892.781.610.881.080.470.490.320.220.2812.432.771.491.130.590.430.460.410.300.344.542.312.431.541.140.520.280.430.350.253.541.830.870.630.440.510.810.420.270.241.801.681.070.730.841.110.280.450.380.263.303.672.851.900.520.370.310.370.270.235.093.230.911.360.930.550.360.550.931.031.070.550.470.330.333.341.481.770.340.290.420.250.390.313.551.580.871.080.340.750.6031.530.910.911.261.000.420.430.16計(jì)算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。實(shí)驗(yàn)三數(shù)據(jù)的莖葉圖、盒子圖以及五數(shù)總括一、實(shí)驗(yàn)?zāi)康恼莆张袛鄻颖緮?shù)據(jù)是否來自正太總體的方法；對(duì)于給定的樣本數(shù)據(jù)，會(huì)通過R軟件畫出樣本數(shù)據(jù)的莖葉圖、盒子圖以及能夠計(jì)算五數(shù)總括。二、實(shí)驗(yàn)內(nèi)容通過R軟件畫出樣本數(shù)據(jù)的莖葉圖、箱線圖，并計(jì)算五數(shù)總括。三、準(zhǔn)備知識(shí)1.莖葉圖莖葉圖有三列數(shù)：左邊的一列數(shù)統(tǒng)計(jì)數(shù)，它是上（或下）向中心累積的值，中心的數(shù)（帶括號(hào)）表示最多數(shù)組的個(gè)數(shù)；中間的一列表示莖，也就是變化不大的位數(shù)；右邊的是數(shù)組中的變化位，它是按照一定的間隔將數(shù)組中的每個(gè)變化的數(shù)一一列出來，像一條枝上抽出的葉子一樣，所以人們形象地叫它莖葉圖。莖葉圖是一個(gè)與直方圖相類似的特殊工具，但又與直方圖不同，莖葉圖保留原始資料的資訊，直方圖則失去原始資料的訊息。將莖葉圖莖和葉逆時(shí)針方向旋轉(zhuǎn)90度，實(shí)際上就是一個(gè)直方圖，可以從中統(tǒng)計(jì)出次數(shù)，計(jì)算出各數(shù)據(jù)段的頻率或百分比。從而可以看出分布是否與正態(tài)分布或單峰偏態(tài)分布逼近。2.箱線圖箱線圖（Boxplot）也稱箱圖、盒形圖等，是利用數(shù)據(jù)中的五個(gè)\o"統(tǒng)計(jì)量"統(tǒng)計(jì)量：最小值、第一\o"四分位數(shù)"四分位數(shù)、\o"中位數(shù)"中位數(shù)、第三四分位數(shù)與最大值來描述數(shù)據(jù)的一種方法，它也可以粗略地看出數(shù)據(jù)是否具有有對(duì)稱性，分布的分散程度等信息，特別可以用于對(duì)幾個(gè)樣本的比較。3.五數(shù)總括直方圖、莖葉圖雖然包含了大量的樣本信息，但是沒有做任何加工或簡(jiǎn)化。有時(shí)，我們需要用少數(shù)幾個(gè)統(tǒng)計(jì)量來對(duì)大量的原始數(shù)據(jù)進(jìn)行概括。而最有代表性的、能夠反映數(shù)據(jù)重要特征的五個(gè)數(shù)為：中位數(shù)、下四分位數(shù)、上四分位數(shù)、最小值和最大值。這五個(gè)數(shù)稱為樣本數(shù)據(jù)的五數(shù)總括。四、實(shí)驗(yàn)背景某燈泡生產(chǎn)廠商測(cè)試某種新型燈泡的燃燒壽命，如下數(shù)據(jù)表格列出了200個(gè)燈泡樣本的可使用小時(shí)數(shù)。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296根據(jù)給定的樣本數(shù)據(jù)畫出數(shù)據(jù)的直方圖、經(jīng)驗(yàn)分布圖以及Q-Q圖。五、實(shí)驗(yàn)過程數(shù)據(jù)的讀入可以參見實(shí)驗(yàn)一，這里不再重復(fù)。1.繪出數(shù)據(jù)的莖葉圖。在R中莖葉圖的繪制命令為stem()，過程為>stem(x)Thedecimalpointis1digit(s)totherightofthe|4|34|55|145|788999996|0111112222222233333344446|55555555666666777788888888997|0000111111112222223333334444447|55555566666677777777788888899999998|000111111222233333444448|55555666677888889999999|001222223344449|6667888910|12310|711|