數(shù)據(jù)統(tǒng)計分析方法.docx

數(shù)據(jù)統(tǒng)計分析常用方法目錄1統(tǒng)計學基礎(chǔ)知識31.1統(tǒng)計的含義31.2統(tǒng)計的分類31.3樣本32數(shù)據(jù)的概括性度量42.1總規(guī)模度量42.1.1總量指標42.2比較度量52.2.1相對指標52.3平均度量62.3.1概念62.3.2平均數(shù)的種類和計算方法62.4離散變量82.4.1變異指標82.5數(shù)據(jù)的標準化112.5.1Min-max標準化112.5.2Z-score標準化113相關(guān)分析113.1概念113.2分類123.3相關(guān)分析的作用123.4相關(guān)系數(shù)的計算123.5相關(guān)系數(shù)的性質(zhì)123.5.1相關(guān)性類型123.5.2相關(guān)性強弱124數(shù)據(jù)分析134.1數(shù)據(jù)分析的含義134.2數(shù)據(jù)分析的作用134.3數(shù)據(jù)分析方法134.3.1對比分析法134.3.2分組分析法144.3.3結(jié)構(gòu)分析法154.3.4平均分析法154.3.5交叉分析法154.3.6綜合評價分析法164.3.7漏斗圖分析法174.3.8抽樣分析法174.3.9相關(guān)分析184.3.10時間序列預(yù)測201 統(tǒng)計學基礎(chǔ)知識1.1 統(tǒng)計的含義“統(tǒng)計”一詞在各種實踐活動和科學研究領(lǐng)域中都經(jīng)常出現(xiàn)。然而，不同的人或在不同的場合，對其理解是有差異的。比較公認的看法認為統(tǒng)計有三種含義，即統(tǒng)計活動、統(tǒng)計數(shù)據(jù)和統(tǒng)計學。l 統(tǒng)計活動統(tǒng)計活動又稱統(tǒng)計工作，是指收集、整理和分析統(tǒng)計數(shù)據(jù)，并探索數(shù)據(jù)的內(nèi)在數(shù)量規(guī)律性的活動過程。l 統(tǒng)計資料統(tǒng)計資料又稱統(tǒng)計數(shù)據(jù)，即統(tǒng)計活動過程所獲得的各種數(shù)字資料和其他資料的總稱。表現(xiàn)為各種反映社會經(jīng)濟現(xiàn)象數(shù)量特征的原始記錄、統(tǒng)計臺賬、統(tǒng)計表、統(tǒng)計圖、統(tǒng)計分析報告、政府統(tǒng)計公報、統(tǒng)計年鑒等各種數(shù)字和文字資料。l 統(tǒng)計學統(tǒng)計學是指闡述統(tǒng)計工作基本理論和基本方法的科學，是對統(tǒng)計工作實踐的理論概括和經(jīng)驗總結(jié)。它以現(xiàn)象總體的數(shù)量方面為研究對象，闡明統(tǒng)計設(shè)計、統(tǒng)計調(diào)查、統(tǒng)計整理和統(tǒng)計分析的理論與方法，是一門方法論科學。1.2 統(tǒng)計的分類從統(tǒng)計方法的功能來看，統(tǒng)計學可以分為描述統(tǒng)計學與推斷統(tǒng)計學。從方法研究的重點來看，統(tǒng)計學可分為理論統(tǒng)計學和應(yīng)用統(tǒng)計學。本文中主要按統(tǒng)計方法的功能進行討論，不涉及理論統(tǒng)計學。l 描述統(tǒng)計學研究如何取得反映客觀現(xiàn)象的數(shù)據(jù)，并通過圖表形式對所搜集的數(shù)據(jù)進行加工處理和顯示，進而通過綜合、概括與分析得出反映客觀現(xiàn)象的規(guī)律性數(shù)量特征。描述統(tǒng)計學的內(nèi)容包括統(tǒng)計數(shù)據(jù)的搜集方法、數(shù)據(jù)的加工處理方法、數(shù)據(jù)的顯示方法、數(shù)據(jù)分布特征的概括與分析方法等。l 推斷統(tǒng)計學研究如何根據(jù)樣本數(shù)據(jù)去推斷總體數(shù)量特征的方法，它是在對樣本數(shù)據(jù)進行描述的基礎(chǔ)上，對統(tǒng)計總體的未知數(shù)量特征作出以概率形式表述的推斷。描述統(tǒng)計是整個統(tǒng)計學的基礎(chǔ) ，推斷統(tǒng)計則是現(xiàn)代統(tǒng)計學的主要內(nèi)容。1.3 樣本樣本是統(tǒng)計學中非常重要的概念，理解這個概念需要注意三大問題：l構(gòu)成某一樣本的每一單位都必須取自某一特定的統(tǒng)計總體，不允許該總體之外的單位介入該總體的樣本。l樣本單位的抽取應(yīng)是按一定的概率進行的，而具體樣本的產(chǎn)生應(yīng)是隨機的，因此必須排除人的主觀因素對樣本單位抽取和樣本生成的干擾。l樣本是母體的代表，帶有母體的信息，因而能夠推斷母體；然而，樣本只是母體的一個子集，且具有隨機性，故由樣本去推斷總體會產(chǎn)生代表性誤差。2 數(shù)據(jù)的概括性度量2.1 總規(guī)模度量2.1.1 總量指標2.1.1.1 概念總量指標是反映社會經(jīng)濟現(xiàn)象總體在一定時間、地點和條件下總規(guī)?；蚩偹降慕y(tǒng)計指標。其表現(xiàn)形式通常是絕對數(shù)，所以也稱為絕對指標或絕對數(shù)。2.1.1.2 作用l 總量指標反映的是總體情況l 總量指標是計算相對指標和平均指標的基礎(chǔ)2.1.1.3 總量指標的計算方法總量指標的計算方法，抽掉其具體內(nèi)容，都可以歸結(jié)到加法上，分簡單加法和加權(quán)加法。l 簡單算法l 加權(quán)算法其中，式中：M表示總量指標；x表示變量值；f表示權(quán)數(shù)2.2 比較度量2.2.1 相對指標2.2.1.1 概念相對指標又稱相對數(shù)，是兩個有聯(lián)系的統(tǒng)計指標的比值，用以說明社會經(jīng)濟現(xiàn)象之間的數(shù)量對比關(guān)系。2.2.1.2 作用l 反映現(xiàn)象的內(nèi)部結(jié)構(gòu)、比例關(guān)系、普遍程度與速度。l 使某些不能直接進行對比的統(tǒng)計指標，取得可以比較的基礎(chǔ)2.2.1.3 相對數(shù)的種類和計算方法2.2.1.3.1 結(jié)構(gòu)相對數(shù)結(jié)構(gòu)相對數(shù)是表明總體內(nèi)部各個組成部分在總體中所占比重的相對指標。2.2.1.3.2 比例相對數(shù)反映一個統(tǒng)計總體內(nèi)部各個組成部分之間數(shù)量對比關(guān)系的相對指標，常用系數(shù)和倍數(shù)表示。2.2.1.3.3 比較相對數(shù)反映同一時期的同類現(xiàn)象在不同地區(qū)、部門和單位之間數(shù)量對比關(guān)系的相對指標。2.2.1.3.4 動態(tài)相對數(shù)同類現(xiàn)象在不同時間上數(shù)量對比關(guān)系的相對指標稱為動態(tài)相對數(shù)，說明現(xiàn)象發(fā)展變化的方向和程度。常見的例如同比、環(huán)比等。2.2.1.3.5 強度相對數(shù)強度相對數(shù)反映兩個性質(zhì)不同但有聯(lián)系的統(tǒng)計指標之間數(shù)量對比關(guān)系的相對指標。2.2.1.3.6 計劃完成相對數(shù)計劃完成相對數(shù)也稱計劃完成百分比，它是現(xiàn)象在某一時期的實際完成數(shù)與其計劃任務(wù)數(shù)的比值，用來檢查、監(jiān)督計劃的執(zhí)行情況，一般用百分數(shù)表示。2.2.1.4 運用相對指標的原則l 可比性原則l 多種相對指標綜合運用的原則l 同總量指標、平均指標綜合運用的原則2.3 平均度量2.3.1 概念計算平均數(shù)是統(tǒng)計分析中最常用的一種方法。在統(tǒng)計分析中，除了用平均數(shù)表現(xiàn)數(shù)據(jù)資料的集中趨勢外，還常運用平均數(shù)進行靜態(tài)和動態(tài)的對比分析，運用平均數(shù)分析現(xiàn)象之間的依存關(guān)系。2.3.2 平均數(shù)的種類和計算方法2.3.2.1 數(shù)值平均數(shù)算數(shù)平均數(shù)：算術(shù)平均數(shù)也稱為均值，是全部數(shù)據(jù)算術(shù)平均的結(jié)果。2.3.2.1.1 簡單算數(shù)平均數(shù)未經(jīng)分組整理的原始數(shù)據(jù)，其算術(shù)平均數(shù)的計算就是直接將一組數(shù)據(jù)的各個數(shù)值相加除以數(shù)值個數(shù)。2.3.2.1.2 加權(quán)算數(shù)平均數(shù)根據(jù)分組整理的數(shù)據(jù)計算算術(shù)平均數(shù)，就要以各組變量值出現(xiàn)的次數(shù)或頻數(shù)為權(quán)數(shù)計算加權(quán)的算術(shù)平均數(shù)。2.3.2.1.3 調(diào)和平均數(shù)有時會遇到已知各組變量值和各組標志總量而缺少總體單位數(shù)的情況，這時就要用調(diào)和平均數(shù)法計算平均指標。調(diào)和平均數(shù)是各個變量值倒數(shù)的算術(shù)平均數(shù)的倒數(shù)。l 簡單調(diào)和平均數(shù)l 加權(quán)調(diào)和平均數(shù)2.3.2.1.4 幾何平均數(shù)幾何平均數(shù)是n個變量值乘積的n次方根，可分為簡單幾何平均數(shù)和加權(quán)幾何平均數(shù)。l 簡單幾何平均數(shù)、l 加權(quán)幾何平均數(shù)幾何平均數(shù)是適應(yīng)于特殊數(shù)據(jù)的一種平均數(shù)，在實際生活中，通常用來計算平均比率和平均速度，如過去歷年的平均增長率。2.3.2.1.5 平方平均數(shù)平方平均數(shù)是n個數(shù)據(jù)的平方的算術(shù)平均數(shù)的算術(shù)平方根。2.3.2.1.6 中位數(shù)中位數(shù)是一組數(shù)據(jù)按從小到大排序后，處于中間位置上的變量值，用Me表示。根據(jù)未分組數(shù)據(jù)計算中位數(shù)時，要先對數(shù)據(jù)排序，然后確定中位數(shù)的位置，其公式為其中n為數(shù)據(jù)的個數(shù)，最后確定中位數(shù)的具體數(shù)值。當n為奇數(shù)時，處在中間位置上只有一個變量，；當n為偶數(shù)時，處在中間位置上有兩個變量值。2.3.2.1.7 眾數(shù)眾數(shù)是指一組數(shù)據(jù)中出現(xiàn)次數(shù)最多的變量值，用Mo表示。眾數(shù)是具有明顯集中趨勢點的數(shù)值，一組數(shù)據(jù)分布的最高峰點所對應(yīng)的數(shù)值即為眾數(shù)。2.3.2.1.8 分位數(shù)中位數(shù)是從中間點將全部數(shù)據(jù)等分為兩部分。與中位數(shù)類似的還有四分位數(shù)、十分位數(shù)和百分位數(shù)等。2.4 離散變量2.4.1 變異指標數(shù)據(jù)的差異程度就是各變量值遠離其中心值的程度。2.4.1.1 概念在統(tǒng)計研究中，通常把一組數(shù)值之間的差異程度叫做標志變動度。測定標志變動度大小的指標叫做標志變異指標。標志變動度與標志變異指標在數(shù)值上成正比。標志變異指標則說明總體分布的離中趨勢。2.4.1.2 變異指標的作用l 反映總體各單位變量值分布的均衡性。一般來說，標志變異指標數(shù)值越大，總體各單位變量值分布的離散趨勢越高、均衡性越低；l 判斷平均指標對總體各單位變量值代表性的高低；l 標志變異指標是衡量風險大小的重要指標。2.4.1.3 變異指標的類型根據(jù)所依據(jù)數(shù)據(jù)類型的不同，變異指標有異眾比率、四分位差、全距、平均差、方差和標準差、離散系數(shù)等。2.4.1.4 異眾比率非眾數(shù)組的頻數(shù)占總頻數(shù)的比率（Variation Ratio），稱為異眾比率，用Vr表示。式中：fi為變量值的總頻數(shù)；fm為眾數(shù)組的頻數(shù)。異眾比率越大，說明非眾數(shù)組的頻數(shù)占總頻數(shù)的比重就越大，眾數(shù)的代表性就越差；反之，異眾比率越小，眾數(shù)的代表性就越好。2.4.1.5 全距或極差全距又稱極差，是一組數(shù)據(jù)的最大值與最小值之差，用R表示式中：max（Xi）、min（Xi）分別表示為一組數(shù)據(jù)的最大值與最小值。R越大，表明數(shù)值變動的范圍越大，即數(shù)列中各變量值差異大；反之，R越小，表明數(shù)值變動的范圍越小，即數(shù)列中各變量值差異小。2.4.1.6 平均差平均差是各變量值與其算術(shù)平均數(shù)離差絕對值的平均數(shù)，用表示。2.4.1.6.1 簡單平均法對于未分組資料，采用簡單平均法。2.4.1.6.2 加權(quán)平均法在資料分組的情況下，應(yīng)采用加權(quán)平均式2.4.1.7 方差和標準差方差是各變量值與其算術(shù)平均數(shù)離差平方的算術(shù)平均數(shù)。標準差是方差的平方根。方差、標準差是實際中應(yīng)用最廣泛的離中程度度量值。方差用來度量隨機變量和其數(shù)學期望（即均值）之間的偏離程度；標準差用來反映反映組內(nèi)個體間的離散程度。2.4.1.7.1 總體的方差與標準差設(shè)總體的方差為，標準差為，對于未分組整理的原始資料2.4.1.7.2 樣本的方差和標準差樣本的方差、標準差與總體的方差、標準差在計算上有所差別。總體的方差和標準差在對各個離差平方平均時是除以數(shù)據(jù)個數(shù)或總頻數(shù)，而樣本的方差和標準差在對各個離差平方平均時是用樣本數(shù)據(jù)個數(shù)或總頻數(shù)減去除總離差平方和。2.4.1.8 標準分數(shù)有了均值和標準差之后，我們可以計算一組數(shù)據(jù)中各個數(shù)值的標準分數(shù)（Standard Score），以測度每個數(shù)據(jù)在該組數(shù)據(jù)中的相對位置，并可以用它來判斷一組數(shù)據(jù)是否有離群值。變量值與其平均數(shù)的離差除以標準差后的值，稱為標準分數(shù)，也稱標準化值或z值。2.4.1.9 相對離散程度：離散系數(shù)離散系數(shù)是反映一組數(shù)據(jù)相對差異程度的指標，是各變異指標與其算術(shù)平均數(shù)的比值。離散系數(shù)通常用V表示，常用的離散系數(shù)有平均差系數(shù)和標準差系數(shù)。2.5 數(shù)據(jù)的標準化2.5.1 Min-max標準化Min-Max標準化方法是對原始數(shù)據(jù)進行線性變換。設(shè)MinA和MaxA分別為屬性A的最小值和最大值，將A的一個原始值x通過Min-Max標準化映射成在區(qū)間0,1中的值x，其公式為：新數(shù)據(jù)=（原數(shù)據(jù)-極小值）/（極大值-極小值）2.5.2 Z-score標準化基于原始數(shù)據(jù)的均值（Mean）和標準差（Standard deviation）進行數(shù)據(jù)的標準化，以距離平均數(shù)的遠近程度及數(shù)據(jù)的“離散程度”為基礎(chǔ)，將數(shù)據(jù)的價值轉(zhuǎn)換為易于探討的數(shù)值。Z-score標準化方法適用于屬性A的最大值和最小值未知的情況，或有超出取值范圍的離群數(shù)據(jù)的情況。新數(shù)據(jù)=（原數(shù)據(jù)-均值）/標準差3 相關(guān)分析3.1 概念相關(guān)關(guān)系是指現(xiàn)象之間存在著的一種非確定性的數(shù)量依存關(guān)系，即一個現(xiàn)象發(fā)生數(shù)量變化時，另一現(xiàn)象也相應(yīng)地發(fā)生數(shù)量變化，但其關(guān)系值是不固定的，往往同時出現(xiàn)幾個不同的數(shù)值，在一定的范圍內(nèi)變動著，這些數(shù)值分布在它們的平均數(shù)周圍的一種數(shù)量依存關(guān)系。3.2 分類l 按相關(guān)關(guān)系涉及的變量（或因素）的多少，可分為單相關(guān)與復(fù)相關(guān)。單相關(guān)也稱一元相關(guān)，是兩個變量之間的相互關(guān)系。復(fù)相關(guān)是指多個變量之間的相互關(guān)系，所以復(fù)相關(guān)又稱多元相關(guān)；l 按相關(guān)關(guān)系的表現(xiàn)形式來分，有線性相關(guān)和非線性相關(guān)；l 按相關(guān)的方向，線性相關(guān)可分為正相關(guān)和負相關(guān)。如果兩個變量同時趨向在同一方向上變，即它們是同時增加或同時減少，則稱正相關(guān)；否則，如果兩個變量趨于反向變化，則稱為負相關(guān)；l 按變量之間的相關(guān)程度來分，可分為完全相關(guān)、不完全相關(guān)和不相關(guān)三類。所謂完全相關(guān)，就是變量之間的一種確定性的函數(shù)關(guān)系。反之，若變量之間不存在相關(guān)關(guān)系，彼此獨立，相互之間沒有聯(lián)系，則稱不相關(guān)。3.3 相關(guān)分析的作用相關(guān)分析是研究兩個或兩個以上的變量之間相關(guān)程度的大小的一種統(tǒng)計方法，其主要作用包括：l 確定現(xiàn)象之間有無關(guān)系存在，以及相關(guān)關(guān)系呈現(xiàn)的形態(tài)。l 確定相關(guān)關(guān)系的密切程度。判斷相關(guān)關(guān)系密切程度的主要方法是繪制散點圖和計算相關(guān)系數(shù)。3.4 相關(guān)系數(shù)的計算，其中、表示樣本變量，、表示樣本平均值。3.5 相關(guān)系數(shù)的性質(zhì)3.5.1 相關(guān)性類型l 正相關(guān)：如果x,y變化的方向一致，如身高與體重的關(guān)系，r0；l 負相關(guān)：如果x,y變化的方向相反，如吸煙與肺功能的關(guān)系，r0.95存在顯著性相關(guān)；l |r|0.8高度相關(guān)；l 0.5|r|0.8中度相關(guān)；l 0.3|r|0.5低度相關(guān)；l |r|0時表示線性正相關(guān)，當r0時表示線性負相關(guān)；r的大小可以反映相關(guān)的程度， r=0表示兩個變量之間不存在線性關(guān)系。通常相關(guān)系數(shù)的取值與相關(guān)程度相關(guān)系數(shù)|r|的取值范圍相關(guān)程度低度相關(guān)中度相關(guān)高度相關(guān)相關(guān)系數(shù)計算公式4.3.9.2 回歸分析回歸函數(shù)關(guān)系是指現(xiàn)象之間存在的依存關(guān)系中，對于某變量的每個數(shù)值，都有另一變量值與之相對應(yīng)，并且這種依存關(guān)系可用一個數(shù)學表達式反映出來，例如，在一定的條件下，身高與體重存在的依存關(guān)系?；貧w是研究自變量與因變量之間關(guān)系形式的分析方法，它主要是通過建立因變量Y與影響它的自變量X，(i=1，2，3，)之間的回歸模型，來預(yù)測因變量Y的發(fā)展趨勢。4.3.9.2.1 回歸分析舉例回歸分析模型主要包括線性回歸及非線性回歸兩種。線性回歸又分為簡單線性回歸與多重線性回歸，而對于非線性回歸，通常通過對數(shù)轉(zhuǎn)化等方式，將其轉(zhuǎn)化為線性。此處以線性回歸為例進行介紹。線性回歸分析的五個步驟l 根據(jù)預(yù)測目標，確定自變量和因變量；l 繪制散點圖，確定回歸模型類型；l 繪制模型參數(shù)，建立回歸模型l 對回歸模型進行檢驗l 利用回歸模型進行預(yù)測簡單線性回歸也稱為一元線性回歸，也就是回歸模型中只含一個自變量，否則稱為多重線性回歸。簡單線性回歸模型為：Y=a+bX+其中Y-因變量；X-自變量；a-常數(shù)項，是回歸直線在縱坐標軸上的截距；b-回歸系數(shù)，是回歸直線的斜率；-隨機誤差，即隨機因素對因變量所產(chǎn)生的影響。散點圖是種比較直觀地描述變量之間相互關(guān)系的圖形。一般在做線性回歸之前，需要先用散點圖查看數(shù)據(jù)之間是否具有線性分布特征，只有當數(shù)據(jù)具有線性分布特征時，才能采用線性回歸分析方法。4.3.9.2.2 檢驗回歸分析建立回歸分析模型后，還需要進一步使用多個指標進行檢驗。如回歸模型的擬合優(yōu)度檢驗（R2）、回歸模型的顯著性檢驗（F檢驗）、回歸系數(shù)的顯著性檢驗（t檢驗）來綜合評估回歸模型的優(yōu)劣4.3.9.3 相關(guān)分析與回歸分析4.3.9.3.1 相關(guān)分析與回歸分析的聯(lián)系相關(guān)分析與回歸分析的聯(lián)系是均為研究及測量兩個或兩個以上變量之間關(guān)系的方法。在實際工作中一般先進行相關(guān)分析，計算相關(guān)系數(shù)，然后擬合回歸模型，進行顯著性檢驗，最后用回歸模型推算或預(yù)測。4.3.9.3.2 相關(guān)分析與回歸分析的區(qū)別l 相關(guān)分析研究的都是隨機變量，并且不分自變量與因變量，回歸分析研究的變量有自變量與因變量之分，并且自變量是確定的普通變量，因變量是隨機變量。l 相關(guān)分析主要描述兩個變量之間線性關(guān)系的密切程度，回歸分析不僅可以揭示變量X對變量Y的影響大小，還可以自回歸模型進行預(yù)測。4.3.10 時間序列預(yù)測時間序列預(yù)測是指通過時間序列來分析預(yù)測目標變量未來的發(fā)展趨勢。時間序列預(yù)測主要包括移動平均法、指數(shù)平滑法、趨勢外推法、季節(jié)變動法等預(yù)測方法，其中移動平均法、指數(shù)平滑法是最常使用的方法。此處以移動平均