定量分析方法(信息分析課件)

定量分析方法(信息分析課件)第一頁，共113頁。信息分析查先進第二頁，共113頁?！?定量分析方法第三頁，共113頁?！?.1多元分析法§5.2時間序列分析法§5.3系統(tǒng)動力學方法§5.4文獻計量學方法第四頁，共113頁。§5.1多元分析法第五頁，共113頁。變量之間本身具有某種關系（如線性關系），但因各種誤差使之不具備該關系，通過回歸，使之恢復該關系。變量之間本身不具有某種關系，通過回歸，抓主要矛盾，使之近似具有某種關系。5.1.1回歸分析回歸分析可能應用的領域

處理兩個或兩個以上變量之間的相關關系第六頁，共113頁。樣本觀察（散點圖）選擇恰當的模型確定模型參數回歸效果檢驗預測和控制數據采集第七頁，共113頁。一元線性回歸分析一元線性回歸方程參數的求解有聯系的兩個變量：X與Y由觀察和實驗得到n對數據：(x1,y1),(x2,y2),······,(xn,yn)用散點圖描述收集到的點：兩變量之間大致成線形關系：數學公式表達yx0第八頁，共113頁。方法和過程設

可得一元線性回歸方程參數的求解第九頁，共113頁。由此得出回歸方程：求解得第十頁，共113頁。分析可表示為lyy=U+Q通過x對y的線性相關關系而引起的分散性剩余部分引起的y的分散性回歸方程效果的檢驗1）平方和分解公式第十一頁，共113頁。F體現了x與y的線性相關關系的相對大小F值相當大F值比較小x與y有線形相關關系x與y沒有線形相關關系2）F檢驗第十二頁，共113頁。F檢驗的一般程序計算U、Q，得出F值對給定的檢驗標準α，查自由度為1，n-2的F分布臨界值表，得臨界值λ：P（F>λ）＝α

比較F值與λ值的大小

F>λ

F<λx,y間具有線性相關關系x,y間不具有線性相關關系第十三頁，共113頁。t服從自由度為n-2的T分布

3）t檢驗第十四頁，共113頁。t檢驗的一般程序計算t值對給定的檢驗標準α，查自由度為n-2的t分布臨界值表，得臨界值λ：P（t>λ）＝α

比較t值與λ值的大小

t>λ

t<λx,y間具有線性相關關系x,y間不具有線性相關關系第十五頁，共113頁。可線性化的非線性回歸指數函數模式冪函數模式雙曲線模式對數函數模式第十六頁，共113頁。線性化可線性化的非線性回歸指數函數模式兩邊取對數，并令a’=lnab’=b第十七頁，共113頁。線性化

兩邊取對數，并令a’=lnax’=lnx冪函數模式第十八頁，共113頁。線性化雙曲線模式令第十九頁，共113頁。線性化令x’=lnx對數函數模式第二十頁，共113頁。設y與x1，x2，…，xk有線性關系，通過觀測或實驗得到n組數據：（x11，x21，…，xk1，y1）（x12，x22，…，xk2，y2）…………（x1n，x2n，…，xkn，yn）則它們之間的線性關系可表示成：(對于某些非線性的關系，可通過適當的變換化為形式上的線性模式。)

多元線性回歸分析多元線性回歸方程參數的求解第二十一頁，共113頁。設Q（b0，b1，…，bk）=∑[yt-（bo+b1x1t+…+bkxkt）]2

為了使Q達到最小值，應滿足：第二十二頁，共113頁。由上式可以推得：其中，第二十三頁，共113頁。lyy=Q+U回歸方程效果的檢驗1）平方和分解公式第二十四頁，共113頁。F服從自由度為k，n-k-1的F分布。F檢驗的一般程序如下：①計算F值；②對于給定的檢驗標準α，查自由度為k，n-k-1的F分布臨界值表，得臨界值λ:P（F>λ）=α；③比較F值與λ值的大小。如果F>λ，則認為線性回歸方程效果是顯著的；反之，則認為是不顯著的。2）F檢驗第二十五頁，共113頁。3）各自變量影響程度大小的判別在實際的信息分析工作中，我們還經常會關心在y對x1，x2，…，xk的線性回歸中，哪些因素很重要，哪些因素不太重要。這就需要對回歸方程的每個自變量都進行顯著性檢驗。第二十六頁，共113頁。關于xi變量顯著性檢驗的一般程序：①計算ti值；②對于給定的檢驗標準α，查自由度為n-k-1的t分布臨界值表，得臨界值λ：P（t>λ）=α；③比較ti值與λ值的大小。如果ti>λ，則說明xi對y的影響顯著，必須保留xi在回歸方程中；否則，應去掉xi重新建立回歸方程。3）各自變量影響程度大小的判別第二十七頁，共113頁?；貧w分析的實際應用例：已知某年中國各地區(qū)城鎮(zhèn)居民平均每人全年可支配收入和消費性支出兩個變量，試利用社會科學統(tǒng)計分析軟件SPSS對上表中的數據進行回歸分析。第二十八頁，共113頁。第二十九頁，共113頁。（1）作散點圖

第三十頁，共113頁。（2）方差分析

第三十一頁，共113頁。查自由度為1，29的F分布臨界值表得λ=7.60(α=0.01)F=862.501>7.60，所以可支配收入與消費性支出之間具有強線性相關關系?；貧w方程為消費性支出=0.772×可支配收入+126.005

第三十二頁，共113頁。（3）預測值與殘差

通過SPSS，可以按要求輸出消費性支出的預測值、殘差和標準化殘差。第三十三頁，共113頁。（3）預測值與殘差

通過SPSS，可輸出消費性支出的預測值、殘差和標準化殘差。第三十四頁，共113頁。5.1.2聚類分析

聚類是把一組個體按照相似性歸成若干個類別，即物以類聚。其目的是使得屬于同一類別的個體之間的距離盡可能地小，而不同類別上的個體間的距離盡可能地大。

第三十五頁，共113頁。聚類分析的基本思想是在樣品之間定義距離，在變量之間定義相似系數。距離或相似系數代表樣品或變量之間的相似程度。例如，在分層聚類中，按相似程度的大小，將樣品或變量逐一歸類，關系密切的樣品或變量聚集到一個小的分類單位，然后逐步擴大，使得關系疏遠的樣品或變量聚集到一個大的分類單位，直到所有的樣品或變量都聚集完畢，形成一個表示親疏關系的譜系圖，再對譜系圖進行分析，并按照要求對樣品或變量進行分類。相似性程度是聚類所依據的標準，樣品間的相似性通常用距離進行度量，而變量間的相似性通常用相似系數進行度量。

第三十六頁，共113頁。分層聚類——HierarchicalClusterAnalysis分層聚類一開始將每個樣品看成是一類或一簇（cluster），然后從低到高創(chuàng)建一個聚類的層次。其中，最低層次的簇合并在一起創(chuàng)建下一個較高層次的簇；這一層次的簇再合并在一起，進一步創(chuàng)建更高層次的簇。

第三十七頁，共113頁。用分層聚類法聚類時，聚多少類為合適是一個很實際的問題。一個較好的聚類應該在類內各樣品盡可能相似的前提下，使得類的個數盡可能少。對于相同的樣品對象，分層聚類在具體操作中，可采取不同的類間距離進行計算，并得到不同的分類結果。哪個結果更能反映樣品對象本身的客觀分類，這種判斷的正確與錯誤將直接決定分層聚類法在實際應用中的價值。第三十八頁，共113頁。例：表中顯示的是某年度20個代表性地區(qū)農村居民家庭平均每人生活消費現金支出情況。試用SPSS進行分層聚類。在層次聚類的參數選擇中，選擇按樣品聚類；聚類指標為食品、衣著、居住、家庭設備及服務、醫(yī)療保健、交通和通訊、文教娛樂用品及服務、其他商品及服務；樣品間的距離采用歐式距離；類間距離分別采用最短距離、最長距離和重心距離，不同的類間距離算法適合不同的聚類形狀，在不了解聚類形狀之前，可嘗試多種類間距離算法并對不同的分類效果進行比較分析。

第三十九頁，共113頁。第四十頁，共113頁。①最短距離法譜系圖第四十一頁，共113頁。聚類過程第四十二頁，共113頁。②最長距離法譜系圖第四十三頁，共113頁。聚類過程第四十四頁，共113頁。③重心距離法譜系圖第四十五頁，共113頁。聚類過程第四十六頁，共113頁。主要特征——可以根據需要預先確定k個聚類。根據選定的k值，聚類可以產生兩個完全極端的結果。如果設k等于1，就可能會得到一個沒有意義的結果，因為所有的數據會歸類到一個節(jié)點中。另一個極端是設k等于樣品數，同樣也會得到一個毫無意義的結果。任何其他的聚類個數取決于k值，對于k值的選取沒有一個固定的規(guī)則，常常需要對各種取值進行反復試驗。

快速聚類——K-meansClusterAnalysis

第四十七頁，共113頁?？焖倬垲愂疽鈭D第四十八頁，共113頁。例：對上例表中顯示的某年代20個代表性地區(qū)農村居民家庭平均每人生活消費現金支出情況，用SPSS進行快速聚類。第四十九頁，共113頁。第五十頁，共113頁。第五十一頁，共113頁。在降維思想指導下產生的一種有效處理高維數據的方法。在實際問題研究中，往往會涉及眾多相關的變量。雖然所涉及的每個變量都提供了一定的信息，但其重要性不同，且在很多情況下，變量間有一定的相關性，從而使得這些變量所提供的信息在一定程度上有所重疊。信息的重疊越大，變量間的相關性也越大。如何對這些變量加以“改造”，用為數較少的、互不相關的、不可直接測量的新變量來反映原變量所提供的絕大部分信息，并通過對新變量的分析達到解決問題的目的，是基于主成分的因子分析法核心思想。5.1.3主成分分析第五十二頁，共113頁。實踐中，反映某個問題的可直接測量的變量很多（例如國家信息化測評指標），并且這些變量之間存在相關性。因此，該方法的應用極其廣泛。通常，在分析過程中，選取m（m<p）個主成分，使前m個主成分的累計貢獻率達到較高的比例（如80%～90%）。這樣，用前m個主成分Z1，Z2，…，Zm代替原始變量X1，X2，…，Xp，不但使變量維數降低（在原始變量反映信息重疊較多的情況下，基于主成分的因子分析往往可以只取1～3個主成分來代替十多個甚至數十個原始變量），而且也不致于損失原始變量中太多的信息。第五十三頁，共113頁。國家信息化測評指標每千人廣播電視播出時間人均帶寬擁有量人均電話通話次數長途光纜長度微波占有信道數衛(wèi)星站點數每百人擁有電話主線數每千人有線電視臺數每百萬人互聯網用戶數

每千人擁有計算機數每百戶擁有電視機數網絡資源數據庫總容量電子商務交易額

企業(yè)信息技術類固定投資占同期固定資產投資的比重信息產業(yè)增加值占GDP比重信息產業(yè)對GDP增長的直接貢獻率信息產業(yè)研究與開發(fā)經費支出占全國研究與開發(fā)經費支出總額的比重信息產業(yè)基礎設施建設投資占全部基礎設施建設投資比重每千人中大學畢業(yè)生比重信息指數第五十四頁，共113頁。例：表中顯示了某年省會城市和計劃單列市的主要經濟指標，通過主成分分析，試圖得出各城市的綜合經濟得分并排列名次。第五十五頁，共113頁。第五十六頁，共113頁。第五十七頁，共113頁?！?.2時間序列分析法第五十八頁，共113頁。時間序列分析方法的類型第五十九頁，共113頁。第六十頁，共113頁。移動平均法是對簡單平均法的改進。簡單平均法不能反映時間序列中的高數點和低數點，也不能反映變量的發(fā)展過程和變化趨勢。5.2.1移動平均法第六十一頁，共113頁。一次移動平均基本公式和遞推公式第六十二頁，共113頁。二次移動平均基本公式和遞推公式第六十三頁，共113頁。模型建立與預測

在移動平均方法中，n值是關鍵參數，n值越大，波動曲線的“修勻”效果越顯著，但對變化反映的靈敏度降低，對趨勢反映滯后大。

第六十四頁，共113頁。一次指數平滑1）基本公式5.2.2指數平滑法第六十五頁，共113頁。2）平滑指數α的含義及取值當α=0時，即平滑值維持不變；當α=1時，即平滑值等于最新的觀察值。通常，α選得小一些，預測值趨向就較平穩(wěn)，“修勻”效果越顯著；α選得大一些，近期數據所占的比重越大，對變化的反映越靈敏，但“修勻”的效果越不明顯。α的取值反映新舊數據的分配比例直接影響預測結果依賴于影響程度遠期近期未來預測結果對α的依賴性第六十六頁，共113頁。α值越小，“修勻”效果越顯著。即：

在實際應用中，一般取α值與n值的關系第六十七頁，共113頁。

α的選擇影響預測效果。一般根據時間序列的特點和經驗確定：α取值的經驗選擇1）如果時間序列的長期趨勢較穩(wěn)定，應取較小值，如0.05～0.202）如果時間序列具有迅速明顯的變動趨向時，應取較大值，如0.3～0.7第六十八頁，共113頁。當實際數據較多（50個以上）時，初始值的影響將逐步被平滑而降低到很小，此時，可取最早的數據作初始值，即：當實際數據較少（20個以內）時，初始值影響較大，可以取最初幾個實際值的平均值作初始值。值的確定第六十九頁，共113頁。二次指數平滑——對一次指數平滑值再進行一次平滑

第七十頁，共113頁。線性指數平滑模型的一般形式：at與bt為平滑系數（at為截距，bt為斜率）

模型與計算

——為改善預測效果，建立線性指數平滑模型再預測第七十一頁，共113頁。三次指數平滑1）基本公式第七十二頁，共113頁。2）平滑模型的建立第七十三頁，共113頁。

對稱的生長曲線又稱：邏輯（Logistic）曲線或珀爾（Pearl）曲線

不對稱的生長曲線又稱：龔珀茲（Gompertz）曲線

生長曲線法是利用生長曲線模型來描述事物發(fā)生、發(fā)展和成熟的全過程的方法。5.2.3生長曲線法第七十四頁，共113頁。邏輯曲線1）數學模型

——由美國統(tǒng)計學家珀爾（pearl）提出（其中，k>0，a>0，b>0）第七十五頁，共113頁。邏輯曲線具有的數學特征：①當t→∞

時，y→k，即k是y值變化的上限；

②在（－∞，＋∞）上，y’>0，該曲線單增，無極值。③當y=0，y=k和y=k/2時，y”=0，表明該曲線在其單增區(qū)間內，y=k/2是唯一拐點，拐點的上下兩部分相對于拐點是對稱的。又求得：t=(lna)/b∴該曲線的拐點為((lna)/b，k/2)④通過改變a或b的數值，可以對它的形狀和位置獨立地進行控制。改變a只影響曲線位置，而不改變其形狀；相反，改變b只影響形狀而不改變其位置。第七十六頁，共113頁。2）模型系數的確定

確定系數k,a,b的方法

①線性回歸法第七十七頁，共113頁。②三段和值法第七十八頁，共113頁。三段和值法解決問題的基本出發(fā)點是將整個時間序列分為三個相等的時間周期。假定有3n組數據（t0，Y0），（t1，Y1），…，（tn-1，Yn-1）；（tn，Yn），（tn+1，Yn+1），…，（t2n-1，Y2n-1）；（t2n，Y2n），（t2n+1，Y2n+1），…，（t3n-1，Y3n-1），n為任意整數。一般來說，n值越大，估計的精度就越高。如果該時間序列不是3的倍數，即存在3n+1或3n+2組數據的情形，可采取舍去遠期1組或2組數據的方式，預先對該時間序列進行處理。上述3n組數據應分別滿足式5-34。若以i代ti（i=0，1，…，（3n-1）），則可得下述三組方程組：第七十九頁，共113頁。第八十頁，共113頁。第八十一頁，共113頁。龔珀茲曲線1）數學模型由英國統(tǒng)計學家和數學家龔珀茲（B.Gompertz）提出

其中，k>0，0<a<1，0<b<1第八十二頁，共113頁。龔珀茲曲線具有的數學特征：

①當t→-∞時，y→0；當t→∞時，y→k，即y值在0～k之間變化，k為上限；②將代入得由上式可知，除y=0和y=k外，在0～k之間的一切y值均不能使等于0，即該曲線是單調的，無極值。第八十三頁，共113頁。龔珀茲曲線具有的數學特征：③

曲線的拐點

由于k/e<k/2，故龔珀茲曲線的拐點位置比邏輯曲線的拐點更低，龔珀茲曲線拐點前后兩部分是不對稱的。

④t=0時，y=ka，即曲線與y軸相交點為（0，ka）。

第八十四頁，共113頁。2）模型系數的確定

具有代表性的模型系數確定的方法：線性回歸法三段和值法第八十五頁，共113頁。時間序列的結構形式

影響時間序列值的因素趨勢（T）因素：當時間序列值依時間變化時，表現出某種傾向（如線性、指數曲線或S型曲線趨勢）。它影響時間序列值的主導因素；循環(huán)（C）因素：它是周期不固定的波動變化（如經濟危機）產生的原因；季節(jié)變動（S）因素：它是周期相對固定（如一年四季）的波動變化產生的原因；不規(guī)則變動（I）因素：它是指許多外生的不易控制的因素。這些因素的出現帶有很大的隨機性。

時間序列分解法第八十六頁，共113頁。若以Yt表示時間序列值，Tt、Ct、St、It分別表示趨勢、周期、季節(jié)變動和不規(guī)則變動，則時間序列值可分解為以下3種模式：①加法模式：Yt=Tt＋Ct＋St＋It②乘法模式：Yt=TtCtStIt③混合模式：Yt=TtCtSt＋It第八十七頁，共113頁。分解出Tt與Ct

分解出St與It從StIt中分解出St

從TtCt序列中分解出Ct時間序列的傳統(tǒng)分解第八十八頁，共113頁。常用時間序列分解預測法1）同季平均法同季平均法分析具有季節(jié)變化的時間序列并在此基礎上進行預測的最簡單的方法，主要適用于受季節(jié)變化影響而無明顯趨勢變化的時間序列。包括兩個步驟：一是將歷年同季數據的平均值與各季總平均值相比，求得季節(jié)系數；二是以最近一年的各季平均值分別乘以各季節(jié)系數，即得來年各季的預測值。

第八十九頁，共113頁。常用時間序列分解預測法2）季節(jié)系數法季節(jié)系數法：分析具有趨勢變化和季節(jié)變化的時間序列并在此基礎上進行預測的一種方法。步驟：通過分析數據的趨勢變化和季節(jié)波動規(guī)律，建立趨勢變動模型，求出季節(jié)系數，然后再用季節(jié)系數去修正反映趨勢變化的模型。方法基于的思想：趨勢是時間序列在整個長時期內的平均運動，是制約時間序列波動的主導因素，而其它各因素引起的波動只能算是對趨勢的偏離。

第九十頁，共113頁?！?.3系統(tǒng)動力學方法第九十一頁，共113頁。系統(tǒng)動力學（SystemDynamics）是一門認識系統(tǒng)問題和解決系統(tǒng)問題的交叉的綜合性新學科。該方法所要解決的，主要是如何定量地分析各類復雜系統(tǒng)的結構與功能的內在聯系，如何定量地分析系統(tǒng)的各種特性等問題。

第九十二頁，共113頁。5.3.1系統(tǒng)動力學的概念和特點基本概念系統(tǒng)與邊界因果鏈及因果關聯圖反饋、反饋系統(tǒng)與反饋回路流圖

第九十三頁，共113頁。流圖

系統(tǒng)動力學把系統(tǒng)中物質和信息的運動都想象成流體的運動，物質的運動形成物質流，信息的運動形成信息流，流圖就是為描述系統(tǒng)的運動而專門設計的一套特殊的符號圖。第九十四頁，共113頁。5.3.1系統(tǒng)動力學的概念和特點特點1）系統(tǒng)動力學把相關問題作為信息反饋系統(tǒng)來研究，認為在每個系統(tǒng)中都存在著信息反饋機制。這正是控制論的主要觀點，系統(tǒng)動力學以此為理論基礎。2）系統(tǒng)動力學把一切社會經濟系統(tǒng)的運動都假想成流體的運動。3）系統(tǒng)動力學特別適于研究與處理高階數、多回路、非線性的復雜系統(tǒng)問題。

第九十五頁，共113頁。5.3.2系統(tǒng)動力學建模步驟

福瑞斯特教授建議按照下列10個步驟來建立系統(tǒng)動力學模型：

（1）明確問題。（2）找出造成問題癥狀的因素。（3）找出決策與行為間的因果信息反饋環(huán)路。（4）定出可采納的正式政策。（5）建立數學模型。（6）以計算機模擬產生隨系統(tǒng)時間變化的模型行為。（7）將模擬的結果與真實系統(tǒng)進行比較。（8）修正模型設計，以符合真實情況。（9）針對系統(tǒng)問題癥狀的改善，重新設計模型內各元素間的組成關系與政策。（10）參考模型政策模擬的結果，應用于真實系統(tǒng)以期改變系統(tǒng)現狀及改善和解決問題。第九十六頁，共113頁。5.3.3系統(tǒng)動力學建模軟件DYNAMO模型軟件

美國麻省理工學院的普夫（AlexanderPughL）依據系統(tǒng)動力學中無限分割、以不變代變和遞推的思想方法，設計了系統(tǒng)動力學專用仿真語言DYNAMO，其基本思想是充分認識系統(tǒng)中的反饋和延遲，并按一定規(guī)則建立流圖式的結構模型，從而實現對復雜大系統(tǒng)的模擬。

第九十七頁，共113頁。5.3.3系統(tǒng)動力學建模軟件Vensim模型軟件

Vensim是一個可視化的建模工具，可用于抽取、驗證、模擬、分析和優(yōu)化動態(tài)系統(tǒng)模型。它是一個基于視窗界面的系統(tǒng)動力學建模工具，提供了功能強大的圖形編輯環(huán)境。

第九十八頁，共113頁。5.3.4系統(tǒng)動力學模型的建立

以網絡系統(tǒng)為例,分析步驟:①明確實際問題，界定網絡系統(tǒng)。②根據實際網絡系統(tǒng)，構造因果反饋環(huán)。③根據經驗數據資料，分析反饋環(huán)，繪制系統(tǒng)流圖。④建立系統(tǒng)動力學模型。⑤模型檢驗、調試和運行。⑥仿真結果分析。⑦提出結論或建議。第九十九頁，共113頁。5.3.4系統(tǒng)動力學模型的建立系統(tǒng)動力學方法研究網絡系統(tǒng)的適用性分析①可以很好地適用于研究網絡系統(tǒng)的動態(tài)性。②可以很好地適用于研究網絡系統(tǒng)的復雜性。③可以很好地適用于研究網絡系統(tǒng)的反饋性。④可以很好地適用于研究網絡系統(tǒng)的長期性、周期性。⑤可以很好地適用于對數據不足的問題進行研究。

第一百頁，共113頁。模型1）模型的流圖第一百零一頁，共113頁。2）反饋環(huán)分析

原因樹用來跟蹤原因，這可以有效地發(fā)現什么導致了某件事的發(fā)生。圖5-14結果樹可使用戶跟蹤使用所選中變量的所有變量，顯示所選中變量對哪些變量的結果產生影響。圖5-15在原因樹和結果樹的基礎之上，我們可以進一步分析流圖中的反饋環(huán)。3）模型的系統(tǒng)動力學方程4）模型語法和單位錯誤檢測

第一百零二頁，共113頁。模擬結果和分析基于實際問題從不同角度研究模擬模型的行為特征，如新增網民的變化、網民的增減、站點的變化、實際共享的變化等。在同一個圖中比較國際出口帶寬、網站數、網民和實際共享的動態(tài)趨勢（圖5-16）。比較和分析新增網民在不同假設條件下的輸出。表5-22顯示了不同模擬環(huán)境下的常量值。

還可從其他角度觀察網絡系統(tǒng)模型的模擬，如對共享系數、實際共享、擁塞影響因子、國際出口帶寬、網民、網站數等變量在不同假定常量值的模擬環(huán)境下的輸出進行比較和分析。

第一百零三頁，共113頁。圖5-16模型的模擬結果（Ⅰ）第一百零四頁，共113頁。期望共享上網時間系數站點退出的時間成為網民的時間條件1