數(shù)學(xué)建模案例分析

1、.Statistics建模大賽案例分析2022-3-5.我國(guó)經(jīng)濟(jì)增長(zhǎng)與經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入、居民收入關(guān)系之研究Topic2022-3-5.我國(guó)經(jīng)濟(jì)增長(zhǎng)與經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入居民收入關(guān)系之研究賽題要求論證經(jīng)濟(jì)增長(zhǎng)、經(jīng)濟(jì)結(jié)構(gòu)、與財(cái)政收入、居民收入的匹配度.分析經(jīng)濟(jì)增長(zhǎng)、財(cái)政收入、經(jīng)濟(jì)結(jié)構(gòu)、與居民收入之間關(guān)系變動(dòng)的數(shù)量特征和趨勢(shì).探討影響居民收入的各種因素論證所建模型的適用條件、合理性、和可靠性根據(jù)所建模型，對(duì)2010年我國(guó)經(jīng)濟(jì)增長(zhǎng)、經(jīng)濟(jì)結(jié)構(gòu)、居民收入、財(cái)政收入進(jìn)行區(qū)間預(yù)測(cè)在建模過(guò)程中，討論近兩年金融危機(jī)和宏觀調(diào)控對(duì)經(jīng)濟(jì)增長(zhǎng)、經(jīng)濟(jì)結(jié)構(gòu)、財(cái)政收入、居民收入之間關(guān)系變動(dòng)的影響.提出相應(yīng)結(jié)論和觀點(diǎn)2022-3

2、-5.案例研究思路經(jīng)濟(jì)增長(zhǎng)預(yù)測(cè)模型Party1：?jiǎn)栴}提出和研究現(xiàn)狀Part 2：定性分析及匹定性分析及匹配度分析配度分析Part 5：結(jié)論P(yáng)art3：經(jīng)濟(jì)增長(zhǎng)模型的建立和檢驗(yàn)Part 4：2022-3-5.Part One引言引言2022-3-5.問(wèn)題的提出和研究現(xiàn)狀問(wèn)題的提出和研究現(xiàn)狀.如何對(duì)敏感數(shù)據(jù)的匹配性進(jìn)行定量分析，科學(xué)解釋數(shù)據(jù)之間的匹配關(guān)系，如何正確預(yù)測(cè)重要指標(biāo)的發(fā)展趨勢(shì)2022-3-5.Part Two基本統(tǒng)計(jì)分析基本統(tǒng)計(jì)分析2022-3-5.一、定性分析一、定性分析l 定性分析思路對(duì)命題中四個(gè)經(jīng)濟(jì)指標(biāo)的發(fā)展現(xiàn)狀做描述性分析。l 統(tǒng)計(jì)方法統(tǒng)計(jì)圖、統(tǒng)計(jì)表。2022-3-5.總體經(jīng)濟(jì)發(fā)

3、展經(jīng)濟(jì)增長(zhǎng)和經(jīng)濟(jì)結(jié)構(gòu)變動(dòng)分析2022-3-5.主要影響指標(biāo)變動(dòng)分析財(cái)政收入 、居民收入2022-3-5.區(qū)域經(jīng)濟(jì)發(fā)展分析東、中、西部199519952000200020082008東部東部中部中部西部西部東部東部中部中部西部西部東部東部中部中部西部西部GDPGDP比重比重49.0 49.0 37.6 37.6 52.8 52.8 52.8 52.8 33.6 33.6 13.6 13.6 58.2 58.2 27.4 27.4 14.4 14.4 財(cái)政收入占比財(cái)政收入占比5.3 5.3 4.9 4.9 5.5 5.5 7.1 7.1 5.6 5.6 6.6 6.6 9.8 9.8 6.9 6.

4、9 9.2 9.2 城鎮(zhèn)居民收入占比城鎮(zhèn)居民收入占比1.8 1.8 1.6 1.6 1.0 1.0 1.4 1.4 1.2 1.2 1.0 1.0 1.6 1.6 1.3 1.3 1.0 1.0 農(nóng)村居民收入占比農(nóng)村居民收入占比2.62.62.02.01.01.02.32.31.81.81.01.02.22.21.71.71.01.0第三產(chǎn)業(yè)比重第三產(chǎn)業(yè)比重35.4 35.4 31.7 31.7 33.3 33.3 41.7 41.7 37.3 37.3 40.0 40.0 41.7 41.7 34.6 34.6 36.7 36.7 2022-3-5.二、匹配度分析二、匹配度分析l 匹配度分析

5、研究GDP與其他經(jīng)濟(jì)指標(biāo)發(fā)展的匹配關(guān)系。l 統(tǒng)計(jì)方法匹配度的定量計(jì)算方法和相關(guān)標(biāo)準(zhǔn)參考：2022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模思想：利用距離測(cè)算我國(guó)實(shí)際數(shù)據(jù)與匹配條件下標(biāo)準(zhǔn)數(shù)據(jù)之間的差異性。2022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：l 參閱國(guó)際匹配標(biāo)準(zhǔn)，擬合與我國(guó)GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：人均人均GDP（美元）（美元）20030040060010002000第一產(chǎn)業(yè)比重3630.426.721.818.616.3第二產(chǎn)業(yè)比重19.623.125.52931.433.2第三產(chǎn)業(yè)比重44.446.547.

6、849.25050.52022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：l 參閱國(guó)際匹配標(biāo)準(zhǔn)，擬合與我國(guó)GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：人均人均GDP（美元）（美元）20030040060010002000第一產(chǎn)業(yè)比重3630.426.721.818.616.3第二產(chǎn)業(yè)比重19.623.125.52931.433.2第三產(chǎn)業(yè)比重44.446.547.849.25050.52022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：l 參閱國(guó)際匹配標(biāo)準(zhǔn)，擬合與我國(guó)GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：32.6ln31.6yx18.6ln

7、79.37yx 26.0ln11.0yx2022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：l 參閱國(guó)際匹配標(biāo)準(zhǔn)，擬合與我國(guó)GDP水平相匹配的產(chǎn)業(yè)結(jié)構(gòu)標(biāo)準(zhǔn)值：GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：標(biāo)準(zhǔn)值標(biāo)準(zhǔn)值實(shí)際值實(shí)際值年度人均GDP（美元）一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)200726750.11510.36360.52130.1290.476 0.3952022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：l 計(jì)算標(biāo)準(zhǔn)值和實(shí)際值之間的歐式距離，并歸一化為（0，1）GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：三維空間兩點(diǎn)三維空間兩點(diǎn)a(x1,y1,z1)與與b(x2,y2,z2)間的歐氏距離：間的歐氏距離

8、： 該距離的值域范圍為0到22022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：l 計(jì)算標(biāo)準(zhǔn)值和實(shí)際值之間的歐式距離，并歸一化為（0，1）GDP與產(chǎn)業(yè)結(jié)構(gòu)匹配度建模步驟：標(biāo)準(zhǔn)值標(biāo)準(zhǔn)值實(shí)際值實(shí)際值年度人均GDP（美元）一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)一產(chǎn)業(yè)二產(chǎn)業(yè)三產(chǎn)業(yè)200726750.11510.36360.52130.1290.476 0.395222(0.1151 0.129)(0.36360.476)(0.52130.395) /20.1199552022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：GDP與居民收入、財(cái)政收入匹配度建模思想：設(shè)匹配度量化取值為（0，1），當(dāng)相關(guān)指標(biāo)占GDP的比例達(dá)到

9、理想標(biāo)準(zhǔn)時(shí)，匹配度為0；但相關(guān)指標(biāo)占GDP比例為0時(shí)，匹配度為1；并設(shè)匹配度隨指標(biāo)比例在（0，1）上非線性變動(dòng)（二次函數(shù)曲線 ）。2()yaxb2022-3-5.匹配度的計(jì)算步驟：匹配度的計(jì)算步驟：GDP與居民收入、財(cái)政收入匹配度建模步驟：以收入為例查閱文獻(xiàn)得到居民收入的理想值為占GDP總量59.5%，得到二點(diǎn)： （0，1） 、（0.595，0）擬合曲線得方程組221(0)0(0.595)abab 22.82466 (0.595)yx2008年城鎮(zhèn)居民收入占比為0.263183，帶入得到匹配度為0.3110342022-3-5.三、灰色關(guān)聯(lián)分析三、灰色關(guān)聯(lián)分析l 目的研究GDP與其他經(jīng)濟(jì)指標(biāo)間

10、的關(guān)聯(lián)緊密程度。l 統(tǒng)計(jì)方法灰色關(guān)聯(lián)系數(shù)2022-3-5.灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟l 數(shù)據(jù)規(guī)范化剔除量綱影響原始數(shù)據(jù):處理后數(shù)據(jù):(1),(2),( )iiiixxxx n(1)(2)( )(,)(1)(1)(1)iiiiiiixxx nyxxx2022-3-5.灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟l 計(jì)算各時(shí)刻關(guān)聯(lián)系數(shù)參考數(shù)列:比較數(shù)列:0000(1),(2),( )yyyyn(1),(2),( )iiiiyyyy n1,2,im0(1)(1)iyy0(2)(2)iyy0( )( )iy ny n0maxmax( )( )iiky ky k0minmin( )(

11、)iiky ky k序列差:2022-3-5.灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟l 計(jì)算各時(shí)刻關(guān)聯(lián)系數(shù) 0000minminmaxmax( )maxmaxiiiiiy ky ky ky kky ky ky ky k 2022-3-5.灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟l 計(jì)算關(guān)聯(lián)度1( )niiirk2022-3-5.灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟案例計(jì)算結(jié)果：以GDP為參考序列:城鎮(zhèn)收入農(nóng)村收入三產(chǎn)比重財(cái)政收入二產(chǎn)比重以財(cái)政收入為參考序列:GDP城鎮(zhèn)收入農(nóng)村收入三產(chǎn)比重二產(chǎn)比重2022-3-5.灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟灰色關(guān)聯(lián)系數(shù)的計(jì)算步驟案例計(jì)算結(jié)果：以城鎮(zhèn)

12、收入為參考序列:農(nóng)村收入GDP三產(chǎn)比重二產(chǎn)比重財(cái)政收入以農(nóng)村收入為參考序列:城鎮(zhèn)收入三產(chǎn)比重GDP二產(chǎn)比重財(cái)政收入2022-3-5.Part Three經(jīng)濟(jì)增長(zhǎng)模型的建立和檢驗(yàn)經(jīng)濟(jì)增長(zhǎng)模型的建立和檢驗(yàn)2022-3-5.一、模型構(gòu)建目標(biāo)及變量選擇一、模型構(gòu)建目標(biāo)及變量選擇l目標(biāo)研究各經(jīng)濟(jì)指標(biāo)對(duì)經(jīng)濟(jì)增長(zhǎng)的影響。l 變量選擇被解釋變量：GDP解釋變量：財(cái)政收入、農(nóng)村居民人均純收入、城鎮(zhèn)居民人均可支配收入、經(jīng)濟(jì)結(jié)構(gòu)2022-3-5.二、模型構(gòu)建方法二、模型構(gòu)建方法l模型一：GDP和收入偏最小二乘回歸（Partial Least-Squares Regression）。l 模型二：經(jīng)濟(jì)增長(zhǎng)和產(chǎn)業(yè)結(jié)構(gòu)模型

13、多元回歸2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹u多元線性回歸的困惑：l樣本容量要求很高： 一般應(yīng)大于30，或大于自變量個(gè)數(shù)的5-10倍l當(dāng)出現(xiàn)嚴(yán)重的多重共線性問(wèn)題時(shí)2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹u常用解決方法：l逐步回歸l主成份回歸l嶺回歸 在克服多重共線對(duì)系統(tǒng)回歸建模干擾的努力中，1983年，S.Wold和C.Abalno提出了偏最小二乘分析。2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹u偏最小二乘的特點(diǎn)：l可用于多變量對(duì)多變量建模l能在多重共線情況下進(jìn)行建模l允許樣本量小于自變量個(gè)數(shù)情形下的建模l最

14、終模型包含所有變量，易于解釋和辨識(shí)系統(tǒng)信息2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹u建模原理：偏最小二乘=主成份分析+典型相關(guān)+多元回歸2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹u知識(shí)鏈接主成份分析：主成份分析：就是用少數(shù)的幾個(gè)綜合指標(biāo)來(lái)代表原來(lái)的多項(xiàng)指標(biāo)，而且?guī)讉€(gè)綜合指標(biāo)之間是獨(dú)立的。12pxxx111 11221221 122221 122ppppppppppya xa xa xya xa xaxya xaxa x第一主成份第二主成份 . （各成分間獨(dú)立，且按包含原指標(biāo)信息量排隊(duì)）2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介

15、紹）原理介紹u知識(shí)鏈接典型相關(guān)分析：典型相關(guān)分析：找到兩組變量間聯(lián)系，通過(guò)一組變量的線性組合與另一組變量線性組合的關(guān)聯(lián)關(guān)系來(lái)體現(xiàn)。12pxxx12qyyy第一對(duì)典型變量第一對(duì)典型變量1U2UKU1V2VKV11 11221ppa xa xa x21 12222ppa xa xax1 122pppppa xaxa x2112222qqb yb yb y1111221qqb yb yb y2112222qqb yb yb y 第二對(duì)典型變量第二對(duì)典型變量 第第K對(duì)典型變量對(duì)典型變量2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹uPLS建模原理：自變量集：因變量集：12( ,)

16、px xx12(,)qy yy建模步驟：l 在自變量集中提取第一主成份 ，同時(shí)在因變量集中也提取第一主成份 ，要求 和 相關(guān)程度達(dá)到最大；然后建立因變量與 的回歸，并判斷精度；1t1u1u12,qy yy1t1t2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹uPLS建模原理：自變量集：因變量集：12( ,)px xx12(,)qy yyl繼續(xù)提取第二對(duì)主成份，獲得 和 ，建立因變量 和 的回歸，判斷精度，如不滿足繼續(xù)提取。 2t2u12,qy yy1t2t2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹uPLS建模原理：自變量集：因變量集：12( ,)

17、px xx12(,)qy yyl若最終提取r個(gè)主成份 ， 偏最小二乘將通過(guò)建立 與 的回歸式，然后再表示為 與原自變量的回歸方程式，即最終結(jié)果。 12, ,rt tt12,qy yy12, ,rt tt12,qy yy主成份 個(gè)數(shù)的選擇方法交叉有效性檢驗(yàn) 2022-3-5.偏最小二乘（偏最小二乘（PLS）原理介紹）原理介紹u交叉有效性檢驗(yàn) ：留一交叉驗(yàn)證2( )( )( )iji jjiPRESS hyyh越小越好221( )/(1)(1 0.95)0.0975hQPRESS hSS h (1)SS h 為所有樣本擬合h-1各成分時(shí)的回歸誤差平方和2022-3-5.偏最小二乘（偏最小二乘（PL

18、S）原理介紹）原理介紹u回歸系數(shù)顯著性檢驗(yàn)t檢驗(yàn)jackknife方差估計(jì)：211()()njiinVarni為去掉第i各樣本后回歸所得系數(shù)估計(jì)值2022-3-5.偏最小二乘（偏最小二乘（PLS）的實(shí)現(xiàn)）的實(shí)現(xiàn)uR中的PLS包的加載將PLS下載到指定目標(biāo)，運(yùn)行R程序，并加載PLS包。（注意：無(wú)需解壓） library(pls)#載入程輯包：pls2022-3-5.偏最小二乘（偏最小二乘（PLS）的實(shí)現(xiàn)）的實(shí)現(xiàn)uPLS在R中實(shí)現(xiàn)代碼Step1Step1：導(dǎo)入數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化：導(dǎo)入數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化#inde.txt 自變量 de.txt 解釋變量，數(shù)據(jù)事先存儲(chǔ)于F盤x-read.t

19、able(file=f:data1/inde.txt,header=TRUE) #讀入自變量數(shù)據(jù);y-read.table(file=f:data1/de.txt,header=TRUE) #讀入因變量數(shù)據(jù); normy-scale(y) #數(shù)據(jù)標(biāo)準(zhǔn)化normx-scale(x) #數(shù)據(jù)標(biāo)準(zhǔn)化normy #顯示數(shù)據(jù)normx #顯示數(shù)據(jù)2022-3-5.進(jìn)行進(jìn)行plspls回歸，并進(jìn)行交叉驗(yàn)證，選擇成分?jǐn)?shù)回歸，并進(jìn)行交叉驗(yàn)證，選擇成分?jǐn)?shù)偏最小二乘（偏最小二乘（PLS）的實(shí)現(xiàn)）的實(shí)現(xiàn)uPLS在R中實(shí)現(xiàn)代碼Step2Step2：進(jìn)行：進(jìn)行plspls回歸，并進(jìn)行交叉驗(yàn)證，選擇成分?jǐn)?shù)回歸，并進(jìn)行交叉

20、驗(yàn)證，選擇成分?jǐn)?shù)pls1-plsr(normynormx,validation=LOO,jackknife=TRUE)#進(jìn)行PLS估計(jì)summary(pls1) #顯示回歸結(jié)果(包括PRESS，與解釋變異度)其中，validation=“LOO”表示使用留一交叉驗(yàn)證計(jì)算PRESS,jackknife=TRUE表示使用jackknife方法計(jì)算回歸系數(shù)方差，（為做回歸系數(shù)顯著性檢驗(yàn)）；沒(méi)給定主成份個(gè)數(shù)，默認(rèn)使用所有成分回歸，以備選擇。 validationplot(pls1)#函數(shù) validationplot（）顯示不同成分?jǐn)?shù)下留一交叉驗(yàn)證的預(yù)測(cè)誤差平方根 2022-3-5.偏最小二乘（偏最小

21、二乘（PLS）的實(shí)現(xiàn)）的實(shí)現(xiàn)uPLS在R中實(shí)現(xiàn)代碼Step3Step3：根據(jù)選擇成分?jǐn)?shù)，重新建立模型：根據(jù)選擇成分?jǐn)?shù)，重新建立模型pls2 library(e1071)#載入程輯包：e10712022-3-5.二、支持向量回歸二、支持向量回歸R語(yǔ)言實(shí)現(xiàn)語(yǔ)言實(shí)現(xiàn)*#數(shù)據(jù)預(yù)處理后提前存儲(chǔ)于F盤下四個(gè)文本文檔中：try.txt 訓(xùn)練集數(shù)據(jù)test.txt 檢測(cè)集數(shù)據(jù)2022-3-5.二、支持向量回歸二、支持向量回歸R語(yǔ)言實(shí)現(xiàn)語(yǔ)言實(shí)現(xiàn)*Step1Step1：導(dǎo)入數(shù)據(jù)：導(dǎo)入數(shù)據(jù)try-read.table(file=“f:data2/try.txt”,header=TRUE) #讀入訓(xùn)練集數(shù)據(jù);test

22、-read.table(file=“f:data2/test.txt”,header=TRUE) #讀入 檢測(cè)集數(shù)據(jù);try-as.matrix(try) # 數(shù)據(jù)轉(zhuǎn)換矩陣形式test-as.matrix(test) # 數(shù)據(jù)轉(zhuǎn)換矩陣形式2022-3-5.二、支持向量回歸二、支持向量回歸R語(yǔ)言實(shí)現(xiàn)語(yǔ)言實(shí)現(xiàn)*Step2Step2：采用幾種常見(jiàn)核函數(shù)建模并比較：采用幾種常見(jiàn)核函數(shù)建模并比較svm1-svm(y.,try,kernel=linear) #使用線性核函數(shù)建模;svm2-svm(y.,try,kernel=sigmoid) #使用sigmoid核函數(shù)建模; svm3-svm(y.,try,kernel=radial)#使用高斯核函數(shù)建模; svm4-svm(y.,try,kernel=polynomial) #使用多項(xiàng)式核函數(shù)建模;fy1-predict(svm1,test)fy2-predict(svm2,test) fy3-predict(svm3,test)fy4-predict(svm4,test)2022-3-5.二、支持向量回歸二、支持向量回歸R語(yǔ)言實(shí)現(xiàn)語(yǔ)言實(shí)現(xiàn)*Step2Step2：采用幾種常見(jiàn)核函數(shù)建模并比較：采用幾種常見(jiàn)核函數(shù)建模并比較e1