基于數(shù)據(jù)分析的建模方法

1、1 * 在建立數(shù)學(xué)模型的過程中在建立數(shù)學(xué)模型的過程中, ,經(jīng)常需要建立經(jīng)常需要建立變量之間的關(guān)系變量之間的關(guān)系. . * *由于對研究對象的內(nèi)部機(jī)理不甚了解由于對研究對象的內(nèi)部機(jī)理不甚了解, ,不不能通過合理的假設(shè)能通過合理的假設(shè), ,或根據(jù)物理定律、原理或根據(jù)物理定律、原理, , 經(jīng)過機(jī)理分析法而得到經(jīng)過機(jī)理分析法而得到. .問題問題解決思路解決思路2*選擇適當(dāng)?shù)臄?shù)學(xué)式對變量間的關(guān)系進(jìn)行擬合選擇適當(dāng)?shù)臄?shù)學(xué)式對變量間的關(guān)系進(jìn)行擬合.*通過對數(shù)據(jù)充分觀察和分析通過對數(shù)據(jù)充分觀察和分析, 獲得數(shù)據(jù)所含獲得數(shù)據(jù)所含 信息信息;*揭示變量間的內(nèi)在聯(lián)系揭示變量間的內(nèi)在聯(lián)系;xoy* 借助于由實(shí)驗(yàn)或測量得

2、到的一批離散數(shù)據(jù)借助于由實(shí)驗(yàn)或測量得到的一批離散數(shù)據(jù).3兩類變量關(guān)系兩類變量關(guān)系 確定性關(guān)系確定性關(guān)系 確定的函數(shù)關(guān)系確定的函數(shù)關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系 存在相依關(guān)系存在相依關(guān)系,但未達(dá)到相但未達(dá)到相互確定的程度互確定的程度.兩類數(shù)據(jù)兩類數(shù)據(jù)已知規(guī)律已知規(guī)律(函數(shù)函數(shù))的測試數(shù)據(jù)的測試數(shù)據(jù)(在特定時(shí)在特定時(shí)間點(diǎn)或距離上的數(shù)據(jù)間點(diǎn)或距離上的數(shù)據(jù))呈現(xiàn)隨機(jī)性的數(shù)據(jù)呈現(xiàn)隨機(jī)性的數(shù)據(jù),可看成具有某種概可看成具有某種概率分布的隨機(jī)樣本值率分布的隨機(jī)樣本值.4 針對兩種不同類型的數(shù)據(jù)針對兩種不同類型的數(shù)據(jù), 有不同的建立模有不同的建立模型方法型方法:1. 數(shù)據(jù)擬合法數(shù)據(jù)擬合法(適用于第一類數(shù)據(jù)適用于第一類數(shù)據(jù)

3、)基本思想基本思想 已知函數(shù)已知函數(shù) y= f(x) 的一組測試數(shù)據(jù)的一組測試數(shù)據(jù) (xi , yi)， (i=1，2，n)，尋求一個函數(shù)尋求一個函數(shù)(x)，使，使(x)對上述測試數(shù)據(jù)對上述測試數(shù)據(jù)的誤差較小，即的誤差較小，即(xi)yi，于是可以用，于是可以用(x)來近似替代來近似替代f (x).常用的數(shù)據(jù)擬合方法常用的數(shù)據(jù)擬合方法：一般插值法、最小二一般插值法、最小二乘法、樣條函數(shù)光順法等乘法、樣條函數(shù)光順法等.5 插值法的基本思想插值法的基本思想 尋找尋找 f(x)的近似替代函數(shù)的近似替代函數(shù)(x), 在插值節(jié)點(diǎn)在插值節(jié)點(diǎn)xi 上滿足上滿足 ( xi )=yi， (i=1,2,，n)，其

4、余點(diǎn)用其余點(diǎn)用(x)近似替代近似替代f (x ), 稱稱(x)為為f (x)的的插值函數(shù)插值函數(shù).)(xfxixiy6 最小二乘法基本思想最小二乘法基本思想 尋找尋找 f (x)的近似替代的近似替代函數(shù)函數(shù)(x), 使使 niiixxf12)()(.min2. 隨機(jī)分析方法隨機(jī)分析方法 對于隨機(jī)數(shù)據(jù)進(jìn)行擬合對于隨機(jī)數(shù)據(jù)進(jìn)行擬合, ,可用統(tǒng)計(jì)學(xué)中的可用統(tǒng)計(jì)學(xué)中的回歸分析方法或時(shí)間序列分析方法回歸分析方法或時(shí)間序列分析方法. . 以上兩種建模方法都是建立在對數(shù)據(jù)進(jìn)行以上兩種建模方法都是建立在對數(shù)據(jù)進(jìn)行充分分析的基礎(chǔ)上充分分析的基礎(chǔ)上.7 尋找或選擇適當(dāng)?shù)暮瘮?shù)擬合變量之間的關(guān)系尋找或選擇適當(dāng)?shù)暮瘮?shù)擬

5、合變量之間的關(guān)系(函數(shù)關(guān)系或回歸關(guān)系函數(shù)關(guān)系或回歸關(guān)系)是重要的環(huán)節(jié)是重要的環(huán)節(jié).一般步驟一般步驟 1）繪制數(shù)據(jù)散點(diǎn)圖；）繪制數(shù)據(jù)散點(diǎn)圖； 2）分析數(shù)據(jù)散點(diǎn)圖；）分析數(shù)據(jù)散點(diǎn)圖； 3）選擇函數(shù)關(guān)系形式）選擇函數(shù)關(guān)系形式. 1) 通過分析數(shù)據(jù)散點(diǎn)圖可以獲得對變量通過分析數(shù)據(jù)散點(diǎn)圖可以獲得對變量間關(guān)系的感性認(rèn)識間關(guān)系的感性認(rèn)識, 形成初步的看法形成初步的看法, 以便以便于對問題做進(jìn)一步的分析于對問題做進(jìn)一步的分析.8氮施肥量氮施肥量N 土豆產(chǎn)量數(shù)據(jù)散點(diǎn)圖土豆產(chǎn)量數(shù)據(jù)散點(diǎn)圖9磷施肥量磷施肥量 土豆產(chǎn)量數(shù)據(jù)散點(diǎn)圖土豆產(chǎn)量數(shù)據(jù)散點(diǎn)圖102）分析數(shù)據(jù)散布圖；）分析數(shù)據(jù)散布圖； 對數(shù)據(jù)散布圖進(jìn)行分析對數(shù)據(jù)散

6、布圖進(jìn)行分析,可以分析出變量的可以分析出變量的關(guān)系是：關(guān)系是：1）線性的還是非線性的？）線性的還是非線性的？2）有無周期性？）有無周期性？3）呈現(xiàn)何種變化趨勢？變化率如何？）呈現(xiàn)何種變化趨勢？變化率如何？，等等有用的初步結(jié)論等等有用的初步結(jié)論.11 例例6.2.1 建立一個簡潔的函數(shù)關(guān)系式來描述建立一個簡潔的函數(shù)關(guān)系式來描述某個地區(qū)人的身高和體重的對應(yīng)關(guān)系某個地區(qū)人的身高和體重的對應(yīng)關(guān)系, 數(shù)據(jù)數(shù)據(jù)見表見表7.4(p156). 曲線特征是體重曲線特征是體重W 隨身高隨身高H 的增長的增長而單調(diào)增長，但可而單調(diào)增長，但可以觀察到是非線性以觀察到是非線性增長增長.身高身高體重?cái)?shù)據(jù)散點(diǎn)圖體重?cái)?shù)據(jù)散點(diǎn)

7、圖12練習(xí)練習(xí)試分析以下問題試分析以下問題 1. 氮施肥量氮施肥量N、磷施肥量磷施肥量 P 關(guān)于土豆產(chǎn)量關(guān)于土豆產(chǎn)量的數(shù)據(jù)散點(diǎn)圖的數(shù)據(jù)散點(diǎn)圖. 2. 海浪潮高度海浪潮高度x 隨時(shí)間隨時(shí)間t 的數(shù)據(jù)散點(diǎn)圖的數(shù)據(jù)散點(diǎn)圖.133）選擇函數(shù)關(guān)系形式）選擇函數(shù)關(guān)系形式 1. 形式盡可能簡潔形式盡可能簡潔, 盡可能線性化；盡可能線性化；原原則則2. 依據(jù)實(shí)際問題的精度要求依據(jù)實(shí)際問題的精度要求,合乎實(shí)際規(guī)律合乎實(shí)際規(guī)律. 續(xù)例續(xù)例6.2.1 選擇冪函數(shù)選擇冪函數(shù) W= , 描述身描述身高體重關(guān)系高體重關(guān)系.acH優(yōu)點(diǎn)優(yōu)點(diǎn) 此函數(shù)可以線性化此函數(shù)可以線性化.兩邊取對數(shù)兩邊取對數(shù), 有有cHaWlnlnln

8、14cbHxWyln,ln,ln 令令 變換為線性函數(shù)變換為線性函數(shù). baxy 例例6.2.2 可選二次函數(shù)可選二次函數(shù) 注：注：其中其中 b0= y(0) = 15.18. 描述氮肥施肥量與土豆產(chǎn)量間的變量關(guān)系描述氮肥施肥量與土豆產(chǎn)量間的變量關(guān)系.2210 xbxbby 關(guān)于磷肥施肥量和土豆產(chǎn)量的變量關(guān)系可關(guān)于磷肥施肥量和土豆產(chǎn)量的變量關(guān)系可選擇威布爾模型：選擇威布爾模型：15合理性合理性?;,. 1Ayx 當(dāng)當(dāng)有有0, xBeAyKx;)0(. 2BAy 3. y 是單調(diào)升函數(shù)是單調(diào)升函數(shù). 也可以選擇也可以選擇S 函數(shù)函數(shù)： 0,1 xbeayx16S函數(shù)也滿足：函數(shù)也滿足： ;1,.

9、1ayx 當(dāng)當(dāng);1)0(. 2bay 3. y 是單調(diào)升函數(shù)；是單調(diào)升函數(shù)； 哪個模哪個模型更好？型更好？分析分析 S 模型所含參數(shù)更少模型所含參數(shù)更少, 另外若令另外若令,1xexyy .xbay 可得線性模型可得線性模型17回歸模型是用回歸模型是用統(tǒng)計(jì)分析方法建立的最常用的一類模型統(tǒng)計(jì)分析方法建立的最常用的一類模型 數(shù)學(xué)建模的基本方法數(shù)學(xué)建模的基本方法機(jī)理分析機(jī)理分析測試分析測試分析通過對數(shù)據(jù)的統(tǒng)計(jì)分析，找出與數(shù)據(jù)擬合最好的模型通過對數(shù)據(jù)的統(tǒng)計(jì)分析，找出與數(shù)據(jù)擬合最好的模型 不涉及回歸分析的數(shù)學(xué)原理和方法不涉及回歸分析的數(shù)學(xué)原理和方法 通過實(shí)例討論如何選擇不同類型的模型通過實(shí)例討論如何選擇

10、不同類型的模型 對軟件得到的結(jié)果進(jìn)行分析，對模型進(jìn)行改進(jìn)對軟件得到的結(jié)果進(jìn)行分析，對模型進(jìn)行改進(jìn) 由于客觀事物內(nèi)部規(guī)律的復(fù)雜及人們認(rèn)識程度的限制由于客觀事物內(nèi)部規(guī)律的復(fù)雜及人們認(rèn)識程度的限制,無法分析實(shí)際對象內(nèi)在的因果關(guān)系，建立合乎機(jī)理規(guī)無法分析實(shí)際對象內(nèi)在的因果關(guān)系，建立合乎機(jī)理規(guī)律的數(shù)學(xué)模型。律的數(shù)學(xué)模型。 18牙膏的銷售量牙膏的銷售量 問問題題建立牙膏銷售量與價(jià)格、廣告投入之間的模型建立牙膏銷售量與價(jià)格、廣告投入之間的模型 預(yù)測在不同價(jià)格和廣告費(fèi)用下的牙膏銷售量預(yù)測在不同價(jià)格和廣告費(fèi)用下的牙膏銷售量 收集了收集了30個銷售周期本公司牙膏銷售量、價(jià)格、個銷售周期本公司牙膏銷售量、價(jià)格、廣告

11、費(fèi)用，及同期其它廠家同類牙膏的平均售價(jià)廣告費(fèi)用，及同期其它廠家同類牙膏的平均售價(jià) 9.260.556.804.253.70307.930.055.803.853.80298.510.256.754.003.7527.38-0.055.503.803.851銷售量銷售量(百萬支百萬支)價(jià)格差價(jià)格差（元）（元）廣告費(fèi)用廣告費(fèi)用(百萬元百萬元)其它廠家其它廠家價(jià)格價(jià)格(元元)本公司價(jià)本公司價(jià)格格(元元)銷售銷售周期周期19基本模型基本模型y 公司牙膏銷售量公司牙膏銷售量x1其它廠家與本公司其它廠家與本公司價(jià)格差價(jià)格差x2公司廣告費(fèi)用公司廣告費(fèi)用110 xy222210 xxy55.566.577.5

12、77.588.599.510 x2y-0.200.20.40.677.588.599.510 x1y22322110 xxxyx1, x2解釋變量解釋變量(回歸變量回歸變量, 自變量自變量) y被解釋變量（因變量）被解釋變量（因變量） 0, 1 , 2 , 3 回歸系數(shù)回歸系數(shù) 隨機(jī)隨機(jī)誤差（誤差（均值為零的均值為零的正態(tài)分布隨機(jī)變量）正態(tài)分布隨機(jī)變量）20MATLAB 統(tǒng)計(jì)工具箱統(tǒng)計(jì)工具箱 模型求解模型求解b,bint,r,rint,stats=regress(y,x,alpha) 輸入輸入 x= n 4數(shù)數(shù)據(jù)矩陣據(jù)矩陣, 第第1列為全列為全1向量向量1 2221xxxalpha(置信置信水

13、平水平,0.05) 22322110 xxxyb 的的估計(jì)值估計(jì)值 bintb的置信區(qū)間的置信區(qū)間 r 殘差向量殘差向量y-xb rintr的置信區(qū)間的置信區(qū)間 Stats檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量 R2,F, p yn維數(shù)據(jù)向量維數(shù)據(jù)向量輸出輸出 由數(shù)據(jù)由數(shù)據(jù) y,x1,x2估計(jì)估計(jì) 參數(shù)參數(shù)參數(shù)估計(jì)值參數(shù)估計(jì)值置信區(qū)間置信區(qū)間17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 321結(jié)果分析結(jié)果分析y的的90.54

14、%可由模型確定可由模型確定 參數(shù)參數(shù)參數(shù)估計(jì)值參數(shù)估計(jì)值置信區(qū)間置信區(qū)間17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 322322110 xxxyF遠(yuǎn)超過遠(yuǎn)超過F檢驗(yàn)的臨界值檢驗(yàn)的臨界值 p遠(yuǎn)小于遠(yuǎn)小于 =0.05 2的置信區(qū)間包含零點(diǎn)的置信區(qū)間包含零點(diǎn)(右端點(diǎn)距零點(diǎn)很近右端點(diǎn)距零點(diǎn)很近) x2對因變量對因變量y 的的影響不太顯著影響不太顯著x22項(xiàng)顯著項(xiàng)顯著 可將可將x2保留在模型中保留在模型中 模型從整

15、體上看成立模型從整體上看成立2222322110 xxxy銷售量預(yù)測銷售量預(yù)測 價(jià)格差價(jià)格差x1=其它廠家其它廠家價(jià)格價(jià)格x3-本公司本公司價(jià)格價(jià)格x4估計(jì)估計(jì)x3調(diào)整調(diào)整x4控制價(jià)格差控制價(jià)格差x1=0.2元，投入廣告費(fèi)元，投入廣告費(fèi)x2=650萬元萬元銷售量預(yù)測區(qū)間為銷售量預(yù)測區(qū)間為 7.8230，8.7636（置信度（置信度95%）上限用作庫存管理的目標(biāo)值上限用作庫存管理的目標(biāo)值 下限用來把握公司的現(xiàn)金流下限用來把握公司的現(xiàn)金流 若估計(jì)若估計(jì)x3=3.9，設(shè)定，設(shè)定x4=3.7，則可以，則可以95%的把握的把握知道銷售額在知道銷售額在 7.8320 3.7 29（百萬元）以上（百萬元）以

16、上控制控制x1通過通過x1, x2預(yù)測預(yù)測y2933.822322110 xxxy(百萬支百萬支)23模型改進(jìn)模型改進(jìn)x1和和x2對對y的的影響?yīng)毩⒂绊應(yīng)毩?22322110 xxxy21422322110 xxxxxy參數(shù)參數(shù)參數(shù)估計(jì)值參數(shù)估計(jì)值置信區(qū)間置信區(qū)間17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 3參數(shù)參數(shù)參數(shù)估計(jì)值參數(shù)估計(jì)值置信區(qū)間置信區(qū)間29.113313.7013 44.525211.13

17、421.9778 20.2906 -7.6080-12.6932 -2.5228 0.67120.2538 1.0887 -1.4777-2.8518 -0.1037 R2=0.9209 F=72.7771 p=0.0000 3 0 1 2 4x1和和x2對對y的影響有的影響有交互作用交互作用24兩模型銷售量預(yù)測兩模型銷售量預(yù)測比較比較21422322110 xxxxxy22322110 xxxy2933. 8 y(百萬支百萬支)區(qū)間區(qū)間 7.8230，8.7636區(qū)間區(qū)間 7.8953，8.7592 3272. 8 y(百萬支百萬支)控制價(jià)格差控制價(jià)格差x1=0.2元，投入廣告費(fèi)元，投入廣告費(fèi)x2=6.5百萬元百萬元預(yù)測區(qū)間長度更短預(yù)測區(qū)間長度更短 略有增加略有增加 y 25x2=6.5x1=0.2 -0.200.20.40.67.588.59x1y -0.200.20.40.67.588.59x1y 56787.588.599.510 x2y 567888.599.51010.5x2y 22322110 xxxy21422322110 xxxxxy兩模型兩模型 與與x1, ,x2關(guān)系的關(guān)系的比較比較y 26交互作用影響的討論交互作用影響的討論2221 . 06712. 07558. 72267