數(shù)模競(jìng)賽輔導(dǎo)專題之多元統(tǒng)計(jì)模型

1、 多元統(tǒng)計(jì)模型數(shù)模競(jìng)賽輔導(dǎo)專題科技大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院 武新乾（2010-07-23）一、前言24年前（1986年），美國(guó)出現(xiàn)了大學(xué)生數(shù)學(xué)建模競(jìng)賽。隨著改革開放的進(jìn)程，數(shù)模競(jìng)賽逐漸傳入我國(guó)。1992年，開始國(guó)第一屆大學(xué)生數(shù)學(xué)建模比賽。數(shù)模競(jìng)賽一經(jīng)傳入，便受到了全國(guó)高校的普遍關(guān)注，引起了大學(xué)生的廣泛興趣。特別是近年來(lái)，雖然試題難度不斷增大，但是，參賽的學(xué)生規(guī)?？涨芭蛎?，獲獎(jiǎng)的組隊(duì)也日益增加，論文質(zhì)量不斷提高。綜觀18年的競(jìng)賽試題，問(wèn)題廣泛，解決方案多種多樣，其中基于統(tǒng)計(jì)分析的問(wèn)題屢見(jiàn)不鮮。比如：1992年A題（簡(jiǎn)單記為1992A，下同）“施肥方案對(duì)作物、蔬菜的影響”，采用多元二次回歸、全回歸、逐步

2、回歸和二次響應(yīng)面回歸；1993A“非線性交調(diào)的頻率設(shè)計(jì)”，采用最小二乘方法（簡(jiǎn)單記為L(zhǎng)S）；1998A“資產(chǎn)投資收益與風(fēng)險(xiǎn)模型”和2000A“DNA序列的分類”，都采用多元分析方法；2001A“血管管道的三維重建”和“血管切片的三維重建”，分別采用LS方法和非線性擬合；2001B“公交車調(diào)度的規(guī)劃數(shù)學(xué)模型”，采用聚類分析、平滑方法和隨機(jī)過(guò)程的有關(guān)知識(shí)；2003A“SARS傳播的數(shù)學(xué)原理與預(yù)測(cè)與控制”和“SARS傳播的研究”，均考慮了時(shí)間序列的應(yīng)用；2003A“SARS傳播預(yù)測(cè)的數(shù)學(xué)模型”，采用非線性擬合，建立了指數(shù)模型；2004A“MS網(wǎng)點(diǎn)的合理布局”采用了聚類分析，“基于利潤(rùn)最大化的實(shí)運(yùn)商業(yè)

3、網(wǎng)點(diǎn)分布微觀經(jīng)濟(jì)模型”采用多元統(tǒng)計(jì)分析方法，另外，“臨時(shí)超市網(wǎng)點(diǎn)的規(guī)劃模型研究”考慮了經(jīng)驗(yàn)分布的應(yīng)用；2004B“電力市場(chǎng)的輸電阻塞優(yōu)化管理（指導(dǎo)教師：肖華勇）”和“電力市場(chǎng)輸電阻塞管理模型”，均使用了多元線性回歸；2005A“長(zhǎng)江水質(zhì)的評(píng)價(jià)和預(yù)測(cè)”、“長(zhǎng)江水質(zhì)的評(píng)價(jià)預(yù)測(cè)模型”（二元線性回歸預(yù)測(cè)）、“基于回歸分析的長(zhǎng)江水質(zhì)預(yù)測(cè)與控制”，均考慮了回歸分析，此外，“長(zhǎng)江水質(zhì)評(píng)價(jià)和預(yù)測(cè)的研究”、“水質(zhì)的評(píng)價(jià)和預(yù)測(cè)模型”，均考慮了時(shí)間序列分析方法和多元線性回歸模型；2005B“DVD在線租賃系統(tǒng)的優(yōu)化設(shè)計(jì)”應(yīng)用了抽樣統(tǒng)計(jì)和隨機(jī)服務(wù)模型，“DVD在線租賃問(wèn)題”和“DVD租賃優(yōu)化方案（指導(dǎo)教師：浩）”考慮

4、了二項(xiàng)分布和隨機(jī)模擬；2005B“DVD在線租賃問(wèn)題研究”和2005C“雨量預(yù)報(bào)方法的評(píng)價(jià)模型”考慮了均值的應(yīng)用；2006B“艾滋病療法評(píng)價(jià)與療效預(yù)測(cè)模型”使用了二次曲線和多元方差分析，“艾滋病療法評(píng)價(jià)與療效的預(yù)測(cè)模型”使用了逐步回歸方法，“艾滋病療法的評(píng)價(jià)與療效的預(yù)測(cè)模型”應(yīng)用了假設(shè)檢驗(yàn)和方差分析，“艾滋病療法的評(píng)價(jià)與療效的預(yù)測(cè)”使用了線性擬合、二次和三次曲線擬合與非線性回歸，“基于數(shù)據(jù)統(tǒng)計(jì)分析的艾滋病療效評(píng)價(jià)方法”采用了F-檢驗(yàn)和二次多項(xiàng)式回歸；2007A“中國(guó)人口區(qū)域結(jié)構(gòu)向量模型”采用了倒數(shù)曲線模型擬合，“基于Leslie模型的中國(guó)人口預(yù)測(cè)與蒙特卡羅仿真（指導(dǎo)教師：梅長(zhǎng)林）”應(yīng)用了概率方

5、法；2008A“數(shù)碼相機(jī)定位”應(yīng)用了多元線性回歸分析；2008B“高等教育學(xué)費(fèi)標(biāo)準(zhǔn)探討（華南農(nóng)業(yè)大學(xué)，編號(hào)1910）”應(yīng)用了因子分析、主成分分析和聚類分析，“高等教育學(xué)費(fèi)標(biāo)準(zhǔn)的探討（華南農(nóng)業(yè)大學(xué)，編號(hào)1920）”采用了多元回歸分析、數(shù)據(jù)挖掘和模擬退火算法，“關(guān)于高等教育學(xué)費(fèi)標(biāo)準(zhǔn)的評(píng)價(jià)與建議（編號(hào)cumcm0849）”和“高校學(xué)費(fèi)合理性研究（編號(hào)cumcm0860）”分別考慮了回歸分析和曲線擬合。由是可知，多元統(tǒng)計(jì)分析是常見(jiàn)的解決數(shù)模競(jìng)賽的主要工具之一，務(wù)必給以充分的重視和加強(qiáng)訓(xùn)練指導(dǎo)。二、回歸分析1. 一元線性回歸經(jīng)典的一元線性回歸模型為， （1）其中為觀察值，為獨(dú)立同分布（i.i.d.）隨機(jī)

6、誤差序列，并且。易知，參數(shù)和的最小二乘估計(jì)（LSE）為 ， （2）其中，。于是，所得線性回歸方程為。 （3）在應(yīng)用回歸方程（3）進(jìn)行擬合、預(yù)測(cè)和控制之前，必須進(jìn)行檢驗(yàn)問(wèn)題。 （4）常用統(tǒng)計(jì)量為， （5）其中為回歸平方和，為殘差平方和。當(dāng)原假設(shè)成立時(shí)，。 （6）對(duì)于給定的顯著性水平，由，查表確定臨界值。當(dāng)時(shí)，拒絕原假設(shè)，說(shuō)明與之間存在線性關(guān)系，回歸方程有意義。否則，回歸方程無(wú)意義，這時(shí)有幾種可能性： 確實(shí)對(duì)無(wú)任何影響； 對(duì)有影響，但不是線性關(guān)系； 除以外，還有另外的因素對(duì)有影響，這時(shí)需要進(jìn)一步研究。變量與之間的線性關(guān)系的判斷，除了上述方差分析法以外，還可以利用相關(guān)系數(shù)檢驗(yàn)法。樣本相關(guān)系數(shù)， （7

7、）它是總體相關(guān)系數(shù)的估計(jì)量。具有一個(gè)特性，它只依賴于樣本容量和總體相關(guān)系數(shù)。當(dāng)原假設(shè)成立時(shí)，統(tǒng)計(jì)量。 （8）這說(shuō)明也可以利用檢驗(yàn)法對(duì)原假設(shè)進(jìn)行檢驗(yàn)。誠(chéng)然，在使用統(tǒng)計(jì)軟件進(jìn)行假設(shè)檢驗(yàn)時(shí)，往往會(huì)輸出值，也可以直接利用進(jìn)行檢驗(yàn)判斷，這里，為統(tǒng)計(jì)量的樣本值。當(dāng)時(shí)，拒絕原假設(shè)，認(rèn)為對(duì)的線性影響是顯著的，否則，認(rèn)為對(duì)的線性影響是不顯著的。只有當(dāng)拒絕原假設(shè)，即認(rèn)為對(duì)的線性影響是顯著時(shí)，才能利用線性回歸方程（3）進(jìn)行預(yù)測(cè)和控制。此時(shí)，個(gè)體與集體平均的點(diǎn)預(yù)測(cè)為。 （9）個(gè)體的區(qū)間預(yù)測(cè)（置信水平為）為， （10）或者為 ， （11）其中為預(yù)報(bào)半徑，。集體平均的區(qū)間預(yù)測(cè)（置信水平為）為， （12）或者為 ， （13

8、）其中。在實(shí)際應(yīng)用中，為了方便起見(jiàn)，當(dāng)取值在附近并且樣本容量比較大時(shí)，通常使用， （14）或者 （15）來(lái)進(jìn)行預(yù)測(cè)和控制。比如，要控制在中，只需通過(guò) （16）或者 （17）分別求出和，從而確定變量值的控制圍。2. 多元線性回歸經(jīng)典的多元線性回歸模型為， （18）其中為觀察數(shù)據(jù)，為獨(dú)立同分布（i.i.d.）隨機(jī)誤差序列，并且。易知，參數(shù)的最小二乘估計(jì)（LSE）為， （19）其中。于是，所得線性回歸方程為。 （20）方程的顯著性檢驗(yàn)不全為。 （21）常用統(tǒng)計(jì)量為， （22）其中為回歸平方和，為殘差平方和。當(dāng)原假設(shè)成立時(shí)，。 （23）對(duì)于給定的顯著性水平，由，查表確定臨界值。當(dāng)時(shí)，拒絕原假設(shè)，即在顯

9、著性水平下，變量對(duì)的線性影響顯著，回歸方程有意義。否則，回歸方程無(wú)意義，此時(shí)有如下幾種可能性： 確實(shí)對(duì)無(wú)影響； 對(duì)有影響，但是非線性關(guān)系； 除以外，還有另外的因素對(duì)有影響，這時(shí)需要進(jìn)一步研究。只有通過(guò)方程的顯著性檢驗(yàn)，才能進(jìn)一步對(duì)（偏）回歸系數(shù)進(jìn)行顯著性檢驗(yàn)。檢驗(yàn)問(wèn)題。 （24）檢驗(yàn)統(tǒng)計(jì)量為， （25）或者， （26）其中，為的第個(gè)對(duì)角元素，而,是中心化的數(shù)據(jù)矩陣，即。在原假設(shè)成立的條件下，。 （27）當(dāng)或者時(shí)，拒絕原假設(shè)，表明變量對(duì)的作用是顯著的（在回歸方程中是顯著的）；否則，接受原假設(shè)，說(shuō)明對(duì)的作用是不顯著的，可以將其從回歸方程中剔除。只有當(dāng)回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)均通過(guò)

10、以后，才可以利用回歸方程（20）進(jìn)行預(yù)測(cè)和控制。給定一組變量值，對(duì)應(yīng)的和的點(diǎn)預(yù)報(bào)為。 （28）的預(yù)報(bào)區(qū)間（區(qū)間估計(jì)）為 ， （29）其中為預(yù)報(bào)半徑，。當(dāng)取值在附近并且樣本容量充分大時(shí)，通常使用近似預(yù)報(bào)區(qū)間，即當(dāng)時(shí)，預(yù)報(bào)區(qū)間為； （30）當(dāng)時(shí)，預(yù)報(bào)區(qū)間為。 （31）的預(yù)報(bào)區(qū)間（區(qū)間估計(jì)）為 ， （32）其中。在實(shí)際問(wèn)題中，常希望通過(guò)控制個(gè)變量中的某一個(gè)（或者少數(shù)幾個(gè)）來(lái)滿足對(duì)輸出 的要求，這就是常說(shuō)的控制問(wèn)題。比如，如何控制自變量的取值，使得因變量滿足。當(dāng)時(shí)，解不等式 （33）解此不等式（在有解的情況下），即得自變量的控制圍。3. 非線性回歸常見(jiàn)的非線性回歸模型分為兩種類型。第一類：形式上是非線

11、性的，但是，經(jīng)過(guò)變換以后可以轉(zhuǎn)化為線性模型，稱為第一類非線性回歸。第二類：本質(zhì)上是非線性的，稱為第二類非線性回歸。第一類非線性回歸，又稱為可化為線性模型的回歸或者為化曲線為直的回歸。常見(jiàn)的有：雙曲線型 ；指數(shù)函數(shù)型 或者 ；冪函數(shù)型 ；對(duì)數(shù)函數(shù)型 ；S型 ；。第二類非線性回歸模型的一般形式為， （34）其中為可控制變量，為未知待估參數(shù)，為一隨機(jī)變量，為元非線性函數(shù)。此處，僅介紹一種常用的估計(jì)方法非線性最小二乘法。設(shè)進(jìn)行了次隨機(jī)試驗(yàn)，得到觀察值為，即。 （35）通常假定為獨(dú)立同分布（i.i.d.）隨機(jī)誤差序列，并且為白噪聲過(guò)程，即。令， （36）使得達(dá)到最小值的稱為參數(shù)的最小二乘估計(jì)。稱方程 （

12、37）為非線性回歸方程；作為的估計(jì)值，稱為預(yù)測(cè)值（擬合值）。下面介紹求解的一種迭代方法高斯-牛頓法。具體步驟如下： 給定初始值； 計(jì)算矩陣； 計(jì)算迭代值， ， （38）其中。 以代替作為下一次迭代的初始值，重復(fù)上述步驟，直到與或者與之差的絕對(duì)值小于預(yù)先給定的精度為止。將最后所得的作為參數(shù)的最終估計(jì)值。 在求出之后，可得非線性回歸方程（37），然后，可類似于線性回歸方程進(jìn)行預(yù)測(cè)和控制。三、判別分析、聚類分析、主成分分析與因子分析 由于這部分容龐雜繁多，況且教學(xué)時(shí)間有限，所以，該節(jié)講義暫時(shí)略去這部分容的知識(shí)梳理與講解。雖然如此，但是，在下面的應(yīng)用分析中還是選擇了一個(gè)實(shí)例（例3）加以分析說(shuō)明，這是因

13、為該部分容在歷年的數(shù)學(xué)建模競(jìng)賽中時(shí)有出現(xiàn)和應(yīng)用，不能掉以輕心。四、應(yīng)用分析例1 （1992年A題 施肥效果分析）具體問(wèn)題參見(jiàn)題目“1992年A題 施肥效果分析.pdf”。分析：該題是中國(guó)大學(xué)生首屆數(shù)學(xué)模型競(jìng)賽試題，也是美國(guó)1992年數(shù)學(xué)模型競(jìng)賽A題。在上述問(wèn)題中，N, P, K的施用量是三個(gè)回歸變量，土豆和生菜的產(chǎn)量是因變量，利用所給數(shù)據(jù)建立產(chǎn)量與N, P, K的施用量之間的函數(shù)關(guān)系，然后通過(guò)這個(gè)函數(shù)關(guān)系去分析合理的施肥效果等，這就是回歸方法建模。先看鉀肥K的施用量與生菜產(chǎn)量W之間的關(guān)系。由所給數(shù)據(jù)描出經(jīng)驗(yàn)曲線，并結(jié)合農(nóng)學(xué)原理知，鉀肥的施用量對(duì)生菜產(chǎn)量的增加表現(xiàn)為直線形式，故可用一元線性回歸。

14、所建立的鉀肥對(duì)生菜的效應(yīng)方程（回歸方程）為 。 （39）由于，所以，效應(yīng)方程（回歸方程）（39）有意義。另外，由所給數(shù)據(jù)描出的經(jīng)驗(yàn)曲線，并結(jié)合英國(guó)科學(xué)家博伊德的理論可知，磷肥P的施用量W的增加表現(xiàn)為分段直線形式，運(yùn)用一元線性回歸，可得磷肥對(duì)土豆的效應(yīng)方程為 。 （40）磷肥對(duì)生菜的效應(yīng)方程為 。 （41） 考查氮肥N的施用量與土豆和生菜產(chǎn)量W之間的關(guān)系。由所給數(shù)據(jù)描出的經(jīng)驗(yàn)曲線，結(jié)合Nicklas和Miller的理論可知，氮肥的施用量對(duì)土豆和生菜產(chǎn)量的增加可用下述描述： 。 （42）令，則上述模型（42）轉(zhuǎn)化為二元線性回歸模型。 （43）經(jīng)過(guò)計(jì)算，氮肥對(duì)土豆的效應(yīng)方程為 。 （44）由于，所以

15、，效應(yīng)方程（回歸方程）（44）有意義。類似地，可求得氮肥對(duì)生菜的效應(yīng)方程為 。 （45）同時(shí)，可以檢驗(yàn)上述回歸方程（45）有意義。注意：（44）和（45）式中的表示氮肥N的施用量。再考察鉀肥K的施用量與土豆產(chǎn)量W之間的關(guān)系。由所給的數(shù)據(jù)繪出經(jīng)驗(yàn)曲線，結(jié)合米采利希學(xué)說(shuō)，并考慮到土壤本身的天然肥力，鉀肥的施用量對(duì)土豆產(chǎn)量的增加可用下述模型來(lái)描述 ， （46）其中為未知參數(shù)，為零均值的隨機(jī)變量。不妨采用高斯-牛頓法確定參數(shù)，這里樣本容量，。采用高斯-牛頓法，求得，從而，得到鉀肥對(duì)土豆的效應(yīng)方程為 。 （47）注：其它解題方案可以參考“施肥方案對(duì)作物_蔬菜的影響.pdf”。例2 （2004年B題）具體問(wèn)題和分析參見(jiàn)“電力市場(chǎng)的輸電阻塞優(yōu)化管理.pdf”和“電力市場(chǎng)輸電阻塞管理模型2004年甲組高教杯獲得者論文.pdf”。注：選擇本題主要介紹多元線性回歸在解決實(shí)際問(wèn)題中的應(yīng)用。例3 （2008題B題）具體問(wèn)題參見(jiàn)“高等教育學(xué)費(fèi)標(biāo)準(zhǔn)探討B(tài)2008.doc”，具體分析參見(jiàn)“高等教育學(xué)費(fèi)標(biāo)準(zhǔn)探討1910.pdf”。注：選擇本題主要是想介紹多元統(tǒng)計(jì)分析中因子分析、主成分分析、聚類分析等基本方法在實(shí)際問(wèn)題中的應(yīng)用。五、參考習(xí)題