多元統(tǒng)計(jì)思考題及答案

《多元統(tǒng)計(jì)分析思考題》第一章回歸分析1、回歸分析是怎樣的一種統(tǒng)計(jì)方法，用來(lái)解決什么問(wèn)題？答：回歸分析作為統(tǒng)計(jì)學(xué)的一個(gè)重要分支，基于觀測(cè)數(shù)據(jù)建立變量之間的某種依賴關(guān)系，用來(lái)分析數(shù)據(jù)的內(nèi)在規(guī)律，解決預(yù)報(bào)、控制方面的問(wèn)題。2、線性回歸模型中線性關(guān)系指的是什么變量之間的關(guān)系？自變量與因變量之間一定是線性關(guān)系形式才能做線性回歸嗎？為什么？答：線性關(guān)系是用來(lái)描述自變量x與因變量y的關(guān)系；但是反過(guò)來(lái)如果自變量與因變量不一定要滿足線性關(guān)系才能做回歸，原因是回歸方程只是一種擬合方法，如果自變量和因變量存在近似線性關(guān)系也可以做線性回歸分析。3、實(shí)際應(yīng)用中，如何設(shè)定回歸方程的形式？答：通常分為一元線性回歸和多元線性回歸，隨機(jī)變量y受到p個(gè)非隨機(jī)因素x1、x2、x3……xp和隨機(jī)因素?的影響，形式為：是p+1個(gè)未知參數(shù)，是隨機(jī)誤差，這就是回歸方程的設(shè)定形式。4、多元線性回歸理論模型中，每個(gè)系數(shù)（偏回歸系數(shù)）的含義是什么？答：偏回歸系數(shù)是p+1個(gè)未知參數(shù)，反映的是各個(gè)自變量對(duì)隨機(jī)變量的影響程度。5、經(jīng)驗(yàn)回歸模型中，參數(shù)是如何確定的？有哪些評(píng)判參數(shù)估計(jì)的統(tǒng)計(jì)標(biāo)準(zhǔn)？最小二乘估計(jì)法有哪些統(tǒng)計(jì)性質(zhì)？要想獲得理想的參數(shù)估計(jì)值，需要注意一些什么問(wèn)題？答：經(jīng)驗(yàn)回歸方程中參數(shù)是由最小二乘法來(lái)來(lái)估計(jì)的；評(píng)判標(biāo)準(zhǔn)有：普通最小二乘法、嶺回歸、主成分分析、偏最小二乘法等；最小二乘法估計(jì)的統(tǒng)計(jì)性質(zhì):其選擇參數(shù)滿足正規(guī)方程組，（1）選擇參數(shù)分別是模型參數(shù)的無(wú)偏估計(jì)，期望等于模型參數(shù)；（2）選擇參數(shù)是隨機(jī)變量y的線性函數(shù)要想獲得理想的參數(shù)估計(jì)，必須注意由于方差的大小表示隨機(jī)變量取值的波動(dòng)性大小，因此自變量的波動(dòng)性能夠影響回歸系數(shù)的波動(dòng)性，要想使參數(shù)估計(jì)穩(wěn)定性好，必須盡量分散地取自變量并使樣本個(gè)數(shù)盡可能大。6、理論回歸模型中的隨機(jī)誤差項(xiàng)的實(shí)際意義是什么？為什么要在回歸模型中加入隨機(jī)誤差項(xiàng)？建立回歸模型時(shí)，對(duì)隨機(jī)誤差項(xiàng)作了哪些假定？這些假定的實(shí)際意義是什么？答：隨機(jī)誤差項(xiàng)?的引入使得變量之間的關(guān)系描述為一個(gè)隨機(jī)方程，由于因變量y很難用有限個(gè)因素進(jìn)行準(zhǔn)確描述說(shuō)明，故其代表了人們的認(rèn)識(shí)局限而沒(méi)有考慮到的偶然因素。7、建立自變量與因變量的回歸模型，是否意味著他們之間存在因果關(guān)系？為什么？答：不是，因果關(guān)系是由變量之間的內(nèi)在聯(lián)系決定的，回歸模型的建立只是一種定量分析手段，無(wú)法判斷變量之間的內(nèi)在聯(lián)系，更不能判斷變量之間的因果關(guān)系。8、回歸分析中，為什么要作假設(shè)檢驗(yàn)？檢驗(yàn)依據(jù)的統(tǒng)計(jì)原理是什么？檢驗(yàn)的過(guò)程是怎樣的？答：因?yàn)榧词刮覀円呀?jīng)建立起了模型，但是尚且不知這個(gè)回歸方程是否能夠比較好地反映所描述的變量之間的影響關(guān)系，必須進(jìn)行統(tǒng)計(jì)學(xué)上的假設(shè)檢驗(yàn)；假設(shè)性檢驗(yàn)原理可以用小概率原理解釋?zhuān)ǔＵJ(rèn)為小概率事件在一次試驗(yàn)中幾乎不可能發(fā)生的，即對(duì)總體的某個(gè)假設(shè)是真實(shí)的，那么不支持這一個(gè)假設(shè)事件在一次試驗(yàn)中是幾乎不可能發(fā)生的，要是這個(gè)事件發(fā)生了，我們就有理由懷疑這一假設(shè)的真實(shí)性，拒絕原假設(shè)；檢驗(yàn)過(guò)程：（1）提出統(tǒng)計(jì)假設(shè)H0和H1；（2）構(gòu)造一個(gè)與H0相關(guān)的統(tǒng)計(jì)量，稱其為檢驗(yàn)統(tǒng)計(jì)量；（3）根據(jù)其顯著性水平的值，確定一個(gè)拒絕域；（4）作出統(tǒng)計(jì)決斷；9、回歸診斷可以大致確定哪些問(wèn)題？回歸分析有哪些基本假定？如果實(shí)際應(yīng)用中不滿足答：在自然科學(xué)和社會(huì)科學(xué)研究中，研究對(duì)象用某種方法已經(jīng)劃分為若干類(lèi)別，當(dāng)?shù)玫揭粋€(gè)新的樣本數(shù)據(jù)時(shí)，要確定該樣本屬于已知的哪一類(lèi)。2、有哪些常用的判別分析方法？這些方法的基本原理或步驟是怎樣的？它們各有什么特點(diǎn)或優(yōu)劣之處？答：（1）距離判別法：根據(jù)已知分類(lèi)數(shù)據(jù)，分別計(jì)算各類(lèi)的重心，即是分類(lèi)的均值；判別方法是—對(duì)于任意一個(gè)樣品，若它與第i類(lèi)的重心距離最近，就認(rèn)為它來(lái)自第i類(lèi)；特點(diǎn)是對(duì)各類(lèi)數(shù)據(jù)分布并無(wú)特定的要求（2）Fisher判別法：其基本思想是投影，將k組m元數(shù)據(jù)投影到某一個(gè)方向，使得投影后組與組之間盡可能分開(kāi)，其中利用了一元方差分析的思想導(dǎo)出判別函數(shù)；其特點(diǎn)是對(duì)總體的分布沒(méi)有特殊要求，是處理概率分布未知的一種方法。（3）逐步判別法：逐步引入一個(gè)“最重要”的變量進(jìn)入判別式，同時(shí)對(duì)先引入判別式的一些變量進(jìn)行檢驗(yàn)，如果判別能力隨著引入新變量而變得不顯著，則將它從判別式中剔除，直到?jīng)]有新的變量能夠進(jìn)入，依然沒(méi)有舊變量需要剔除為止。3、判別分析與回歸分析有何異同之處？答：（1）相同點(diǎn)：這兩種方法都有關(guān)于數(shù)據(jù)預(yù)測(cè)的功能；不同點(diǎn)：這個(gè)估計(jì)太多了，一般來(lái)講判別分析功能是將樣品歸類(lèi)，回歸分析是探究樣品對(duì)因變量的變動(dòng)影響。4、判別分析對(duì)變量與樣本規(guī)模有何要求？答：判別分析對(duì)總體分布沒(méi)有要求，但是判別分析的假設(shè)之一是要求每一個(gè)變量不能是其他判別變量的線性組合，即不能存在多重共線性。5、如何度量判別效果？有哪些影響判別效果的因素？答：通過(guò)評(píng)價(jià)判別準(zhǔn)則來(lái)度量判別效果，常用方法：（1）誤判率回代法；（2）誤判率交叉確認(rèn)估計(jì)；影響因素是個(gè)總體之間的差異程度，各個(gè)總體之間差異越大，就越有可能建立有效的判別準(zhǔn)則，如果差異太小，則判別分析的意義不大；當(dāng)各個(gè)總體服從多元正態(tài)分布，我們可以根據(jù)各總體的均值向量是否相等進(jìn)行統(tǒng)計(jì)檢驗(yàn)。當(dāng)然也可以檢驗(yàn)各總體的協(xié)方差矩陣是否相等來(lái)采用判別函數(shù)。6、逐步判別是如何選擇判別變量的？基本思想或步驟是什么？答：在判別分析中，并不是觀測(cè)變量越多越好，而是選擇主要變量進(jìn)行判別分析，將各個(gè)變量在分析中起的不同作用，將影響力比較低的變量保留在判別式中，會(huì)增加干擾，影響效果。因此選擇顯著判別力的變量來(lái)建立判別式就是逐步判別法?；舅枷耄浩渑c逐步回歸法類(lèi)似，都是采用“有進(jìn)有出”的算法，即逐步引入一個(gè)“最重要”的變量進(jìn)入判別式，同時(shí)對(duì)先引入的判別式進(jìn)行檢驗(yàn)，如果其判別能力隨著新引入的變量顯著性降低，則該因素應(yīng)該被剔除，直到變量全部進(jìn)入為止。7、判別分析有哪些現(xiàn)實(shí)應(yīng)用？舉例說(shuō)明。答：判別分析在實(shí)際中的應(yīng)用無(wú)處不在。例如我們根據(jù)各種經(jīng)濟(jì)指標(biāo)把各個(gè)國(guó)家分為發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家，通過(guò)這些指標(biāo)成功的判定了一個(gè)國(guó)家的經(jīng)濟(jì)發(fā)展水平。第三章聚類(lèi)分析聚類(lèi)分析的目的是什么？與判別分析有何異同？這種方法有哪些局限或欠缺？答：把某些方面相似的東西進(jìn)行歸類(lèi)，以便從中發(fā)現(xiàn)規(guī)律性，達(dá)到認(rèn)識(shí)客觀事物規(guī)律的目的。其與判別分析相同的地方是都是研究分組的問(wèn)題；不同的是各自對(duì)于預(yù)先分組對(duì)象不一樣，聚類(lèi)分析是未知類(lèi)別，判別分析是已知類(lèi)別。有哪些常用的聚類(lèi)統(tǒng)計(jì)量？答：（1）Q型統(tǒng)計(jì)量：對(duì)樣本進(jìn)行聚類(lèi)，用“距離”來(lái)描述樣本之間的接近程度；R型統(tǒng)計(jì)量：對(duì)變量進(jìn)行聚類(lèi)，用“相似系數(shù)”來(lái)度量變量之間的近視程度。系統(tǒng)（譜系）聚類(lèi)法的基本思想是怎樣的？它包含哪些具體方法？答：先將待聚類(lèi)的n個(gè)樣品（或變量）各自看成一類(lèi)，共有n類(lèi)，然后按照事先選定的聚類(lèi)方法計(jì)算每?jī)深?lèi)之間的聚類(lèi)統(tǒng)計(jì)量，即某種距離（或者相似系數(shù)），將關(guān)系最密切的兩類(lèi)并為一類(lèi)，其余不變，即的n-1類(lèi)，再按照前面的計(jì)算方法計(jì)算新類(lèi)與其他類(lèi)之間的距離（或者相似系數(shù)），再將關(guān)系最密切的兩類(lèi)歸為一類(lèi)，其余不變，即得n-2類(lèi)，繼續(xù)下去，每次重復(fù)都減少一類(lèi)，直到所有樣品（或者變量）都?xì)w于一類(lèi)。聚類(lèi)分析對(duì)變量與樣本規(guī)模有何要求?有哪些因素影響分類(lèi)效果？要想減少不利因素的影響，可以采取哪些改進(jìn)方法？答：聚類(lèi)分析要求其樣本規(guī)模較大，需要變量之間相關(guān)性較弱，變量個(gè)數(shù)小于樣本數(shù)。實(shí)際應(yīng)用問(wèn)題，如何確定分類(lèi)數(shù)目？答：按理來(lái)說(shuō)聚類(lèi)分析的分類(lèi)數(shù)目是事先不知道的，但是在實(shí)際應(yīng)用中，應(yīng)該根據(jù)相關(guān)專(zhuān)業(yè)知識(shí)確定分類(lèi)數(shù)目，結(jié)合聚類(lèi)統(tǒng)計(jì)量參考確定，并使用誤判定理具體分析?？焖倬垲?lèi)法（K—均值法）的基本思想或步驟是怎樣的？答：如果待分類(lèi)樣品比較多，應(yīng)先給出一個(gè)大概的分類(lèi)，然后不斷對(duì)其進(jìn)行修正，一直到分類(lèi)結(jié)果比較合理為止。有序樣品的最優(yōu)分別法的基本思想或步驟是怎樣的？答：將n個(gè)樣品看成一類(lèi)，然后根據(jù)分類(lèi)的誤差函數(shù)逐漸增加分類(lèi)，尋求最優(yōu)分割，用分段的方法找出使組內(nèi)離差平方和最小的分割點(diǎn)。應(yīng)用聚類(lèi)分析解決實(shí)際問(wèn)題的基本步驟是怎樣的？應(yīng)該注意哪些方面的問(wèn)題？答：（1）n個(gè)變量（樣品）各自成一類(lèi)，一共有n類(lèi)，計(jì)算兩兩之間的距離，構(gòu)成一個(gè)對(duì)稱矩陣；（2）選擇這個(gè)對(duì)稱矩陣中主對(duì)角元素以外的上（或者下）三角部分中的最小元素，合成的新類(lèi)，并計(jì)算其與其他類(lèi)之間的距離；（3）劃去與新類(lèi)有關(guān)的行和列，將新類(lèi)與其余類(lèi)別的距離組成新的n-1階對(duì)稱矩陣；（4）再重復(fù)以上步驟，直到n個(gè)樣品聚為一個(gè)大類(lèi)；（5）記錄下合并類(lèi)別的編號(hào)以及所對(duì)應(yīng)的距離，繪制聚類(lèi)圖；（6）決定類(lèi)的個(gè)數(shù)和聚類(lèi)結(jié)果。第四章主成分分析與典型相關(guān)分析主成分分析的基本思想是什么？在低維情況下，如何利用幾何圖形解釋主成分的意義？答：構(gòu)造原始變量的適當(dāng)線性組合，使其產(chǎn)生一系列互不相關(guān)的新變量，從中選出少量的幾個(gè)新變量并使它們含有足夠多的原始變量的信息，從而使這幾個(gè)新變量代替原始變量分析問(wèn)題和解決問(wèn)題提供了可能。幾何解釋?zhuān)梢越栌闷矫嫔闲D(zhuǎn)坐標(biāo)系方法來(lái)達(dá)到降維的目的。什么是主成分的貢獻(xiàn)率與累計(jì)貢獻(xiàn)率？實(shí)際應(yīng)用時(shí)，如何確定主成分的個(gè)數(shù)？答：主成分中，描述第k個(gè)主成分提取的信息占據(jù)原來(lái)變量總信息的比重，稱為第k個(gè)主成分的貢獻(xiàn)率；若將前m個(gè)主成分提取的總信息的比重相加，稱為主成分的累計(jì)貢獻(xiàn)率。實(shí)際應(yīng)用中，通常選取前m個(gè)主成分的累積貢獻(xiàn)率達(dá)到一定的比列來(lái)確定主成分的個(gè)數(shù)。主成分有哪些基本性質(zhì)？答：（1）每一個(gè)主成分都是原始變量的線性組合；（2）主成分的數(shù)目大大小于原始變量的數(shù)目；（3）主成分保留了原始變量所包含的絕大部分信息；（4）各個(gè)主成分之間互不相關(guān)。對(duì)于任何情形的多個(gè)變量，都可以采取主成分方法降維嗎？為什么？答：肯定不是，必須要滿足適合主成分分析的要求才可以降維。舉個(gè)簡(jiǎn)單的例子，其適用范圍是各個(gè)變量之間應(yīng)該具有比較強(qiáng)的相關(guān)性，如果多個(gè)變量均為各項(xiàng)同性，則主成分分析效果不明顯。怎樣的情況下需要計(jì)算標(biāo)準(zhǔn)化的主成分？答：因?yàn)閷?shí)際問(wèn)題的變量有很多量綱，不同的量綱會(huì)引起各個(gè)變量的取值的分散程度差異較大，總體方差將主要受到方差較大的變量的控制。如果用協(xié)方差矩陣求主成分，則優(yōu)先照顧方差大的變量，可能會(huì)得到不合理的結(jié)果，因此為了消除量綱的影響，需要計(jì)算標(biāo)準(zhǔn)化的主成分。主成分有哪些應(yīng)用?答：它的主要作用是降維，因此應(yīng)用范圍比較廣泛，舉個(gè)例子，衡量一個(gè)城市的綜合發(fā)展指數(shù)涉及到的變量參數(shù)相當(dāng)多，但是如果運(yùn)用主成分的思想，只需要考慮較少的變量樣品就好，一般選擇GDP指數(shù)、環(huán)境指數(shù)、人口、面積等。如何解釋主成分的實(shí)際含義？答：主成分的實(shí)際意義需要結(jié)合到實(shí)際應(yīng)用中，其往往不是最終目的，重要的是利用降維的思想來(lái)綜合分析原始信息，利用有限的主成分來(lái)解釋規(guī)律，從而進(jìn)行相關(guān)研究。典型相關(guān)分析的基本思想是什么？有何實(shí)際用途？答：是研究?jī)山M變量間的相互依賴關(guān)系，把兩組變量之間的關(guān)系變?yōu)檠芯績(jī)蓚€(gè)新變量的相關(guān)，而又不拋棄原來(lái)變量的信息；因?yàn)檫@兩組變量所代表的內(nèi)容不同，可以直接考慮其相關(guān)關(guān)系來(lái)反映兩組變量之間的整體相關(guān)性。例如工廠考察使用原料質(zhì)量對(duì)生產(chǎn)產(chǎn)品質(zhì)量的影響，需要對(duì)產(chǎn)品各種各樣質(zhì)量指標(biāo)與所使用的原料指標(biāo)之間的相關(guān)關(guān)系進(jìn)行評(píng)判。典型相關(guān)分析與回歸分析、判別分析、主成分分析、因子分析有何關(guān)聯(lián)？試比較這些方法的異同之處。答：這是一個(gè)涉及面很大的問(wèn)題，總的來(lái)講這些方法的存在能夠幫助我們對(duì)于客觀數(shù)據(jù)現(xiàn)象的相關(guān)關(guān)系有一個(gè)更加深刻的了解，有的是對(duì)另外一種方向的優(yōu)化與推廣，有的本質(zhì)思想與另外一種分析方法很接近，異同點(diǎn)可以根據(jù)教科書(shū)進(jìn)行兩兩比對(duì)。10、典型相關(guān)分析有哪些基本假定？答：線性假定影響典型相關(guān)分析的兩個(gè)方面，首先任意兩個(gè)變量間的相關(guān)系數(shù)是基于線性關(guān)系的。如果這個(gè)關(guān)系不是線性的，一個(gè)或者兩個(gè)變量需要變換。其次，典型相關(guān)是變量間的相關(guān)，如果關(guān)系不是線性的，典型相關(guān)分析將不能測(cè)量到這種關(guān)系。11、如何解釋典型相關(guān)函數(shù)的實(shí)際意義？答：（1）典型權(quán)重（標(biāo)準(zhǔn)化系數(shù)）；（2）典型荷載（結(jié)構(gòu)系數(shù)）；（3）典型交叉載荷。用以上三種參數(shù)來(lái)使多個(gè)變量與多個(gè)變量的相關(guān)性轉(zhuǎn)化為兩個(gè)變量的相關(guān)性。12、典型相關(guān)方法中冗余度分析的意義是什么？答：冗余度主要說(shuō)明典型變量對(duì)各組觀測(cè)變量總方差的代表比例和解釋比例。第五章因子分析與對(duì)應(yīng)分析因子分析是怎樣的一種統(tǒng)計(jì)方法？它的基本目的和用途是什么？答：其根據(jù)相關(guān)性大小將變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，不同組的相關(guān)性較低，每組變量代表一個(gè)基本結(jié)構(gòu)，用一個(gè)不可觀測(cè)的綜合變量表示，這個(gè)基本結(jié)構(gòu)成為公共因子，對(duì)所研究的問(wèn)題就可以用最少的個(gè)數(shù)的不可觀測(cè)的所謂公共因子的線性函數(shù)與特殊因子之和來(lái)描述原來(lái)觀測(cè)的每一個(gè)分量；目的：利用降維的思想，從研究原始變量相關(guān)矩陣內(nèi)部結(jié)構(gòu)出發(fā)，把一些具有錯(cuò)綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個(gè)綜合因子；用途：對(duì)變量進(jìn)行分類(lèi)，根據(jù)因子得分值在其軸所構(gòu)成的空間中吧變量點(diǎn)畫(huà)出來(lái)，從而分類(lèi)。因子分子中的KMO統(tǒng)計(jì)量與巴特萊特球形性檢驗(yàn)的目的是什么？答：KMO統(tǒng)計(jì)量：通過(guò)比較各個(gè)變量之間簡(jiǎn)單相關(guān)系數(shù)和偏相關(guān)系數(shù)的大小判斷變量間的相關(guān)性，相關(guān)性強(qiáng)時(shí)，偏相關(guān)系數(shù)遠(yuǎn)小于簡(jiǎn)單相關(guān)系數(shù)，KMO值接近1.一般KMO＞0.9非常適合做因子分析；而大于0.7都可以，但是0.5一下不適合；巴特萊特球形檢驗(yàn)：用于檢驗(yàn)相關(guān)矩陣是否是單位矩陣，及各個(gè)變量是否是獨(dú)立的。它以變量的相關(guān)系數(shù)矩陣為出發(fā)地點(diǎn)，如果統(tǒng)計(jì)量數(shù)值較大，且相伴隨的概率值小于用戶給定的顯著性水平，則應(yīng)該拒絕原假設(shè)；反之，則認(rèn)為相關(guān)系數(shù)矩陣可能是一個(gè)單位陣，不適合做因子分析。因子分析有哪些類(lèi)型？它們有何區(qū)別？Q型因子分析與聚類(lèi)分析有何異同？答：Q型和R型兩種；Q型：對(duì)樣本進(jìn)行因子分析，R型：對(duì)變量進(jìn)行因子分析；Q型因子分析可以認(rèn)為是考慮指標(biāo)的重要性，保留哪些去掉哪些；Q型聚類(lèi)分析考慮的是指標(biāo)的相關(guān)性，哪幾類(lèi)指標(biāo)可能組成一類(lèi)，使得組內(nèi)距離盡可能小，組間距離盡可能大。因子分析中的變量類(lèi)型是怎樣的？因子分析對(duì)變量數(shù)目有沒(méi)有要求？對(duì)樣本規(guī)模有沒(méi)有要求？答：被描述的變量一般來(lái)講都是可觀測(cè)的隨機(jī)變量；變量必須是標(biāo)準(zhǔn)化的；樣品的數(shù)目大于變量的數(shù)目。因子分析有怎樣的基本假定？對(duì)樣本特點(diǎn)（或性質(zhì)）有何要求？答：各個(gè)共同因子之間不相關(guān)，特殊因子之間也不相關(guān)，共同因子與特殊因子之間也不相關(guān)。樣本之間相關(guān)性越強(qiáng)越好。因子分析模型中，因子載荷、變量共同度、方差貢獻(xiàn)等統(tǒng)計(jì)量的統(tǒng)計(jì)意義是什么？答：（1）因子載荷：指綜合因子與公共因子的相關(guān)關(guān)系，表示其依賴公共因子的程度，反映了第i個(gè)變量對(duì)第j個(gè)公共因子的相對(duì)重要性，也是其間的密切程度，也是其公共因子的權(quán)；（2）變量共同度：指因子載荷矩陣中各行元素的平方和，表示x的第i個(gè)分量對(duì)于公共因子的每一個(gè)分量的共同依賴程度；（3）方差貢獻(xiàn)：指因子載荷矩陣第j列各個(gè)元素的平方和，是衡量公共因子相對(duì)重要性的指標(biāo)。因子分析與主成分分析有何區(qū)別與聯(lián)系？它們分別適用于怎樣的情況？答：聯(lián)系：均是降維的處理變量（樣品）的方法；區(qū)別：因子分析是