《主成分回歸分析》課件

主成分回歸分析主成分回歸分析是一種多元統(tǒng)計(jì)分析方法，將多個(gè)自變量進(jìn)行降維，得到少數(shù)幾個(gè)綜合性變量，稱為主成分。然后將主成分作為自變量，建立回歸模型，預(yù)測(cè)因變量。主成分分析的基本思想降維通過(guò)尋找一組線性無(wú)關(guān)的新變量，來(lái)代替原有的多個(gè)自變量。這組新變量被稱為主成分，它們能夠解釋原始數(shù)據(jù)中的大部分變異。相關(guān)性主成分分析假設(shè)原始變量之間存在一定的相關(guān)性。通過(guò)分析這些相關(guān)性，我們可以找到一組主成分，它們能夠最大程度地保留原始變量的信息。最大方差主成分的選取遵循最大方差原則。每個(gè)主成分解釋的數(shù)據(jù)方差最大，意味著它們能夠盡可能地保留原始變量的信息。主成分的定義和性質(zhì)定義主成分是指原始數(shù)據(jù)中包含的信息的線性組合，它們是按照方差降序排列的。第一個(gè)主成分具有最大的方差，它能夠解釋原始數(shù)據(jù)中最大的方差。性質(zhì)主成分是正交的，它們之間相互獨(dú)立。主成分的方差依次遞減，它們可以解釋原始數(shù)據(jù)中的大部分方差。主成分分析的步驟1數(shù)據(jù)標(biāo)準(zhǔn)化將數(shù)據(jù)轉(zhuǎn)化為均值為0，方差為1的標(biāo)準(zhǔn)化數(shù)據(jù)。2計(jì)算協(xié)方差矩陣計(jì)算所有變量之間的協(xié)方差，得到協(xié)方差矩陣。3求解特征值和特征向量計(jì)算協(xié)方差矩陣的特征值和特征向量，并按特征值大小排序。4主成分提取根據(jù)特征值的大小，選取前幾個(gè)特征向量作為主成分。主成分分析的步驟包括數(shù)據(jù)標(biāo)準(zhǔn)化、計(jì)算協(xié)方差矩陣、求解特征值和特征向量以及主成分提取。每個(gè)步驟都至關(guān)重要，它們共同構(gòu)成了主成分分析的完整流程。樣本相關(guān)系數(shù)矩陣的計(jì)算相關(guān)系數(shù)矩陣是用來(lái)描述變量之間線性相關(guān)程度的矩陣。它是一個(gè)方陣，對(duì)角線上的元素都是1，非對(duì)角線上的元素是不同變量之間的相關(guān)系數(shù)。計(jì)算樣本相關(guān)系數(shù)矩陣需要用到樣本數(shù)據(jù)，并根據(jù)樣本數(shù)據(jù)計(jì)算出每個(gè)變量的樣本均值和樣本標(biāo)準(zhǔn)差。樣本相關(guān)系數(shù)矩陣的計(jì)算公式如下：特征值和特征向量的求解計(jì)算樣本相關(guān)系數(shù)矩陣，得到協(xié)方差矩陣。求解協(xié)方差矩陣的特征值和特征向量，并按特征值大小排序，選取前k個(gè)特征值對(duì)應(yīng)的特征向量。特征值反映了主成分所包含的信息量，特征向量則指明了主成分的方向。主成分的提取計(jì)算特征值和特征向量將樣本相關(guān)系數(shù)矩陣進(jìn)行特征值分解，得到特征值和特征向量。排序特征值根據(jù)特征值的大小，對(duì)特征向量進(jìn)行排序，并選取前k個(gè)特征向量。計(jì)算主成分將排序后的特征向量與原始數(shù)據(jù)矩陣相乘，得到主成分。主成分含義的解釋主成分解釋每個(gè)主成分都是原始變量的線性組合，代表了原始數(shù)據(jù)中的主要變異方向。主成分得分每個(gè)主成分的得分代表了樣本在該主成分方向上的投影，反映了樣本在該方向上的變異程度。主成分方向主成分方向表示了數(shù)據(jù)變化的主要趨勢(shì)，箭頭指向數(shù)據(jù)變異最大的方向。主成分的選取累計(jì)貢獻(xiàn)率根據(jù)累計(jì)貢獻(xiàn)率選擇主成分。一般來(lái)說(shuō)，累計(jì)貢獻(xiàn)率達(dá)到85%以上時(shí)，可以認(rèn)為選取的主成分能夠解釋大部分信息。碎石圖通過(guò)碎石圖觀察特征值的大小，選擇特征值較大的前幾個(gè)主成分。主成分的實(shí)際意義根據(jù)主成分的成分系數(shù)，解釋主成分的實(shí)際意義，并選擇能夠有效解釋原始變量信息的成分。模型效果選擇不同的主成分?jǐn)?shù)量，建立模型并評(píng)估模型的效果，選擇最優(yōu)模型。主成分回歸模型的建立1選擇主成分根據(jù)主成分的解釋和特征值大小選擇合適的2建立回歸模型將選定的主成分作為自變量構(gòu)建回歸模型3模型擬合利用最小二乘法擬合主成分回歸模型4檢驗(yàn)?zāi)Ｐ驮u(píng)估模型的擬合優(yōu)度，并進(jìn)行必要調(diào)整主成分回歸模型的建立過(guò)程需要經(jīng)過(guò)幾個(gè)關(guān)鍵步驟，包括選擇主成分、建立回歸模型、模型擬合和模型檢驗(yàn)。每個(gè)步驟都需要仔細(xì)考量，以確保模型的有效性和可靠性?；貧w系數(shù)的計(jì)算回歸系數(shù)計(jì)算公式截距b0=Y?-b1X?斜率b1=Σ(Xi-X?)(Yi-Y?)/Σ(Xi-X?)2使用主成分作為自變量進(jìn)行回歸分析，即可得到主成分回歸模型的系數(shù)。多重共線性問(wèn)題的處理1特征值特征值過(guò)小，可能導(dǎo)致共線性。2容差容差值越小，共線性越嚴(yán)重。3方差膨脹因子方差膨脹因子越大，共線性越嚴(yán)重。4逐步回歸逐步回歸法，消除共線性因素。模型的評(píng)價(jià)指標(biāo)指標(biāo)解釋R平方模型擬合程度，值越大越好調(diào)整后的R平方考慮自變量個(gè)數(shù)，避免過(guò)擬合，值越大越好F統(tǒng)計(jì)量檢驗(yàn)?zāi)Ｐ偷娘@著性，值越大越好p值檢驗(yàn)?zāi)Ｐ偷娘@著性，值越小越好均方誤差（MSE）預(yù)測(cè)值與實(shí)際值之間的平均誤差，值越小越好均方根誤差（RMSE）MSE的平方根，值越小越好平均絕對(duì)誤差（MAE）預(yù)測(cè)值與實(shí)際值之間的平均絕對(duì)誤差，值越小越好主成分回歸的優(yōu)缺點(diǎn)優(yōu)點(diǎn)減少多重共線性，提高模型穩(wěn)定性。降低模型復(fù)雜度，解釋性更強(qiáng)。缺點(diǎn)解釋性不如普通回歸，可能難以理解主成分含義。對(duì)數(shù)據(jù)分布敏感，數(shù)據(jù)預(yù)處理至關(guān)重要。主成分回歸在預(yù)測(cè)中的應(yīng)用預(yù)測(cè)銷售利用歷史數(shù)據(jù)預(yù)測(cè)未來(lái)銷售額，幫助企業(yè)制定營(yíng)銷策略。預(yù)測(cè)風(fēng)險(xiǎn)評(píng)估投資組合的風(fēng)險(xiǎn)，幫助投資者做出明智的決策。預(yù)測(cè)市場(chǎng)趨勢(shì)分析市場(chǎng)數(shù)據(jù)，預(yù)測(cè)未來(lái)市場(chǎng)走勢(shì)，幫助企業(yè)制定戰(zhàn)略。案例分析1：銷量預(yù)測(cè)1產(chǎn)品銷量數(shù)據(jù)收集過(guò)去一段時(shí)間的產(chǎn)品銷售數(shù)據(jù)，包括銷量、價(jià)格、促銷活動(dòng)等信息。2影響因素分析分析影響產(chǎn)品銷量的關(guān)鍵因素，例如季節(jié)性、競(jìng)爭(zhēng)對(duì)手、廣告投入等。3建立模型使用主成分回歸模型，結(jié)合主成分分析和多元線性回歸，建立銷量預(yù)測(cè)模型。數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗去除缺失值、異常值和重復(fù)數(shù)據(jù)，確保數(shù)據(jù)的完整性和準(zhǔn)確性。數(shù)據(jù)轉(zhuǎn)換將數(shù)據(jù)轉(zhuǎn)換成適合模型訓(xùn)練的格式，例如對(duì)數(shù)值型數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化或歸一化。特征工程根據(jù)業(yè)務(wù)需求選擇合適的特征，并對(duì)特征進(jìn)行處理，例如降維、特征組合。相關(guān)性分析通過(guò)計(jì)算各變量之間的相關(guān)系數(shù)矩陣，可以了解各變量之間的線性關(guān)系強(qiáng)弱。相關(guān)系數(shù)的絕對(duì)值越大，表示兩個(gè)變量之間的線性關(guān)系越強(qiáng)；相關(guān)系數(shù)為正表示正相關(guān)，負(fù)表示負(fù)相關(guān)，0表示無(wú)相關(guān)。相關(guān)性分析可以幫助我們識(shí)別哪些變量對(duì)目標(biāo)變量的影響較大，為后續(xù)的主成分提取和回歸建模提供參考。主成分提取1計(jì)算特征值和特征向量通過(guò)對(duì)樣本相關(guān)系數(shù)矩陣進(jìn)行特征值分解2確定主成分個(gè)數(shù)根據(jù)特征值的大小和累計(jì)貢獻(xiàn)率3計(jì)算主成分得分將原始數(shù)據(jù)投影到主成分空間主成分提取是主成分回歸分析的關(guān)鍵步驟。它通過(guò)降維將多個(gè)變量的信息壓縮到少數(shù)幾個(gè)主成分中，從而減少模型復(fù)雜度并提高模型穩(wěn)定性。主成分回歸建模1模型選擇根據(jù)模型評(píng)價(jià)指標(biāo)選擇最佳模型2回歸分析利用選取的主成分建立回歸模型3參數(shù)估計(jì)估計(jì)回歸模型的參數(shù)4模型檢驗(yàn)檢驗(yàn)?zāi)Ｐ偷臄M合度和預(yù)測(cè)能力主成分回歸建模的關(guān)鍵在于選擇合適的模型，并根據(jù)模型的評(píng)價(jià)指標(biāo)對(duì)其進(jìn)行檢驗(yàn)和改進(jìn)。在模型建立過(guò)程中需要考慮模型的擬合度、預(yù)測(cè)能力以及解釋性等因素。模型評(píng)價(jià)模型評(píng)價(jià)指標(biāo)用于評(píng)估主成分回歸模型的擬合優(yōu)度和預(yù)測(cè)能力。常用的指標(biāo)包括R平方值、調(diào)整后的R平方值、均方根誤差（RMSE）和預(yù)測(cè)誤差率等。R平方值表示模型解釋因變量方差的比例，越大越好。調(diào)整后的R平方值考慮了模型中自變量的個(gè)數(shù)，可以更準(zhǔn)確地反映模型的擬合優(yōu)度。通過(guò)這些指標(biāo)，我們可以評(píng)估模型的預(yù)測(cè)精度和可靠性，并根據(jù)結(jié)果進(jìn)行模型優(yōu)化。預(yù)測(cè)結(jié)果根據(jù)模型預(yù)測(cè)，未來(lái)6個(gè)月的銷量呈現(xiàn)增長(zhǎng)趨勢(shì)，預(yù)計(jì)6月份銷量將達(dá)到17000。案例分析2：消費(fèi)者滿意度分析1數(shù)據(jù)收集調(diào)查問(wèn)卷收集消費(fèi)者對(duì)產(chǎn)品或服務(wù)的滿意度數(shù)據(jù)，包括價(jià)格、質(zhì)量、服務(wù)、品牌等方面。2數(shù)據(jù)預(yù)處理對(duì)收集到的數(shù)據(jù)進(jìn)行清洗、整理和轉(zhuǎn)換，例如刪除重復(fù)數(shù)據(jù)、處理缺失值、對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化或歸一化。3相關(guān)性分析對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行相關(guān)性分析，了解各指標(biāo)之間的相關(guān)關(guān)系，為下一步主成分提取提供依據(jù)。數(shù)據(jù)預(yù)處理缺失值處理首先需要處理數(shù)據(jù)集中存在的缺失值。常用的方法包括刪除缺失值樣本、用平均值或中位數(shù)填充缺失值、使用預(yù)測(cè)模型填充缺失值等。異常值處理異常值是指與其他數(shù)據(jù)點(diǎn)明顯不同的數(shù)據(jù)，這些異常值會(huì)影響模型的訓(xùn)練效果。常用的方法包括刪除異常值、對(duì)異常值進(jìn)行修正或使用魯棒性較強(qiáng)的模型。數(shù)據(jù)標(biāo)準(zhǔn)化將不同變量的值縮放到同一尺度，例如將所有變量都縮放到0-1之間，可以提高模型訓(xùn)練效率和穩(wěn)定性。數(shù)據(jù)轉(zhuǎn)換根據(jù)數(shù)據(jù)的分布情況，可以對(duì)數(shù)據(jù)進(jìn)行一些轉(zhuǎn)換，例如對(duì)數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換、平方根轉(zhuǎn)換等，可以使數(shù)據(jù)更符合模型的假設(shè)條件。相關(guān)性分析指標(biāo)之間是否存在顯著的相關(guān)性，這影響主成分分析的有效性通過(guò)計(jì)算指標(biāo)之間的相關(guān)系數(shù)矩陣，可以直觀地觀察指標(biāo)之間的相關(guān)關(guān)系相關(guān)系數(shù)矩陣中，接近1的值表示強(qiáng)正相關(guān)接近-1的值表示強(qiáng)負(fù)相關(guān)相關(guān)系數(shù)接近0表示指標(biāo)之間幾乎不相關(guān)相關(guān)性分析是主成分分析的重要步驟，可以幫助確定哪些指標(biāo)需要進(jìn)行主成分分析主成分提取1特征值和特征向量計(jì)算樣本相關(guān)系數(shù)矩陣的特征值和特征向量，并按特征值大小排序。2主成分系數(shù)將排序后的特征向量作為主成分系數(shù)，并選取對(duì)應(yīng)的前幾個(gè)特征向量。3主成分將原始數(shù)據(jù)與主成分系數(shù)相乘，得到主成分，即反映原始數(shù)據(jù)主要信息的綜合指標(biāo)。主成分回歸建模1模型選擇選擇合適的回歸模型，如線性回歸、邏輯回歸等。2參數(shù)估計(jì)使用主成分作為自變量，估計(jì)回歸模型參數(shù)。3模型驗(yàn)證利用訓(xùn)練數(shù)據(jù)評(píng)估模型的性能，進(jìn)行模型調(diào)整。主成分回歸建模的目的是利用主成分作為自變量，建立回歸模型，預(yù)測(cè)因變量。模型評(píng)價(jià)對(duì)主成分回歸模型進(jìn)行評(píng)估，確定模型的預(yù)測(cè)能力和可靠性。0.95R2模型解釋變量的比例。0.05RMSE模型預(yù)測(cè)誤差的大小。