《線性回歸基本假設》課件

線性回歸基本假設線性回歸的基本模型線性回歸的基本模型建立在自變量和因變量之間線性關系的假設之上。模型可表示為：Y=β0+β1X+ε其中：Y表示因變量，X表示自變量，β0表示截距，β1表示斜率，ε表示誤差項?；炯僭O1：線性關系1線性關系定義線性回歸模型假設因變量與自變量之間存在線性關系，即自變量每增加一個單位，因變量的變化量保持一致。2關系可視化可以通過散點圖來觀察因變量和自變量之間的關系是否為線性。3線性關系的重要性線性關系是線性回歸模型的基礎，如果不滿足線性關系，模型將無法準確地預測因變量的值。線性關系的示例例如，假設我們想要研究房屋面積與價格之間的關系，可以收集一定數(shù)量的房屋數(shù)據(jù)，并繪制面積與價格的散點圖。如果散點圖呈現(xiàn)出明顯的線性趨勢，即面積增加，價格也隨之增加，則說明房屋面積與價格之間存在線性關系。基本假設2：隨機性隨機誤差每個觀測值都包含一個隨機誤差項，它反映了未被模型解釋的因素的影響。不可預測性隨機誤差項是不可預測的，它可能呈現(xiàn)出正值或負值，且其分布通常是隨機的。隨機性的理解1誤差項線性回歸模型中，誤差項表示實際值與預測值之間的差異2隨機性誤差項被假設為隨機變量，遵循一定的概率分布3獨立性每個誤差項之間相互獨立，不互相影響基本假設3：同方差性同方差性所有自變量取值下，因變量的方差都相等。異方差性不同自變量取值下，因變量的方差不同。同方差性的含義同方差性是指在不同的自變量取值下，誤差項的方差保持一致。直觀地理解，就是數(shù)據(jù)點在回歸直線周圍的散布程度相同?；炯僭O4：獨立性殘差之間相互獨立。任何一個殘差的值不影響其他殘差的值。確保數(shù)據(jù)樣本之間不存在相關性。獨立性的解釋1無關聯(lián)性每個數(shù)據(jù)點都是獨立的，不受其他數(shù)據(jù)點的影響。2隨機誤差誤差項之間相互獨立，沒有系統(tǒng)性偏差。基本假設5：正態(tài)分布誤差項線性回歸模型中，每個樣本的真實值與預測值之間存在的差異稱為誤差項，這些誤差項服從正態(tài)分布.對稱分布正態(tài)分布以均值為中心，向左右兩側對稱展開，這意味著誤差項偏離均值的可能性在正負方向上是相同的.統(tǒng)計分析正態(tài)分布假設為我們提供了許多統(tǒng)計工具，例如t檢驗和F檢驗，以便進行假設檢驗和模型評價.正態(tài)分布的特點對稱性正態(tài)分布曲線關于其均值對稱，左右兩側形狀完全相同。標準差標準差決定曲線形狀的寬度，標準差越大，曲線越平緩。均值均值代表分布的中心位置，大多數(shù)數(shù)據(jù)集中在均值附近。假設檢驗檢驗線性回歸模型的基本假設是否成立。確保模型的可靠性和有效性。通過統(tǒng)計檢驗方法評估假設的合理性。t檢驗和F檢驗t檢驗用于比較兩個樣本的均值是否相同。F檢驗用于比較兩個樣本的方差是否相同。檢驗線性關系1散點圖觀察數(shù)據(jù)點分布趨勢2相關系數(shù)衡量變量間線性關系強度3顯著性檢驗檢驗線性關系是否顯著檢驗方差同質性方差分析檢驗不同樣本的方差是否相等Levene檢驗比較樣本方差的差異Bartlett檢驗對數(shù)據(jù)進行正態(tài)分布假設檢驗殘差獨立性1杜賓-沃森檢驗檢測殘差序列是否存在自相關性2偏自相關函數(shù)觀察殘差序列的偏自相關系數(shù)3時序圖觀察殘差序列是否存在明顯的趨勢或周期性檢驗正態(tài)性1直方圖觀察殘差的直方圖是否接近正態(tài)分布的鐘形曲線。2Q-Q圖將殘差與標準正態(tài)分布的理論分位數(shù)進行比較。3Shapiro-Wilk檢驗檢驗殘差是否來自正態(tài)分布。診斷線性回歸模型模型評估評估模型的性能和準確性。異常值識別識別可能影響模型擬合的數(shù)據(jù)點。共線性診斷檢查自變量之間是否存在多重共線性問題。殘差分析的意義殘差分析是線性回歸模型診斷的重要工具，通過觀察殘差的分布和趨勢，可以幫助我們判斷模型是否滿足基本假設，以及是否存在其他問題。如果殘差符合預期，說明模型擬合良好，反之則說明模型可能存在問題，需要進一步改進。異常點識別定義異常點是指數(shù)據(jù)集中與其他數(shù)據(jù)點顯著不同的觀測值。影響異常點會對線性回歸模型的估計造成負面影響，導致模型偏差和誤差增大。識別方法可以通過可視化方法，如殘差圖，或統(tǒng)計方法，如箱線圖，來識別異常點。共線性診斷多重共線性當兩個或多個自變量之間存在高度相關性時，會導致模型不穩(wěn)定，系數(shù)估計值不準確。識別共線性可以通過相關系數(shù)矩陣、方差膨脹因子（VIF）和特征值分析來識別共線性。解決共線性可以選擇刪除相關性高的自變量，或使用嶺回歸、Lasso回歸等方法來減少共線性。模型診斷總結診斷的重要性模型診斷可以幫助我們了解模型的優(yōu)劣，并找到改進的方向。診斷方法常用的模型診斷方法包括殘差分析、共線性診斷等。解決問題通過模型診斷，我們可以找到模型中的問題并進行修正，提高模型的預測準確性。推導最小二乘估計量1最小二乘法尋找最佳擬合直線，使得所有數(shù)據(jù)點到直線的距離平方和最小。2目標函數(shù)定義殘差平方和(RSS)為目標函數(shù)，表示數(shù)據(jù)點與擬合直線之間的距離平方和。3求導對目標函數(shù)分別求關于截距和斜率的偏導數(shù)，并令其等于零，得到兩個方程。4解方程求解上述兩個方程，得到截距和斜率的估計值，即最小二乘估計量。最小二乘法原理誤差最小化最小二乘法通過最小化預測值與實際值之間的誤差平方和來找到最佳擬合線。平方和誤差平方和用于懲罰較大的誤差，確保模型對異常值不太敏感。最佳擬合該方法找到一條直線，使所有數(shù)據(jù)點到這條直線的距離平方和最小。最小二乘法性質1無偏性在滿足基本假設的情況下，最小二乘估計量是無偏的，即估計量的期望值等于真實值。2有效性最小二乘估計量是所有線性無偏估計量中方差最小的，即最有效的估計量。3一致性當樣本量足夠大時，最小二乘估計量會趨近于真實值，即具有一致性。最小二乘法應用預測和趨勢分析利用歷史數(shù)據(jù)預測未來趨勢，例如股票價格或產品銷量。機器學習作為許多機器學習算法的基礎，用于構建預測模型。數(shù)據(jù)分析分析數(shù)據(jù)之間的關系，識別關鍵因素和影響因素。最小二乘法示例例如，假設我們要預測房價。我們收集了房屋面積和價格數(shù)據(jù)，并使用最小二乘法擬合一個線性回歸模型。我們可以根據(jù)模型預測特定面積房屋的價格。最小二乘法通過找到最佳擬合線，最小化預測值和實際值之間的誤差平方和，從而找到最優(yōu)的模型參數(shù)。本章小結線性回歸模型線性回歸模型假設自變量和因變量之間存在線性關系，并利用最小二