《假設(shè)檢驗基礎(chǔ)》課件2

假設(shè)檢驗基礎(chǔ)假設(shè)檢驗是統(tǒng)計學(xué)中用于檢驗關(guān)于總體參數(shù)的假設(shè)是否成立的一種方法。它在數(shù)據(jù)分析、決策制定和科學(xué)研究中發(fā)揮著至關(guān)重要的作用。課程導(dǎo)入數(shù)據(jù)分析的應(yīng)用數(shù)據(jù)分析在各行各業(yè)都有廣泛的應(yīng)用，如市場營銷、金融、醫(yī)療等。假設(shè)檢驗的應(yīng)用假設(shè)檢驗是數(shù)據(jù)分析中常用的方法，用于驗證假設(shè)或推斷結(jié)論。統(tǒng)計學(xué)在數(shù)據(jù)分析中的作用統(tǒng)計學(xué)為數(shù)據(jù)分析提供了理論基礎(chǔ)和方法論支撐。隨機變量和概率分布隨機變量隨機變量是指其值由隨機事件決定的變量，可以是離散的或連續(xù)的。概率分布概率分布描述了隨機變量取值的概率，常見類型包括正態(tài)分布、泊松分布等。分布類型不同類型的概率分布適用于不同的隨機現(xiàn)象，例如二項分布適用于獨立重復(fù)試驗。隨機樣本定義隨機樣本是指從總體中隨機抽取的一部分個體，這些個體代表總體，可以用于推斷總體特征。隨機性每個個體被選中的概率是相等的，確保樣本能夠反映總體的真實情況。代表性隨機樣本應(yīng)具有代表性，能夠真實反映總體的特征，避免樣本偏差導(dǎo)致推斷錯誤。樣本量樣本量的大小決定了樣本代表性的程度，樣本量越大，樣本代表性越強。參數(shù)估計估計量的定義參數(shù)估計是指利用樣本數(shù)據(jù)對總體參數(shù)進行推斷的過程。根據(jù)樣本統(tǒng)計量構(gòu)造的用來估計總體參數(shù)的統(tǒng)計量稱為估計量。例如，利用樣本均值估計總體均值，利用樣本方差估計總體方差。估計量的性質(zhì)估計量的性質(zhì)決定了估計量的優(yōu)劣，主要包括無偏性、有效性、一致性。無偏性指估計量的期望等于被估計的參數(shù)，有效性指估計量方差最小，一致性指估計量隨著樣本量增加越來越接近被估計的參數(shù)。點估計和區(qū)間估計點估計點估計使用樣本數(shù)據(jù)估計總體參數(shù)的單個值。區(qū)間估計區(qū)間估計提供總體參數(shù)的可能取值范圍，并給出置信水平。置信水平置信水平表示區(qū)間估計包含總體參數(shù)真實值的概率。統(tǒng)計假設(shè)1定義統(tǒng)計假設(shè)是關(guān)于總體參數(shù)的陳述，它可以被數(shù)據(jù)檢驗。2零假設(shè)零假設(shè)是我們要檢驗的假設(shè)，它通常是“沒有差異”或“沒有關(guān)系”。3備擇假設(shè)備擇假設(shè)是與零假設(shè)相反的假設(shè)，它通常是“有差異”或“有關(guān)系”。4檢驗我們使用樣本數(shù)據(jù)來檢驗零假設(shè)，并根據(jù)結(jié)果做出決定是否拒絕零假設(shè)。單個總體參數(shù)的檢驗1構(gòu)建假設(shè)定義原假設(shè)和備擇假設(shè)2選擇檢驗統(tǒng)計量根據(jù)數(shù)據(jù)類型和假設(shè)選擇合適的檢驗統(tǒng)計量3確定拒絕域基于顯著性水平和檢驗統(tǒng)計量的分布確定拒絕域4計算檢驗統(tǒng)計量使用樣本數(shù)據(jù)計算檢驗統(tǒng)計量的值單個總體參數(shù)的檢驗旨在檢驗關(guān)于總體參數(shù)的假設(shè)是否成立。正態(tài)總體均值的檢驗1假設(shè)檢驗檢驗假設(shè)是否成立2設(shè)定原假設(shè)關(guān)于總體均值的假設(shè)3計算檢驗統(tǒng)計量基于樣本數(shù)據(jù)的統(tǒng)計量4確定拒絕域拒絕原假設(shè)的臨界值5得出結(jié)論拒絕或不拒絕原假設(shè)正態(tài)總體均值的檢驗是假設(shè)檢驗中常見的應(yīng)用場景。該檢驗用于判斷樣本均值是否支持關(guān)于總體均值的預(yù)設(shè)假設(shè)，通常使用t檢驗。檢驗過程主要包括：設(shè)定原假設(shè)、計算檢驗統(tǒng)計量、確定拒絕域和得出結(jié)論。通過比較檢驗統(tǒng)計量與臨界值，可以判斷是否拒絕原假設(shè)，進而得出結(jié)論。正態(tài)總體方差的檢驗1假設(shè)檢驗檢驗正態(tài)總體方差是否等于某一特定值。2檢驗統(tǒng)計量使用卡方分布進行檢驗。3決策規(guī)則根據(jù)卡方檢驗的p值和顯著性水平做出決策。雙總體參數(shù)的檢驗1均值檢驗比較兩個總體均值是否相等2方差檢驗比較兩個總體方差是否相等3比例檢驗比較兩個總體比例是否相等雙總體參數(shù)檢驗用于比較兩個總體參數(shù)之間是否存在顯著差異。例如，我們可以使用雙總體均值檢驗來比較兩種不同藥物對患者療效的差異。配對設(shè)計的檢驗1配對數(shù)據(jù)分析在配對設(shè)計中，每個樣本中的觀察值都與另一個樣本中的觀察值相配。這允許我們分析兩個樣本之間的差異，同時控制其他因素的影響。2差異的檢驗檢驗配對數(shù)據(jù)，我們通常關(guān)注的是兩個樣本之間差異的顯著性。我們可以使用配對樣本t檢驗來檢驗差異的顯著性。3應(yīng)用場景配對設(shè)計常用于比較兩種治療方法的療效、比較同一組個體在不同時間點的測量結(jié)果，以及比較兩種測量方法的準確性。方差分析基礎(chǔ)概念方差分析(ANOVA)是一種統(tǒng)計方法，用于比較多個組的均值。原理基于數(shù)據(jù)的總方差可以分解為不同來源的方差之和，從而進行組間差異的檢驗。應(yīng)用應(yīng)用廣泛，可用于比較不同治療方法的效果，不同產(chǎn)品質(zhì)量的差異等。ANOVA單因素模型模型概述單因素方差分析（ANOVA）用于比較兩組或多組樣本的均值，以確定組間均值是否存在顯著差異。假設(shè)檢驗通過F檢驗，檢驗組間方差之比是否顯著大于組內(nèi)方差之比，判斷組間均值是否有差異。應(yīng)用場景適用于比較不同處理、不同方法或不同組別對某一指標(biāo)的影響。模型構(gòu)建模型包含組間效應(yīng)、組內(nèi)效應(yīng)和誤差項，用以解釋數(shù)據(jù)中不同變異來源。ANOVA雙因素模型1因素交互作用檢驗不同因素水平組合對響應(yīng)變量的影響2因素主效應(yīng)檢驗單個因素不同水平對響應(yīng)變量的影響3基本模型建立雙因素模型，解釋因素對響應(yīng)變量的影響雙因素模型分析兩個因素對響應(yīng)變量的影響，并檢驗因素之間是否有交互作用。該模型可以用于分析不同因素水平組合對結(jié)果的影響，并幫助我們更好地理解因素之間的關(guān)系。線性回歸模型建立模型通過分析自變量和因變量之間關(guān)系，構(gòu)建線性回歸模型。模型中包含回歸系數(shù)和截距。模型擬合使用最小二乘法擬合回歸模型，計算出回歸系數(shù)和截距的最佳值。模型評估評估模型擬合優(yōu)度，使用R平方值、F檢驗等統(tǒng)計指標(biāo)，檢驗?zāi)Ｐ褪欠裼行?。模型預(yù)測使用訓(xùn)練好的模型，對新的數(shù)據(jù)進行預(yù)測，得到新的數(shù)據(jù)對應(yīng)的因變量值。殘差分析殘差圖殘差圖用于檢查模型的線性假設(shè)和方差齊性。正態(tài)性檢驗殘差應(yīng)服從正態(tài)分布，可以使用Q-Q圖或Shapiro-Wilk檢驗。獨立性檢驗殘差之間應(yīng)相互獨立，可以使用Durbin-Watson檢驗。個體預(yù)測區(qū)間1預(yù)測值利用回歸模型進行預(yù)測2預(yù)測區(qū)間預(yù)測值圍繞的范圍3置信水平預(yù)測區(qū)間準確性的度量個體預(yù)測區(qū)間是用來估計單個觀測值在給定自變量值下的預(yù)測值的范圍。它反映了預(yù)測值的不確定性。個體預(yù)測區(qū)間考慮了回歸模型本身的誤差以及隨機誤差的影響。置信水平則表示預(yù)測區(qū)間包含真實值的概率。參數(shù)的區(qū)間估計1確定置信水平通常為95%或99%2計算樣本統(tǒng)計量例如樣本均值、樣本方差3查閱臨界值根據(jù)置信水平和樣本大小4計算置信區(qū)間樣本統(tǒng)計量±臨界值×標(biāo)準誤區(qū)間估計的目標(biāo)是根據(jù)樣本數(shù)據(jù)估計總體參數(shù)的范圍。置信區(qū)間是一個隨機區(qū)間，它有95%的概率包含總體參數(shù)的真實值。置信水平越高，置信區(qū)間越寬，反之亦然。總體均值的區(qū)間估計1樣本均值根據(jù)樣本數(shù)據(jù)計算樣本均值，作為總體均值的估計值。2置信水平確定置信水平，例如95%，表示95%的置信度估計區(qū)間包含總體均值。3標(biāo)準誤計算樣本均值的標(biāo)準誤，反映樣本均值圍繞總體均值的波動程度。4臨界值根據(jù)置信水平和樣本大小，查表得到相應(yīng)的臨界值，用于構(gòu)建置信區(qū)間。5置信區(qū)間根據(jù)樣本均值、標(biāo)準誤和臨界值，計算置信區(qū)間，即總體均值可能存在的范圍?？傮w方差的區(qū)間估計1樣本方差利用樣本方差估計總體方差。2置信水平確定所需的置信水平。3自由度根據(jù)樣本大小計算自由度。4置信區(qū)間利用公式計算總體方差的置信區(qū)間?？傮w方差的置信區(qū)間反映了總體方差的可能取值范圍，置信水平越高，置信區(qū)間越寬?？傮w比例的區(qū)間估計定義總體比例是指總體中具有某一特征的個體所占的比例，通常用字母p表示。置信區(qū)間總體比例的置信區(qū)間是指在一定置信水平下，總體比例的估計值所在的范圍。計算公式總體比例的置信區(qū)間可以通過樣本比例和置信水平來計算，通常采用正態(tài)近似法或二項分布法。應(yīng)用場景總體比例的置信區(qū)間在許多領(lǐng)域都有廣泛的應(yīng)用，例如市場調(diào)查、民意調(diào)查、質(zhì)量控制等。秩檢驗非參數(shù)檢驗方法秩檢驗是一種非參數(shù)檢驗方法，不依賴于數(shù)據(jù)分布的假設(shè)，適用于數(shù)據(jù)不服從正態(tài)分布或數(shù)據(jù)尺度為等級資料的情況。比較樣本秩秩檢驗主要通過比較樣本數(shù)據(jù)的秩來判斷總體之間的差異或相關(guān)性，適用于樣本量較小或數(shù)據(jù)分布不確定。廣泛應(yīng)用秩檢驗在醫(yī)學(xué)、心理學(xué)、社會學(xué)、經(jīng)濟學(xué)等領(lǐng)域應(yīng)用廣泛，可用于比較不同治療方案、分析不同群體特征等。易于理解和實施秩檢驗相對容易理解和實施，不需要復(fù)雜的統(tǒng)計軟件，可使用手工計算或簡單的統(tǒng)計軟件進行分析?？ǚ綑z驗擬合優(yōu)度檢驗檢驗觀測頻率與理論頻率是否相符獨立性檢驗檢驗兩個或多個分類變量之間是否相互獨立同質(zhì)性檢驗檢驗不同總體中類別變量的分布是否相同假設(shè)檢驗根據(jù)樣本數(shù)據(jù)推斷總體特征大樣本檢驗大樣本檢驗的定義當(dāng)樣本容量足夠大時，可以使用大樣本檢驗方法。當(dāng)樣本容量大于30時，可以認為樣本容量足夠大。大樣本檢驗的特點大樣本檢驗方法的優(yōu)點是，即使總體分布未知，也能得到準確的檢驗結(jié)果。缺點是，可能需要較大的樣本容量才能保證檢驗的精度。多重比較調(diào)整多重比較問題多重比較是指在同一組數(shù)據(jù)中進行多次比較，可能會導(dǎo)致錯誤累積。調(diào)整方法常用的調(diào)整方法包括Bonferroni校正、Tukey校正、Scheffé校正等。顯著性水平調(diào)整后，每個比較的顯著性水平會降低，以控制整體錯誤率。模型評價和選擇模型評價指標(biāo)模型評價指標(biāo)用于衡量模型的性能，如準確率、精確率、召回率和F1值。評估指標(biāo)的選擇取決于具體問題和目標(biāo)。模型選擇方法交叉驗證可用于選擇最佳模型參數(shù)，并避免過擬合。比較不同模型的性能，選擇最優(yōu)模型，滿足實際應(yīng)用需求。非參數(shù)檢驗數(shù)據(jù)分布適用于無法假設(shè)數(shù)據(jù)服從特定分布的情況，例如非正態(tài)分布數(shù)據(jù)。等級數(shù)據(jù)基于數(shù)據(jù)順序的檢驗，適用于無法獲得精確數(shù)值的數(shù)據(jù)。比較兩組數(shù)據(jù)無需假設(shè)數(shù)據(jù)分布，適用于比較兩組數(shù)據(jù)的差異。實際案例分析假設(shè)檢驗在實際應(yīng)用中非常廣泛，例如醫(yī)療領(lǐng)域中藥物有效性評估，金融領(lǐng)域中投資策略優(yōu)化，以及市場營銷領(lǐng)域中廣告效果分析等。通過真實案例，可以更好地理解假設(shè)檢驗的具體應(yīng)用，并體會其在解決實際問題中的重要作用?？偨Y(jié)與思考假設(shè)檢驗方法理解假設(shè)檢驗的原理和步驟，并能根據(jù)具體問題選擇合適的檢驗方法。數(shù)據(jù)分析能力利用假設(shè)檢驗對數(shù)據(jù)進行分析，得出有意義的結(jié)論，并能夠解釋結(jié)果。