版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
PointsofSignificanceMartinKrzywinskiCanada’sMichaelSmithGenomeSciencesCentreNaomiAltmanPennsylvaniaStateUniversityNatureMethodsPointsofSignificance1引言Statisticsdoesnottelluswhetherweareright.Ittells
usthechancesofbeingwrong.統(tǒng)計(jì)不會(huì)告訴我們哪對(duì)哪錯(cuò),但是它會(huì)告訴我們犯錯(cuò)的幾率。
每次重復(fù)試驗(yàn)不會(huì)得到相同的結(jié)果,只是在一定范圍內(nèi)波動(dòng),這是由于生物的變異性和測(cè)量設(shè)備的精度限制的原因,但如果每次測(cè)出來的結(jié)果都不同,如何確定測(cè)量與假設(shè)相符的?“科學(xué)的最大悲劇是:用丑陋的事實(shí)扼殺了美麗的假說?!保ㄓ飳W(xué)家T.H.Huxley),這句話中的“丑陋”,怎樣來測(cè)量?
2統(tǒng)計(jì)能夠回答上述問題,它是一種能從定量上描述不確定性的規(guī)律方法,并且數(shù)據(jù)是用含有誤差的估計(jì)來表示的,而不是精確的測(cè)量。其理論框架是結(jié)合實(shí)驗(yàn)結(jié)果的不確定性和給觀測(cè)值的推廣附上置信水平。統(tǒng)計(jì)方法-生物統(tǒng)計(jì)學(xué)講義課件3很多概念能夠從直觀上理解,但也有例外,“三門”問題MontyHallproblem:參賽者可以在三扇門當(dāng)中選擇一扇,其中三扇門中只有一扇門后有汽車,其它兩扇門為山羊,當(dāng)參賽者選擇一扇門后,主持人會(huì)打開兩外兩扇門中有山羊的門,并問參賽者是否改變主意。問題是:參賽者換門是否會(huì)增加他得獎(jiǎng)的幾率?看法一:不換門與換門而中獎(jiǎng)的概率為1/2看法二:換門得將的概率為2/3參賽者可以在三扇門當(dāng)中選擇一扇,其中三扇門中只有一扇門后有41.Importanceofbeing
uncertain統(tǒng)計(jì)分類:描述性統(tǒng)計(jì)和推斷型統(tǒng)計(jì)
描述性統(tǒng)計(jì):用一些樣本特征如:均值和標(biāo)準(zhǔn)等描述數(shù)據(jù)推斷型統(tǒng)計(jì):用觀測(cè)到的數(shù)據(jù)來詳盡的概括真實(shí)世界。兩者都是由抽樣和估計(jì)為基礎(chǔ),抽樣是收集數(shù)據(jù)的過程,估計(jì)是把隨機(jī)的東西定量化的過程。Pointsofsignificance專欄有助于在工作中超越直覺上對(duì)統(tǒng)計(jì)的理解。目的是解決醫(yī)學(xué)期刊中大概一半的文章對(duì)統(tǒng)計(jì)的誤用。1.Importanceofbeinguncerta5Fig1a一個(gè)實(shí)驗(yàn)變量的所有可能值的頻率直方圖,稱為總體分布。通常想推斷總體的均值和標(biāo)準(zhǔn)差(1)抽樣過程Fig1a一個(gè)實(shí)驗(yàn)變量的所有可能值的頻率直方圖,稱為總體分6Fig1b.總體分布有兩個(gè)特征參數(shù)均值μ和標(biāo)準(zhǔn)差σ,分別刻畫總體的位置和形狀。(1)抽樣過程Fig1b.總體分布有兩個(gè)特征參數(shù)均值μ和標(biāo)準(zhǔn)差σ,分別刻畫7平均值會(huì)受到奇異值的影響。而中位數(shù)相對(duì)來說是總體位置參數(shù)的更穩(wěn)定估計(jì),更適合于偏態(tài)分布或者不規(guī)則形狀的數(shù)據(jù)。而標(biāo)準(zhǔn)差σ刻畫的是數(shù)據(jù)的分散程度,在直觀上不是很好理解,“3σ原則”有助于理解它的作用。如:對(duì)正態(tài)分布,有平均值會(huì)受到奇異值的影響。而中位數(shù)相對(duì)來說是總體位置參數(shù)的更8(2)通過抽樣估計(jì)總體的均值μ及標(biāo)準(zhǔn)差σ由于各種原因的限制,總體的均值μ和標(biāo)準(zhǔn)差σ不能直接觀測(cè)到。最好的方法是用抽樣所得的數(shù)據(jù)進(jìn)行估計(jì)。(2)通過抽樣估計(jì)總體的均值μ及標(biāo)準(zhǔn)差σ由于各種原因的限制,9Fig2a.總體在0~30之間的頻率直方圖Fig2b.從總體a中抽取的3個(gè)樣本Fig2C.所有樣本容量為5的樣本均值的直方圖,樣本均值的分布Fig2a.總體在0~30之間的頻率直方圖Fig2b.從10樣本必須是總體的代表,這就需要的樣本是“簡(jiǎn)單隨機(jī)樣本”。一般,樣本不同于總體,除非樣本量n足夠大。在抽樣過程中,樣本是否發(fā)生偏離,不總是那么顯而易見的。如:?jiǎn)柧碚{(diào)查的樣本是那些愿意參與調(diào)查的人得到的,但是那些拒絕參與調(diào)查的人的信息你是得不到的,但這兩組可能有著顯著的不同。樣本必須是總體的代表,這就需要的樣本是“簡(jiǎn)單隨機(jī)樣本”。11Fig2C,樣本均值也有分布,其均值和標(biāo)準(zhǔn)差為像總體一樣,抽樣分布也是不能直接測(cè)出來的,因?yàn)槲覀儾⒉豢赡艿玫剿锌赡軜颖?。注意到,樣本均值的分布Fig.2c與Fig.2a有著顯著的不同,但是均值的分布與總體分布是相關(guān)的,這個(gè)關(guān)系由中心極限定理給出:隨著n的增加,樣本均值的分布逐漸接近于正態(tài)分布,無論總體的分布是什么形狀的。是容易迷惑為樣本均值的標(biāo)準(zhǔn)差,σ是總體的標(biāo)準(zhǔn)差,n越大,越?。ū硎驹浇咏郸蹋?,而σ不變。Fig2C,樣本均值也有分布,其均值和標(biāo)準(zhǔn)差為是容易迷惑12不同總體分布的中心極限定理不同分布的總體下的樣本均值的分布隨著n的增加近似服從正態(tài)分布。不同總體分布的中心極限定理不同分布的總體下的樣本均值的分布隨13雖然樣本均值可以作為總體均值的估計(jì),但是仍有可能某個(gè)樣本均值落在總體均值很遠(yuǎn)的地方,特別是對(duì)于那些很小的n。如:從不規(guī)則總體中抽取了n=3的樣本10000個(gè),做了10次迭代,樣本均值落在μ±σ之外的比例從7.6%到8.6%.
當(dāng)樣本容量很小時(shí),解釋均值的結(jié)果務(wù)必要小心。雖然樣本均值可以作為總體均值的估計(jì),但是仍有可能某個(gè)樣本14要記住一點(diǎn),測(cè)量出來的結(jié)果都是估計(jì),你不應(yīng)當(dāng)把他當(dāng)成精確和最終的結(jié)果。大量存在的不確定性都會(huì)確保每次的樣本都不一樣??傮w均值的估計(jì)精度的提高速度慢于數(shù)據(jù)收集的速度,這是因?yàn)榇嬖谝粋€(gè)比例因子。精度提高2倍,數(shù)據(jù)量提高4倍多。要記住一點(diǎn),測(cè)量出來的結(jié)果都是估計(jì),你不應(yīng)當(dāng)把他當(dāng)成15樣本都是來自Fig2a的總體,隨著n的增加,標(biāo)準(zhǔn)誤差(s.e.m.)是樣本均值的標(biāo)準(zhǔn)差的估計(jì)。樣本都是來自Fig2a的總體,隨著n的增加,標(biāo)準(zhǔn)誤差(s.e162.Errorbars(誤差線)估計(jì)的不確定性通常由誤差線來表示。誤差線的類型:(1)標(biāo)準(zhǔn)差s.d.:反映的數(shù)據(jù)的變異度(離散程度)(2)標(biāo)準(zhǔn)誤s.e.m.:反映測(cè)量的精度,是的估計(jì),或者說是用樣本均值估計(jì)總體均值的精度的度量(3)95%置信區(qū)間(95%CI)Themeaningoferrorbarsisoftenmisinterpreted,asisthestatisticalsignificanceoftheiroverlap.誤差線的意義常常被誤讀,就像有重疊的統(tǒng)計(jì)顯著性一樣。在科學(xué)出版物種常用誤差線表示隨機(jī)性,但是常常被誤讀。2.Errorbars(誤差線)估計(jì)的不確定性通常由誤差172.Errorbars(誤差線)Fig.1a,三種不同類型的誤差線,表面上一樣,但是反映的意義不一樣,兩者均值的檢驗(yàn)顯著性有差異,本質(zhì)是標(biāo)準(zhǔn)差不一樣。Fig.1b,顯著性相同,即s.d.是一樣的,但是誤差線出現(xiàn)重疊和有間隙的情形。一般而言,有間隙不一定有差異,重疊就無差異。2.Errorbars(誤差線)Fig.1a,三種不同類18模擬和計(jì)算Fig.1a,相同長度為0.5,針對(duì)3種條件,可分別計(jì)算其p值(1)s.d.=0.5,可得|t0|=4.472136,其檢驗(yàn)的p值為(2)s.d.m.=0.5,即sd=0.5*sqrt(10)可得|t0|==1.414214,其檢驗(yàn)的p值為模擬和計(jì)算Fig.1a,相同長度為0.5,針對(duì)3種條件,可分19通過類似的計(jì)算可以得到如圖Fig.1b上的長度數(shù)據(jù)Fig.1a,(3)95%CI=0.5,即,可得s.d.=0.6989518其檢驗(yàn)的p值為Sd=1.06,s.e.m.=0.335,length(CI)=0.758通過類似的計(jì)算可以得到如圖Fig.1b上的長度數(shù)據(jù)Fig.1202.Errorbars(誤差線)避免三者的誤用:弄清楚誤差線所表達(dá)的對(duì)隨機(jī)度量的含義。Only1figure95%CI2012NatureMethods,在所有平面圖中有2/3使用了誤差線s.d.45%VSs.e.m.49%5%notspecified置信區(qū)間是對(duì)不確定性的直觀的度量,常用于醫(yī)學(xué)文獻(xiàn)2.Errorbars(誤差線)避免三者的誤用:弄清楚誤21三種誤差線的含義:(1)標(biāo)準(zhǔn)差s.d.誤差線基于標(biāo)準(zhǔn)差的誤差線可以知道總體數(shù)據(jù)的變異度,對(duì)于新樣本值范圍的預(yù)測(cè)是有用的。標(biāo)準(zhǔn)差只是反應(yīng)的是數(shù)據(jù)的變異,不是直觀上的測(cè)量的誤差。來自兩個(gè)不同總體的樣本,其s.d.誤差線可以重疊(2)標(biāo)準(zhǔn)誤s.e.m.誤差線基于標(biāo)準(zhǔn)誤的誤差線反映的是均值的隨機(jī)性,并且依賴于樣本量的大小。抽取樣本越多,其值越小?!叭绻麡?biāo)準(zhǔn)誤差線不重疊,則這兩者之間的差異不顯著“這句話是不對(duì)的。三種誤差線的含義:(1)標(biāo)準(zhǔn)差s.d.誤差線基于標(biāo)準(zhǔn)差的誤差22三種誤差線的含義:(3)置信區(qū)間置信區(qū)間表示的是對(duì)測(cè)量可靠性的一種區(qū)間估計(jì)。置信區(qū)間表示以某種概率(置信水平)能捕獲總體均值的信息。也即,所有這種區(qū)間的95%能夠覆蓋總體均值,如圖Fig2.a三種誤差線的含義:(3)置信區(qū)間置信區(qū)間表示的是對(duì)測(cè)量可靠性23Fig2a,20個(gè)樣本容量為10的95%CI中有兩個(gè)沒有覆蓋總體均值Fig2a,20個(gè)樣本容量為10的95%CI中有兩個(gè)沒有覆蓋24Fig2b,s.e.m.與95%CI的關(guān)系Fig2b,s.e.m.與95%CI的關(guān)系25一個(gè)常見錯(cuò)誤是:把置信區(qū)間理解為一種平均或期望數(shù),總體均值落在此區(qū)間的概率為1-α。錯(cuò)誤的原因是置信區(qū)間的大小和位置是與每次取樣有關(guān)的,出現(xiàn)相同的置信區(qū)間的概率是很小的,所以置信區(qū)間是一種隨機(jī)區(qū)間。平均來說,100次取樣,得到100個(gè)區(qū)間,平均上有95個(gè)區(qū)間能覆蓋總體均值。一個(gè)常見錯(cuò)誤是:把置信區(qū)間理解為一種平均或期望數(shù),26Fig3對(duì)相同的P值,s.e.m.與95%CI誤差線的長度與位置不能用誤差線的相對(duì)位置來判斷其顯著性,如P=0.05,s.e.m有間隙,但95%CI超過50%的重疊;當(dāng)95%CI剛好接觸到,其P值為0.005,有極高的顯著性。Fig3對(duì)相同的P值,s.e.m.與95%CI誤差線的長度27一個(gè)建議:由于誤差線的多樣性,在使用誤差線時(shí),在圖中標(biāo)注出是哪種類型,并對(duì)其進(jìn)行解釋。不能僅從誤差線的直觀上理解來判斷其顯著性。一個(gè)建議:由于誤差線的多樣性,在使用誤差線時(shí),283.Significance,Pvaluesandt-testsThePvaluereportedbytestsisaprobabilisticsignificance,notabiologicalone.許多檢驗(yàn)用P值來作為度量一個(gè)結(jié)果的差異是否由隨機(jī)因素造成的。3.Significance,Pvaluesandt-29統(tǒng)計(jì)檢驗(yàn)的思想Fig1a一個(gè)蛋白表達(dá)水平值x=12,參考值為μ=10,你認(rèn)為它們之間差異是由隨機(jī)性造成的嗎?統(tǒng)計(jì)檢驗(yàn)的思想Fig1a一個(gè)蛋白表達(dá)水平值x=12,參考值30統(tǒng)計(jì)檢驗(yàn)的思想Fig1b假設(shè)樣本取自正態(tài)總體,均值μ=10統(tǒng)計(jì)檢驗(yàn)的目的是用觀測(cè)值定位在這個(gè)分布上去識(shí)別它是否超出了一定范圍。統(tǒng)計(jì)檢驗(yàn)的思想Fig1b假設(shè)樣本取自正態(tài)總體,均值μ=1031統(tǒng)計(jì)檢驗(yàn)的思想Fig1c統(tǒng)計(jì)把這種范圍進(jìn)行了量化,觀測(cè)值x的統(tǒng)計(jì)顯著性,陰影部分的面積,這就是Pvalue。若是單側(cè)的檢驗(yàn),就是dark部分的面積統(tǒng)計(jì)檢驗(yàn)的思想Fig1c統(tǒng)計(jì)把這種范圍進(jìn)行了量化,32統(tǒng)計(jì)檢驗(yàn)的思想P值經(jīng)常誤解為在計(jì)算P值的過程中,假設(shè)H0為真,x是從H0為真的分布下抽取的,P值如果比較小,如小于0.05,只是告訴我們,在這個(gè)假設(shè)下,一個(gè)不大可能發(fā)生的事件出現(xiàn)了,有理由拒絕H0,也就是接受備則的假設(shè),認(rèn)為樣本不是來自均值為μ的總體。
但是統(tǒng)計(jì)顯著性并不表明生物學(xué)的顯著性。假定總體服從均值為μ的正態(tài)分布,為得到其精確的形狀接下來需要對(duì)其標(biāo)準(zhǔn)差進(jìn)行估計(jì)。再獨(dú)立的測(cè)4次,就得到一個(gè)容量為5的樣本,假設(shè)它的平均值為統(tǒng)計(jì)檢驗(yàn)的思想P值經(jīng)常誤解為在計(jì)算P值的過程中,假設(shè)H0為真33Fig2a假設(shè)重復(fù)測(cè)量5次,均值為10.85,標(biāo)準(zhǔn)差sdx=0.96并且假定總體的標(biāo)準(zhǔn)差就是sdx=0.96Fig2a假設(shè)重復(fù)測(cè)量5次,均值為10.85,標(biāo)準(zhǔn)差sdx34Fig2b假設(shè)總體是正態(tài)分布,均值為μ=10,并且假定總體的標(biāo)準(zhǔn)差就是sdx=0.96,s.e.m=Fig2b假設(shè)總體是正態(tài)分布,均值為μ=10,35Fig2c假設(shè)H0是正態(tài)分布,則其樣本均值的抽樣分布也為正態(tài)分布可用(s.e.m.)估計(jì)其sd把標(biāo)在分布圖上,可得到其P值Fig2c假設(shè)H0是正態(tài)分布,則其樣本均值的抽樣分布可用36通過計(jì)算可以構(gòu)造一個(gè)統(tǒng)計(jì)量t的分布形狀與正態(tài)分布非常接近,但與正態(tài)分布不一樣,稱之為Student’st分布.分布形狀上的差異在于,對(duì)大多數(shù)樣本來說,樣本方差S2往往小于總體的方差,或者說是低估了總體的方差,可以證明樣本方差的分布是偏態(tài)分布。(下圖為模擬實(shí)驗(yàn))因?yàn)椴粚?duì)稱性,n越小,得到的樣本方差小于總體方差。也就出現(xiàn)t分布的尾部更高的現(xiàn)象。(Fig3a)通過計(jì)算可以構(gòu)造一個(gè)統(tǒng)計(jì)量t的分布形狀與正態(tài)分布非常接近,但37模擬實(shí)驗(yàn),從N(0,1)中抽取容量為5的樣本,抽取2000次得到的方差的直方圖,易知是偏態(tài)的模擬實(shí)驗(yàn),從N(0,1)中抽取容量為5的樣本,38Fig3a不同的樣本容量下,t分布的密度與正態(tài)分布密度的比較,t分布尾部更高。隨著n的增加,t分布越來越像正態(tài)。n越大,S2越接近于總體方差σ2Fig3a不同的樣本容量下,t分布的密度與正態(tài)分布密度的比39所以,如果不進(jìn)行校正,不用t分布去做,而是用Fig2c中的正態(tài)分布計(jì)算的話,將會(huì)高估他的顯著性。例如:在Fig2b中用樣本量為5的樣本,t值為1.98,得到的p值為0.119.若用正態(tài)分布計(jì)算,得到p值為0.048.若t值不變,增加樣本容量n=50,得到的p值為0.054.結(jié)果就與正態(tài)分布下的P值比較接近了。所以,如果不進(jìn)行校正,不用t分布去做,而是用Fig2c40Fig3b不同的樣本量下,P值與t統(tǒng)計(jì)量值的變化,n越小,P值的改變?cè)酱蟆ig3b不同的樣本量下,P值與t統(tǒng)計(jì)量值的變化,414.PowerandsamplesizeTheabilitytodetectexperimentaleffectsisunderminedinstudiesthatlackpower.沒有功效的研究中,檢測(cè)實(shí)驗(yàn)效應(yīng)的能力就被削弱了。分布之間的差異能夠用實(shí)驗(yàn)效應(yīng)來反映,效應(yīng)的概率稱為功效。4.PowerandsamplesizeTheabi42功效:不犯第二類錯(cuò)誤的概率,也稱敏感性(sensitivity)TypeIerror:H0為真,拒絕H0,也稱假陽性,FalsepositiveTypeIIerror:H0為不真,接受H0,也稱假陰性,Falsenegative功效:不犯第二類錯(cuò)誤的概率,也稱敏感性(sensitivit43功效對(duì)檢驗(yàn)來說非常重要,但常常被忽視。當(dāng)功效低,重要的效應(yīng)可能檢測(cè)不到,在一些有很多條件和結(jié)果的實(shí)驗(yàn)中,如組學(xué)實(shí)驗(yàn),顯著性結(jié)果中的一大部分結(jié)果可能是錯(cuò)的。Fig1有兩組實(shí)驗(yàn),一組50%有差異,另一組10%的差異若檢驗(yàn)功效為0.2,說明會(huì)錯(cuò)過80%的真陽性結(jié)果,第一組實(shí)驗(yàn)陽性結(jié)果中的20%可能是錯(cuò)的,即陽性預(yù)測(cè)值(PPV)為0.8.(PPV=真陽性/檢測(cè)為陽性)功效對(duì)檢驗(yàn)來說非常重要,但常常被忽視。當(dāng)功效低,重要的效應(yīng)可44對(duì)于像基因表達(dá)研究實(shí)驗(yàn)中,有差異性的結(jié)果不到10%是很常見的。若power=0.2,得到PPV=0.31,即陽性結(jié)果中超過2/3的結(jié)果是錯(cuò)的.即使用最常用的最低功效0.8,也有超過1/3的結(jié)果是錯(cuò)的(PPV=0.64).對(duì)于像基因表達(dá)研究實(shí)驗(yàn)中,有差異性的結(jié)果不到10%45當(dāng)檢驗(yàn)?zāi)欠N真實(shí)陽性結(jié)果很少的假設(shè)時(shí)(差異性很少的假設(shè),如第二組實(shí)驗(yàn)),低功效的大多數(shù)陽性結(jié)果都是錯(cuò)的當(dāng)檢驗(yàn)?zāi)欠N真實(shí)陽性結(jié)果很少的假設(shè)時(shí)(差異性很少的假46一個(gè)關(guān)于醫(yī)學(xué)研究文獻(xiàn)分析發(fā)現(xiàn),在功效至少為80%,檢測(cè)有陰性結(jié)果的試驗(yàn)中僅有36%的能夠檢測(cè)出50%有差異。近來有很多文獻(xiàn)評(píng)論報(bào)導(dǎo)大多數(shù)研究是功效不足。在組學(xué)研究中,為降低假陽性率,做檢驗(yàn)時(shí)就需要用很小的顯著性水平,同時(shí),功效很低和假陰性很高成為一個(gè)普遍的現(xiàn)象。當(dāng)課題有潛在危害或很差的條件下時(shí),不充足的功效的這種研究是一種對(duì)研究資源的浪費(fèi)和認(rèn)為不道德的。怎樣選擇樣本容量確保足夠的功效能檢測(cè)到一個(gè)預(yù)先指定的效應(yīng)量?怎樣平衡一個(gè)實(shí)驗(yàn)的特異性和敏感性,以及如何增加樣本容量能保證達(dá)到充分的功效?一個(gè)關(guān)于醫(yī)學(xué)研究文獻(xiàn)分析發(fā)現(xiàn),在功效至少為80%,47a若一個(gè)蛋白表達(dá)水平值x超過臨界值x*,說明有顯著性,因?yàn)镠0延伸到了x*,有可能錯(cuò)誤的拒絕H0,其概率為α.即TypeIerror,假陽性。一個(gè)好的實(shí)驗(yàn)應(yīng)該是控制α值的大小,一般設(shè)為α
=0.05,這是為了保持有更高的特異性(1-α),即真陰性率。a若一個(gè)蛋白表達(dá)水平值x超過臨界值x*,說明有顯著性,因?yàn)?8b假設(shè)x>x*
即拒絕H0,若x不是抽自H0,N(10,sd),假設(shè)抽自其備則假設(shè)的分布HA,且分布為N(12,sd).一般兩個(gè)分布分布間的差異來自于均值與方差的不同。稱d為效應(yīng)量(effectsize)b假設(shè)x>x*即拒絕H0,若x不是抽自H0,N(10,49C兩類錯(cuò)誤的概率都盡可能小,但是它們的關(guān)系為,α降低,β相應(yīng)會(huì)增加。一般情形α<β,一般出現(xiàn)假陽性的后果更嚴(yán)重。C兩類錯(cuò)誤的概率都盡可能小,但是它們的關(guān)系為,α降低,50a設(shè),當(dāng)x>11.64,拒絕原假設(shè),在HA中,超出臨界值11.64的藍(lán)色面積就是功效為0.64.增加α到0.12,cuttoff變?yōu)?1.17,現(xiàn)在功效變?yōu)?.8,這種功效增加了25%是以增加假陽性率到0.12為代價(jià)的(增加了2倍多)a設(shè),當(dāng)x>1151bS型曲線為功效與α值的變化,當(dāng),它的最大功效為0.64.
不增加假陽性率,如何提高功效?bS型曲線為功效與α值的變化,當(dāng)52如果Fig3a中的分布更窄,也就是方差越小,原假設(shè)與備則假設(shè)的重疊部分就會(huì)變小,功效會(huì)提高。由于σ很難改變,一種直接的做法是重復(fù)抽樣,現(xiàn)在不用單個(gè)值,而用平均值來提出原假設(shè)和備則假設(shè),因?yàn)槿绻鸉ig3a中的分布更窄,也就是方差越小,原假設(shè)與備則假設(shè)53Fig4a樣本容量對(duì)功效的影響隨著n的增加,拒絕域的臨界值與s.e.m成比例減小,分布間的重疊部分也在減小。也就是說樣本容量會(huì)影響功效。對(duì)給定的效應(yīng)量d,選擇不同的n,可以達(dá)到需要的功效與α。如:給定d=1,對(duì)n=22就達(dá)到了Power=0.99,α=0.01Fig4a樣本容量對(duì)功效的影響隨著n的增加,拒絕域的臨界54Fig4b效應(yīng)量對(duì)功效的影響隨著d的增加,因?yàn)橹丿B部分減少,所以功效會(huì)隨之增加。如:當(dāng)n=3,α=0.05,我們能夠分別的以功效0.53,0.83和0.97檢測(cè)到Fig4b效應(yīng)量對(duì)功效的影響隨著d的增加,因?yàn)橹丿B部分減55以上的計(jì)算都是理想化的,因?yàn)槲覀儾⒉恢涝僭O(shè)與備則假設(shè)的分布形狀,我們是假定已知的,實(shí)際上我們是通過樣本來估計(jì)標(biāo)準(zhǔn)差σ的,這樣的功效是減小了的,為達(dá)到比較滿意的功效,我們需要稍微大點(diǎn)的樣本容量。對(duì)于一個(gè)好的研究設(shè)計(jì)來說,平衡好樣本容量,效應(yīng)量和功效之間的關(guān)系是非常關(guān)鍵的。通常設(shè)定α=0.05,1-β=0.8,然后基于最小效應(yīng)確定樣本容量n,如果需要的樣本容量太大,為減小方差,可以重新評(píng)估目標(biāo)或者更嚴(yán)格的控制實(shí)驗(yàn)條件。如果功效很低,只有很大的效應(yīng)才能檢測(cè)到,并且陰性結(jié)果得不到可靠的解釋。為了檢測(cè)到效應(yīng),保證足夠的樣本量是研究設(shè)計(jì)的基本條件。以上的計(jì)算都是理想化的,因?yàn)槲覀儾⒉恢涝僭O(shè)與56PointsofSignificanceMartinKrzywinskiCanada’sMichaelSmithGenomeSciencesCentreNaomiAltmanPennsylvaniaStateUniversityNatureMethodsPointsofSignificance57引言Statisticsdoesnottelluswhetherweareright.Ittells
usthechancesofbeingwrong.統(tǒng)計(jì)不會(huì)告訴我們哪對(duì)哪錯(cuò),但是它會(huì)告訴我們犯錯(cuò)的幾率。
每次重復(fù)試驗(yàn)不會(huì)得到相同的結(jié)果,只是在一定范圍內(nèi)波動(dòng),這是由于生物的變異性和測(cè)量設(shè)備的精度限制的原因,但如果每次測(cè)出來的結(jié)果都不同,如何確定測(cè)量與假設(shè)相符的?“科學(xué)的最大悲劇是:用丑陋的事實(shí)扼殺了美麗的假說?!保ㄓ飳W(xué)家T.H.Huxley),這句話中的“丑陋”,怎樣來測(cè)量?
58統(tǒng)計(jì)能夠回答上述問題,它是一種能從定量上描述不確定性的規(guī)律方法,并且數(shù)據(jù)是用含有誤差的估計(jì)來表示的,而不是精確的測(cè)量。其理論框架是結(jié)合實(shí)驗(yàn)結(jié)果的不確定性和給觀測(cè)值的推廣附上置信水平。統(tǒng)計(jì)方法-生物統(tǒng)計(jì)學(xué)講義課件59很多概念能夠從直觀上理解,但也有例外,“三門”問題MontyHallproblem:參賽者可以在三扇門當(dāng)中選擇一扇,其中三扇門中只有一扇門后有汽車,其它兩扇門為山羊,當(dāng)參賽者選擇一扇門后,主持人會(huì)打開兩外兩扇門中有山羊的門,并問參賽者是否改變主意。問題是:參賽者換門是否會(huì)增加他得獎(jiǎng)的幾率?看法一:不換門與換門而中獎(jiǎng)的概率為1/2看法二:換門得將的概率為2/3參賽者可以在三扇門當(dāng)中選擇一扇,其中三扇門中只有一扇門后有601.Importanceofbeing
uncertain統(tǒng)計(jì)分類:描述性統(tǒng)計(jì)和推斷型統(tǒng)計(jì)
描述性統(tǒng)計(jì):用一些樣本特征如:均值和標(biāo)準(zhǔn)等描述數(shù)據(jù)推斷型統(tǒng)計(jì):用觀測(cè)到的數(shù)據(jù)來詳盡的概括真實(shí)世界。兩者都是由抽樣和估計(jì)為基礎(chǔ),抽樣是收集數(shù)據(jù)的過程,估計(jì)是把隨機(jī)的東西定量化的過程。Pointsofsignificance專欄有助于在工作中超越直覺上對(duì)統(tǒng)計(jì)的理解。目的是解決醫(yī)學(xué)期刊中大概一半的文章對(duì)統(tǒng)計(jì)的誤用。1.Importanceofbeinguncerta61Fig1a一個(gè)實(shí)驗(yàn)變量的所有可能值的頻率直方圖,稱為總體分布。通常想推斷總體的均值和標(biāo)準(zhǔn)差(1)抽樣過程Fig1a一個(gè)實(shí)驗(yàn)變量的所有可能值的頻率直方圖,稱為總體分62Fig1b.總體分布有兩個(gè)特征參數(shù)均值μ和標(biāo)準(zhǔn)差σ,分別刻畫總體的位置和形狀。(1)抽樣過程Fig1b.總體分布有兩個(gè)特征參數(shù)均值μ和標(biāo)準(zhǔn)差σ,分別刻畫63平均值會(huì)受到奇異值的影響。而中位數(shù)相對(duì)來說是總體位置參數(shù)的更穩(wěn)定估計(jì),更適合于偏態(tài)分布或者不規(guī)則形狀的數(shù)據(jù)。而標(biāo)準(zhǔn)差σ刻畫的是數(shù)據(jù)的分散程度,在直觀上不是很好理解,“3σ原則”有助于理解它的作用。如:對(duì)正態(tài)分布,有平均值會(huì)受到奇異值的影響。而中位數(shù)相對(duì)來說是總體位置參數(shù)的更64(2)通過抽樣估計(jì)總體的均值μ及標(biāo)準(zhǔn)差σ由于各種原因的限制,總體的均值μ和標(biāo)準(zhǔn)差σ不能直接觀測(cè)到。最好的方法是用抽樣所得的數(shù)據(jù)進(jìn)行估計(jì)。(2)通過抽樣估計(jì)總體的均值μ及標(biāo)準(zhǔn)差σ由于各種原因的限制,65Fig2a.總體在0~30之間的頻率直方圖Fig2b.從總體a中抽取的3個(gè)樣本Fig2C.所有樣本容量為5的樣本均值的直方圖,樣本均值的分布Fig2a.總體在0~30之間的頻率直方圖Fig2b.從66樣本必須是總體的代表,這就需要的樣本是“簡(jiǎn)單隨機(jī)樣本”。一般,樣本不同于總體,除非樣本量n足夠大。在抽樣過程中,樣本是否發(fā)生偏離,不總是那么顯而易見的。如:?jiǎn)柧碚{(diào)查的樣本是那些愿意參與調(diào)查的人得到的,但是那些拒絕參與調(diào)查的人的信息你是得不到的,但這兩組可能有著顯著的不同。樣本必須是總體的代表,這就需要的樣本是“簡(jiǎn)單隨機(jī)樣本”。67Fig2C,樣本均值也有分布,其均值和標(biāo)準(zhǔn)差為像總體一樣,抽樣分布也是不能直接測(cè)出來的,因?yàn)槲覀儾⒉豢赡艿玫剿锌赡軜颖?。注意到,樣本均值的分布Fig.2c與Fig.2a有著顯著的不同,但是均值的分布與總體分布是相關(guān)的,這個(gè)關(guān)系由中心極限定理給出:隨著n的增加,樣本均值的分布逐漸接近于正態(tài)分布,無論總體的分布是什么形狀的。是容易迷惑為樣本均值的標(biāo)準(zhǔn)差,σ是總體的標(biāo)準(zhǔn)差,n越大,越小(表示越接近均值μ),而σ不變。Fig2C,樣本均值也有分布,其均值和標(biāo)準(zhǔn)差為是容易迷惑68不同總體分布的中心極限定理不同分布的總體下的樣本均值的分布隨著n的增加近似服從正態(tài)分布。不同總體分布的中心極限定理不同分布的總體下的樣本均值的分布隨69雖然樣本均值可以作為總體均值的估計(jì),但是仍有可能某個(gè)樣本均值落在總體均值很遠(yuǎn)的地方,特別是對(duì)于那些很小的n。如:從不規(guī)則總體中抽取了n=3的樣本10000個(gè),做了10次迭代,樣本均值落在μ±σ之外的比例從7.6%到8.6%.
當(dāng)樣本容量很小時(shí),解釋均值的結(jié)果務(wù)必要小心。雖然樣本均值可以作為總體均值的估計(jì),但是仍有可能某個(gè)樣本70要記住一點(diǎn),測(cè)量出來的結(jié)果都是估計(jì),你不應(yīng)當(dāng)把他當(dāng)成精確和最終的結(jié)果。大量存在的不確定性都會(huì)確保每次的樣本都不一樣??傮w均值的估計(jì)精度的提高速度慢于數(shù)據(jù)收集的速度,這是因?yàn)榇嬖谝粋€(gè)比例因子。精度提高2倍,數(shù)據(jù)量提高4倍多。要記住一點(diǎn),測(cè)量出來的結(jié)果都是估計(jì),你不應(yīng)當(dāng)把他當(dāng)成71樣本都是來自Fig2a的總體,隨著n的增加,標(biāo)準(zhǔn)誤差(s.e.m.)是樣本均值的標(biāo)準(zhǔn)差的估計(jì)。樣本都是來自Fig2a的總體,隨著n的增加,標(biāo)準(zhǔn)誤差(s.e722.Errorbars(誤差線)估計(jì)的不確定性通常由誤差線來表示。誤差線的類型:(1)標(biāo)準(zhǔn)差s.d.:反映的數(shù)據(jù)的變異度(離散程度)(2)標(biāo)準(zhǔn)誤s.e.m.:反映測(cè)量的精度,是的估計(jì),或者說是用樣本均值估計(jì)總體均值的精度的度量(3)95%置信區(qū)間(95%CI)Themeaningoferrorbarsisoftenmisinterpreted,asisthestatisticalsignificanceoftheiroverlap.誤差線的意義常常被誤讀,就像有重疊的統(tǒng)計(jì)顯著性一樣。在科學(xué)出版物種常用誤差線表示隨機(jī)性,但是常常被誤讀。2.Errorbars(誤差線)估計(jì)的不確定性通常由誤差732.Errorbars(誤差線)Fig.1a,三種不同類型的誤差線,表面上一樣,但是反映的意義不一樣,兩者均值的檢驗(yàn)顯著性有差異,本質(zhì)是標(biāo)準(zhǔn)差不一樣。Fig.1b,顯著性相同,即s.d.是一樣的,但是誤差線出現(xiàn)重疊和有間隙的情形。一般而言,有間隙不一定有差異,重疊就無差異。2.Errorbars(誤差線)Fig.1a,三種不同類74模擬和計(jì)算Fig.1a,相同長度為0.5,針對(duì)3種條件,可分別計(jì)算其p值(1)s.d.=0.5,可得|t0|=4.472136,其檢驗(yàn)的p值為(2)s.d.m.=0.5,即sd=0.5*sqrt(10)可得|t0|==1.414214,其檢驗(yàn)的p值為模擬和計(jì)算Fig.1a,相同長度為0.5,針對(duì)3種條件,可分75通過類似的計(jì)算可以得到如圖Fig.1b上的長度數(shù)據(jù)Fig.1a,(3)95%CI=0.5,即,可得s.d.=0.6989518其檢驗(yàn)的p值為Sd=1.06,s.e.m.=0.335,length(CI)=0.758通過類似的計(jì)算可以得到如圖Fig.1b上的長度數(shù)據(jù)Fig.1762.Errorbars(誤差線)避免三者的誤用:弄清楚誤差線所表達(dá)的對(duì)隨機(jī)度量的含義。Only1figure95%CI2012NatureMethods,在所有平面圖中有2/3使用了誤差線s.d.45%VSs.e.m.49%5%notspecified置信區(qū)間是對(duì)不確定性的直觀的度量,常用于醫(yī)學(xué)文獻(xiàn)2.Errorbars(誤差線)避免三者的誤用:弄清楚誤77三種誤差線的含義:(1)標(biāo)準(zhǔn)差s.d.誤差線基于標(biāo)準(zhǔn)差的誤差線可以知道總體數(shù)據(jù)的變異度,對(duì)于新樣本值范圍的預(yù)測(cè)是有用的。標(biāo)準(zhǔn)差只是反應(yīng)的是數(shù)據(jù)的變異,不是直觀上的測(cè)量的誤差。來自兩個(gè)不同總體的樣本,其s.d.誤差線可以重疊(2)標(biāo)準(zhǔn)誤s.e.m.誤差線基于標(biāo)準(zhǔn)誤的誤差線反映的是均值的隨機(jī)性,并且依賴于樣本量的大小。抽取樣本越多,其值越小?!叭绻麡?biāo)準(zhǔn)誤差線不重疊,則這兩者之間的差異不顯著“這句話是不對(duì)的。三種誤差線的含義:(1)標(biāo)準(zhǔn)差s.d.誤差線基于標(biāo)準(zhǔn)差的誤差78三種誤差線的含義:(3)置信區(qū)間置信區(qū)間表示的是對(duì)測(cè)量可靠性的一種區(qū)間估計(jì)。置信區(qū)間表示以某種概率(置信水平)能捕獲總體均值的信息。也即,所有這種區(qū)間的95%能夠覆蓋總體均值,如圖Fig2.a三種誤差線的含義:(3)置信區(qū)間置信區(qū)間表示的是對(duì)測(cè)量可靠性79Fig2a,20個(gè)樣本容量為10的95%CI中有兩個(gè)沒有覆蓋總體均值Fig2a,20個(gè)樣本容量為10的95%CI中有兩個(gè)沒有覆蓋80Fig2b,s.e.m.與95%CI的關(guān)系Fig2b,s.e.m.與95%CI的關(guān)系81一個(gè)常見錯(cuò)誤是:把置信區(qū)間理解為一種平均或期望數(shù),總體均值落在此區(qū)間的概率為1-α。錯(cuò)誤的原因是置信區(qū)間的大小和位置是與每次取樣有關(guān)的,出現(xiàn)相同的置信區(qū)間的概率是很小的,所以置信區(qū)間是一種隨機(jī)區(qū)間。平均來說,100次取樣,得到100個(gè)區(qū)間,平均上有95個(gè)區(qū)間能覆蓋總體均值。一個(gè)常見錯(cuò)誤是:把置信區(qū)間理解為一種平均或期望數(shù),82Fig3對(duì)相同的P值,s.e.m.與95%CI誤差線的長度與位置不能用誤差線的相對(duì)位置來判斷其顯著性,如P=0.05,s.e.m有間隙,但95%CI超過50%的重疊;當(dāng)95%CI剛好接觸到,其P值為0.005,有極高的顯著性。Fig3對(duì)相同的P值,s.e.m.與95%CI誤差線的長度83一個(gè)建議:由于誤差線的多樣性,在使用誤差線時(shí),在圖中標(biāo)注出是哪種類型,并對(duì)其進(jìn)行解釋。不能僅從誤差線的直觀上理解來判斷其顯著性。一個(gè)建議:由于誤差線的多樣性,在使用誤差線時(shí),843.Significance,Pvaluesandt-testsThePvaluereportedbytestsisaprobabilisticsignificance,notabiologicalone.許多檢驗(yàn)用P值來作為度量一個(gè)結(jié)果的差異是否由隨機(jī)因素造成的。3.Significance,Pvaluesandt-85統(tǒng)計(jì)檢驗(yàn)的思想Fig1a一個(gè)蛋白表達(dá)水平值x=12,參考值為μ=10,你認(rèn)為它們之間差異是由隨機(jī)性造成的嗎?統(tǒng)計(jì)檢驗(yàn)的思想Fig1a一個(gè)蛋白表達(dá)水平值x=12,參考值86統(tǒng)計(jì)檢驗(yàn)的思想Fig1b假設(shè)樣本取自正態(tài)總體,均值μ=10統(tǒng)計(jì)檢驗(yàn)的目的是用觀測(cè)值定位在這個(gè)分布上去識(shí)別它是否超出了一定范圍。統(tǒng)計(jì)檢驗(yàn)的思想Fig1b假設(shè)樣本取自正態(tài)總體,均值μ=1087統(tǒng)計(jì)檢驗(yàn)的思想Fig1c統(tǒng)計(jì)把這種范圍進(jìn)行了量化,觀測(cè)值x的統(tǒng)計(jì)顯著性,陰影部分的面積,這就是Pvalue。若是單側(cè)的檢驗(yàn),就是dark部分的面積統(tǒng)計(jì)檢驗(yàn)的思想Fig1c統(tǒng)計(jì)把這種范圍進(jìn)行了量化,88統(tǒng)計(jì)檢驗(yàn)的思想P值經(jīng)常誤解為在計(jì)算P值的過程中,假設(shè)H0為真,x是從H0為真的分布下抽取的,P值如果比較小,如小于0.05,只是告訴我們,在這個(gè)假設(shè)下,一個(gè)不大可能發(fā)生的事件出現(xiàn)了,有理由拒絕H0,也就是接受備則的假設(shè),認(rèn)為樣本不是來自均值為μ的總體。
但是統(tǒng)計(jì)顯著性并不表明生物學(xué)的顯著性。假定總體服從均值為μ的正態(tài)分布,為得到其精確的形狀接下來需要對(duì)其標(biāo)準(zhǔn)差進(jìn)行估計(jì)。再獨(dú)立的測(cè)4次,就得到一個(gè)容量為5的樣本,假設(shè)它的平均值為統(tǒng)計(jì)檢驗(yàn)的思想P值經(jīng)常誤解為在計(jì)算P值的過程中,假設(shè)H0為真89Fig2a假設(shè)重復(fù)測(cè)量5次,均值為10.85,標(biāo)準(zhǔn)差sdx=0.96并且假定總體的標(biāo)準(zhǔn)差就是sdx=0.96Fig2a假設(shè)重復(fù)測(cè)量5次,均值為10.85,標(biāo)準(zhǔn)差sdx90Fig2b假設(shè)總體是正態(tài)分布,均值為μ=10,并且假定總體的標(biāo)準(zhǔn)差就是sdx=0.96,s.e.m=Fig2b假設(shè)總體是正態(tài)分布,均值為μ=10,91Fig2c假設(shè)H0是正態(tài)分布,則其樣本均值的抽樣分布也為正態(tài)分布可用(s.e.m.)估計(jì)其sd把標(biāo)在分布圖上,可得到其P值Fig2c假設(shè)H0是正態(tài)分布,則其樣本均值的抽樣分布可用92通過計(jì)算可以構(gòu)造一個(gè)統(tǒng)計(jì)量t的分布形狀與正態(tài)分布非常接近,但與正態(tài)分布不一樣,稱之為Student’st分布.分布形狀上的差異在于,對(duì)大多數(shù)樣本來說,樣本方差S2往往小于總體的方差,或者說是低估了總體的方差,可以證明樣本方差的分布是偏態(tài)分布。(下圖為模擬實(shí)驗(yàn))因?yàn)椴粚?duì)稱性,n越小,得到的樣本方差小于總體方差。也就出現(xiàn)t分布的尾部更高的現(xiàn)象。(Fig3a)通過計(jì)算可以構(gòu)造一個(gè)統(tǒng)計(jì)量t的分布形狀與正態(tài)分布非常接近,但93模擬實(shí)驗(yàn),從N(0,1)中抽取容量為5的樣本,抽取2000次得到的方差的直方圖,易知是偏態(tài)的模擬實(shí)驗(yàn),從N(0,1)中抽取容量為5的樣本,94Fig3a不同的樣本容量下,t分布的密度與正態(tài)分布密度的比較,t分布尾部更高。隨著n的增加,t分布越來越像正態(tài)。n越大,S2越接近于總體方差σ2Fig3a不同的樣本容量下,t分布的密度與正態(tài)分布密度的比95所以,如果不進(jìn)行校正,不用t分布去做,而是用Fig2c中的正態(tài)分布計(jì)算的話,將會(huì)高估他的顯著性。例如:在Fig2b中用樣本量為5的樣本,t值為1.98,得到的p值為0.119.若用正態(tài)分布計(jì)算,得到p值為0.048.若t值不變,增加樣本容量n=50,得到的p值為0.054.結(jié)果就與正態(tài)分布下的P值比較接近了。所以,如果不進(jìn)行校正,不用t分布去做,而是用Fig2c96Fig3b不同的樣本量下,P值與t統(tǒng)計(jì)量值的變化,n越小,P值的改變?cè)酱?。Fig3b不同的樣本量下,P值與t統(tǒng)計(jì)量值的變化,974.PowerandsamplesizeTheabilitytodetectexperimentaleffectsisunderminedinstudiesthatlackpower.沒有功效的研究中,檢測(cè)實(shí)驗(yàn)效應(yīng)的能力就被削弱了。分布之間的差異能夠用實(shí)驗(yàn)效應(yīng)來反映,效應(yīng)的概率稱為功效。4.PowerandsamplesizeTheabi98功效:不犯第二類錯(cuò)誤的概率,也稱敏感性(sensitivity)TypeIerror:H0為真,拒絕H0,也稱假陽性,FalsepositiveTypeIIerror:H0為不真,接受H0,也稱假陰性,Falsenegative功效:不犯第二類錯(cuò)誤的概率,也稱敏感性(sensitivit99功效對(duì)檢驗(yàn)來說非常重要,但常常被忽視。當(dāng)功效低,重要的效應(yīng)可能檢測(cè)不到,在一些有很多條件和結(jié)果的實(shí)驗(yàn)中,如組學(xué)實(shí)驗(yàn),顯著性結(jié)果中的一大部分結(jié)果可能是錯(cuò)的。Fig1有兩組實(shí)驗(yàn),一組50%有差異,另一組10%的差異若檢驗(yàn)功效為0.2,說明會(huì)錯(cuò)過80%的真陽性結(jié)果,第一組實(shí)驗(yàn)陽性結(jié)果中的20%可能是錯(cuò)的,即陽性預(yù)測(cè)值(PPV)為0.8.(PPV=真陽性/檢測(cè)為陽性)功效對(duì)檢驗(yàn)來說非常重要,但常常被忽視。當(dāng)功效低,重要的效應(yīng)可100對(duì)于像基因表達(dá)研究實(shí)驗(yàn)中,有差異性的結(jié)果不到10%是很常見的。若power=0.2,得到PPV=0.31,即陽性結(jié)果中超過2/3的結(jié)果是錯(cuò)的.即使用最常用的最低功效0.8,也有超過1/3的結(jié)果是錯(cuò)的(PPV=0.64).對(duì)于像基因表達(dá)研究實(shí)驗(yàn)中,有差異性的結(jié)果不到10%101當(dāng)檢驗(yàn)?zāi)欠N真實(shí)陽性結(jié)果很少的假設(shè)時(shí)(差異性很少的假設(shè),如第二組實(shí)驗(yàn)),低功效的大多數(shù)陽性結(jié)果都是錯(cuò)的當(dāng)檢驗(yàn)?zāi)欠N真實(shí)陽性結(jié)果很少的假設(shè)時(shí)(差異性很少的假102
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度貸款居間業(yè)務(wù)風(fēng)險(xiǎn)預(yù)警與處置合同
- 2025年度企業(yè)戰(zhàn)略規(guī)劃咨詢管理合同
- 農(nóng)民法律基礎(chǔ)知識(shí)
- 互聯(lián)網(wǎng)行業(yè)知識(shí)
- 問題回復(fù)函落款
- 2025勞動(dòng)合同法與勞動(dòng)關(guān)系
- 快消品行業(yè)業(yè)務(wù)員工作總結(jié)
- 2025鍋爐設(shè)備買賣安裝合同(初稿)
- 在線辦公環(huán)境下的學(xué)生自我控制能力挑戰(zhàn)與應(yīng)對(duì)策略探討
- 教育與商業(yè)探索在學(xué)期間運(yùn)用課余時(shí)間的商業(yè)模式
- 春季餐飲營銷策劃
- 企業(yè)會(huì)計(jì)機(jī)構(gòu)的職責(zé)(2篇)
- 《疥瘡的防治及治療》課件
- Unit4 What can you do Part B read and write (說課稿)-2024-2025學(xué)年人教PEP版英語五年級(jí)上冊(cè)
- 2025年MEMS傳感器行業(yè)深度分析報(bào)告
- 《線控底盤技術(shù)》2024年課程標(biāo)準(zhǔn)(含課程思政設(shè)計(jì))
- 學(xué)校對(duì)口幫扶計(jì)劃
- 倉庫倉儲(chǔ)安全管理培訓(xùn)課件模板
- 風(fēng)力發(fā)電場(chǎng)運(yùn)行維護(hù)手冊(cè)
- 河道旅游開發(fā)合同
- 情人合同范例
評(píng)論
0/150
提交評(píng)論