第十五章 測(cè)驗(yàn)發(fā)展與信效度課件

第十五章

測(cè)驗(yàn)發(fā)展與信效度TestDevelopmentandReliabilityandValidity1第十五章測(cè)驗(yàn)發(fā)展與信效度課程目標(biāo)了解標(biāo)準(zhǔn)化測(cè)驗(yàn)的基本特性了解標(biāo)準(zhǔn)化測(cè)驗(yàn)的編制程序了解信度的意義與類型了解效度的意義與類型了解信度與效度的關(guān)系2第十五章測(cè)驗(yàn)發(fā)展與信效度測(cè)驗(yàn)發(fā)展的基本流程文獻(xiàn)整理與資料搜集發(fā)展測(cè)驗(yàn)編制計(jì)劃試題編寫預(yù)試施測(cè)項(xiàng)目分析建立正式量表技術(shù)指標(biāo)建立（信度與效度分析）量表維護(hù)（常模的建立與更新）正式施測(cè)準(zhǔn)備階段預(yù)試階段正式階段后續(xù)發(fā)展第一節(jié)3第十五章測(cè)驗(yàn)發(fā)展與信效度測(cè)驗(yàn)編制計(jì)劃的內(nèi)容與說明第一節(jié)4第十五章測(cè)驗(yàn)發(fā)展與信效度信度(reliability)意義:測(cè)量的可靠性trustworthiness一致性（consistency）─表示測(cè)驗(yàn)內(nèi)部試題間是否相互符合穩(wěn)定性（stability）─不同的測(cè)驗(yàn)時(shí)點(diǎn)下，測(cè)驗(yàn)分?jǐn)?shù)前后一致的程度信度的數(shù)學(xué)原理凡測(cè)量必有誤差，誤差由機(jī)率因素所支配，為一隨機(jī)誤差（randomerror）第二節(jié)5第十五章測(cè)驗(yàn)發(fā)展與信效度古典測(cè)量理論的信度觀點(diǎn)測(cè)量分?jǐn)?shù)組成測(cè)量分?jǐn)?shù)=真分?jǐn)?shù)+測(cè)量誤差測(cè)驗(yàn)總變異量=真實(shí)分?jǐn)?shù)的變異＋隨機(jī)誤差變異信度系數(shù)1-誤差占測(cè)量變異百分比信度系數(shù)介于0與+1之間，數(shù)值越大，信度越高第二節(jié)6第十五章測(cè)驗(yàn)發(fā)展與信效度測(cè)量標(biāo)準(zhǔn)誤SEM

（StandardErrorofMeasurement）信度表示測(cè)量分?jǐn)?shù)的穩(wěn)定與可靠性，亦表示測(cè)量受到測(cè)量誤差的影響程度測(cè)量分?jǐn)?shù)的變異量，受到測(cè)量誤差影響的部分，稱為測(cè)量誤差變異量，開方后稱為測(cè)量標(biāo)準(zhǔn)誤（σe）測(cè)量誤差被假設(shè)呈常態(tài)分配，因此測(cè)量標(biāo)準(zhǔn)誤配合常態(tài)化機(jī)率可以用來進(jìn)行測(cè)量分?jǐn)?shù)的區(qū)間估計(jì)rxx

X特質(zhì)的測(cè)驗(yàn)信度X分?jǐn)?shù)的95％的信心區(qū)間第二節(jié)7第十五章測(cè)驗(yàn)發(fā)展與信效度信度的類型再測(cè)信度（test-retestreliability）系指以同一種測(cè)量工具，對(duì)同一群受試者，前后測(cè)驗(yàn)兩次的相關(guān)系數(shù)。又稱穩(wěn)定系數(shù)。

復(fù)本信度（a1ternate-formreliability）同一群受試者接受兩種復(fù)本測(cè)驗(yàn)的得分之相關(guān)系數(shù)。

折半信度（split-halfreliability）測(cè)驗(yàn)題目依題目的單雙數(shù)或其他方法分成兩半，計(jì)算受測(cè)者在兩半測(cè)驗(yàn)上的分?jǐn)?shù)的相關(guān)系數(shù)。內(nèi)部一致性系數(shù)（coefficientofinternalconsistency）反映測(cè)量工具內(nèi)部同質(zhì)性、一致性或穩(wěn)定度。同質(zhì)性越高，代表量表試題是在測(cè)量相同的特質(zhì)。KR20適用于二分變量的測(cè)量，Cronbach’sα適用于多元尺度變量的測(cè)量。評(píng)分者間信度（inter-raterreliability）不同的評(píng)量者間分?jǐn)?shù)的相關(guān)系數(shù)。第二節(jié)8第十五章測(cè)驗(yàn)發(fā)展與信效度常用信度折半法測(cè)驗(yàn)題目依題目的單雙數(shù)或其他方法分成兩半，計(jì)算受測(cè)者在兩半測(cè)驗(yàn)上的分?jǐn)?shù)的相關(guān)系數(shù)。折半方式多為odd-evensplit。相關(guān)系數(shù)多采史比校正系數(shù)（Spearman-Brownprophecyformula）內(nèi)部一致性法原理反映測(cè)量題目的內(nèi)部同質(zhì)性、一致性或穩(wěn)定度。原理為計(jì)算測(cè)量項(xiàng)目的平均相關(guān)（rij），同質(zhì)性越高，代表量表試題是在測(cè)量相同的特質(zhì)。內(nèi)部一致性系數(shù)（coefficientofinternalconsistency）KR20(Kuder&Richardson,1937)適用于二分變量的測(cè)量Cronbach’sα適用于多元尺度變量的測(cè)量第二節(jié)9第十五章測(cè)驗(yàn)發(fā)展與信效度影響信度的因素

影響信度的關(guān)鍵因素是測(cè)量誤差，可以減低誤差的方法，即能夠提高信度?；驹恚褐醒霕O限定理、測(cè)量標(biāo)準(zhǔn)誤、共變量的計(jì)算影響信度的因素受試者因素（如受測(cè)者的身心健康狀況、動(dòng)機(jī)、注意力、持久性、作答態(tài)度等變動(dòng)）主試者因素（如非標(biāo)準(zhǔn)化的測(cè)驗(yàn)程序、主試者的偏頗與暗示、評(píng)分的主觀性等等）測(cè)驗(yàn)情境因素（測(cè)驗(yàn)環(huán)境條件如通風(fēng)、光線、聲音、桌面、空間因素等皆有影響的作用）測(cè)驗(yàn)內(nèi)容因素（試題取樣不當(dāng)、內(nèi)部一致性低、題數(shù)過少）時(shí)間因素第二節(jié)10第十五章測(cè)驗(yàn)發(fā)展與信效度效度(validity)效度的意義測(cè)量的正確性，指測(cè)驗(yàn)或其他測(cè)量工具確能測(cè)得其所欲測(cè)量的特質(zhì)或功能之程度測(cè)量的效度愈高，表示測(cè)量的結(jié)果愈能顯現(xiàn)其所欲測(cè)量對(duì)象的真正特征測(cè)驗(yàn)的效度通常以測(cè)驗(yàn)分?jǐn)?shù)與其所欲測(cè)量的特質(zhì)之間的相關(guān)系數(shù)表示之評(píng)估效度的方法判斷法（informedjudgment）─測(cè)量特性與質(zhì)的評(píng)估實(shí)征法（gatheringofempiricalevidence）─根據(jù)具體客觀的量化指標(biāo)來進(jìn)行評(píng)估第三節(jié)11第十五章測(cè)驗(yàn)發(fā)展與信效度三種不同的效度內(nèi)容效度（contentvalidity）反映測(cè)量工具本身內(nèi)容廣度的適切程度，強(qiáng)調(diào)測(cè)量?jī)?nèi)容的廣度、涵蓋性與豐富性針對(duì)測(cè)量工具的目標(biāo)和內(nèi)容，以系統(tǒng)的邏輯方法來詳細(xì)分析，又稱為邏輯效度（1ogicalvalidity）表面效度（facevalidity），指測(cè)量工具在外顯形式上的有效程度效標(biāo)關(guān)聯(lián)效度（criterion-relatedvalidity）以測(cè)驗(yàn)分?jǐn)?shù)和特定效標(biāo)（criterion）之間的相關(guān)系數(shù)，表示測(cè)量工具有效性之高低。同時(shí)效度（concurrentvalidity）與預(yù)測(cè)效度（predictivevalidity）構(gòu)念效度（constructvalidity）指測(cè)量工具能測(cè)得一個(gè)抽象概念或特質(zhì)的程度。多元特質(zhì)多重方法矩陣法（multitrait-multimethodmatrix）：聚斂效度（convergentvalidity）及區(qū)辨效度（discriminantvalidity）。因素效度（factorialvalidity）：一個(gè)測(cè)驗(yàn)或理論因素結(jié)構(gòu)的有效性。第三節(jié)12第十五章測(cè)驗(yàn)發(fā)展與信效度Multitrait-multimethodmatrix多重方法多重特質(zhì)矩陣以兩種以上的方法（methods）測(cè)量?jī)煞N以上的特質(zhì)（traits）PsychometricalfeaturesReliability(信度)以相同方法測(cè)量相同特質(zhì)（應(yīng)有最高相關(guān)）Convergentvalidity(聚合效度)以不同方法測(cè)量相同特質(zhì)（應(yīng)有次高相關(guān)）Discriminantvalidity(區(qū)辨效度)以相同或不同方法測(cè)不同特質(zhì)（應(yīng)有最低相關(guān)）Methodbias/effects(方法偏誤或方法效應(yīng))以相同方法測(cè)不同特質(zhì)的相關(guān)高于以不同方法測(cè)不同特質(zhì)的相關(guān)（差異應(yīng)越小越好）第三節(jié)13第十五章測(cè)驗(yàn)發(fā)展與信效度Multitrait-multimethodmatrix

Method1TeacherratingMethod2TestsMethod3Observers’ratingA1B1C1A2B2C2A3B3C3M1A1誠實(shí)(.89)B1攻擊性.43(.89)C1智力.36.32(.76)M2A2誠實(shí).62.03.20(.93)B2攻擊性.22.70.13.40(.94)C2智力.10.13.64.22.30(.84)M3A3誠實(shí).59.11.02.60.20.21(.94)B3攻擊性.14.82-.16.13.61.23.30(.92)C3智力.21.10.72.06.19.52.49.36(.85)rofsamemethod/sametrait:

ConvergentvalidityReliabilityWhenrsmdt>rdmdt

MethodbiasDiscriminantvalidityrdmdtofdifferentmethod/differenttraitrsmdtofsamemethod/differenttrait第三節(jié)14第十五章測(cè)驗(yàn)發(fā)展與信效度增益效度（incrementalvalidity）

指某特定測(cè)驗(yàn)對(duì)于準(zhǔn)確預(yù)測(cè)某一效標(biāo)，在考量其他測(cè)量分?jǐn)?shù)對(duì)于效標(biāo)的影響后的貢獻(xiàn)程度某項(xiàng)能力測(cè)驗(yàn)（A）在測(cè)量個(gè)體的認(rèn)知能力，該能力測(cè)驗(yàn)應(yīng)可用以解釋學(xué)生的學(xué)習(xí)成果（Y），而且在將努力因素（B）排除之后，能力測(cè)驗(yàn)仍然能夠非常有效的解釋學(xué)習(xí)成果，即可說明能力測(cè)驗(yàn)具有相當(dāng)程度的增益效度。第三節(jié)15第十五章測(cè)驗(yàn)發(fā)展與信效度區(qū)分效度（differentialvalidity）

個(gè)別差異的鑒別除了可以從效標(biāo)的回歸分析來評(píng)估之外（也就是效標(biāo)關(guān)聯(lián)效度），亦可以從測(cè)驗(yàn)分?jǐn)?shù)對(duì)于不同行為作業(yè)、或效標(biāo)情境的表現(xiàn)的差異來評(píng)估V1V2V3F1E1E2E3V4V5V6F2E4E5E6Criterion1Criterion2Testscoresandfactors第三節(jié)16第十五章測(cè)驗(yàn)發(fā)展與信效度復(fù)核效化（cross-validation）定義指測(cè)量的結(jié)果具有跨樣本或跨情境的有效性。在結(jié)構(gòu)方程模式中，一個(gè)理想模型在不同樣本上重復(fù)出現(xiàn)的程度，即稱之為模型的復(fù)核效化基本程序?qū)颖厩懈顬閮蓚€(gè)樣本，利用多樣本模型分析針對(duì)同一個(gè)假設(shè)模型進(jìn)行估計(jì)，一個(gè)樣本稱為測(cè)定樣本（calibrationsample），另一個(gè)樣本則為效度樣本（validationsample）先將一個(gè)被檢驗(yàn)的SEM模型在測(cè)定樣本上進(jìn)行估計(jì)后，重復(fù)在效度樣本上進(jìn)行檢驗(yàn)，檢驗(yàn)時(shí)，參數(shù)的數(shù)值應(yīng)套入先前在測(cè)定樣本上所使用的模型設(shè)定或參數(shù)估計(jì)數(shù)，進(jìn)行模型檢驗(yàn)。第三節(jié)17第十五章測(cè)驗(yàn)發(fā)展與信效度效度衡鑒技術(shù)相關(guān)分析（Correlation）多元回歸分析（Multipleregression）因素分析（Factoranalysis）多重特質(zhì)多重方法矩陣

(Multitrait-Multimethodmatrix)結(jié)構(gòu)方程模式（StructuralEquationModeling）第三節(jié)18第十五章測(cè)驗(yàn)發(fā)展與信效度影響效度的因素測(cè)量過程因素─實(shí)施過程標(biāo)準(zhǔn)化樣本性質(zhì)─選用異質(zhì)性高的樣本樣本的代表性效標(biāo)因素不適當(dāng)?shù)男?biāo)選用效標(biāo)本身的測(cè)量質(zhì)量干擾變項(xiàng)第三節(jié)19第十五章測(cè)驗(yàn)發(fā)展與信效度信度與效度之關(guān)系信度代表測(cè)量的穩(wěn)定性與可靠性，效度為測(cè)量分?jǐn)?shù)的意義、價(jià)值與應(yīng)用性實(shí)際效度（rxy）≦信度（rxx）的平方根信度的平分根是效度系數(shù)的上限。當(dāng)信度越高，效度系數(shù)