標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制 （心理測(cè)量課件）

第二四節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述1······標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義目錄CONTENTS2······標(biāo)準(zhǔn)參照測(cè)驗(yàn)編制3······標(biāo)準(zhǔn)參照測(cè)驗(yàn)用途標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義01一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義根據(jù)某一明確界定的內(nèi)容范圍而縝密編制的測(cè)驗(yàn)，并且被試在測(cè)驗(yàn)中所得結(jié)果，也是根據(jù)某一明確界定的行為標(biāo)準(zhǔn)直接進(jìn)行解釋的。發(fā)展背景：教育改革運(yùn)動(dòng)內(nèi)容參照測(cè)驗(yàn)：當(dāng)使用的標(biāo)準(zhǔn)是用內(nèi)容材料定義的，即為掌握某領(lǐng)域知識(shí)和技能的比例，這時(shí)測(cè)驗(yàn)就被稱(chēng)為內(nèi)容參照測(cè)驗(yàn)（domain-referencedtest）。一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義結(jié)果參照測(cè)驗(yàn)：若已知測(cè)驗(yàn)分?jǐn)?shù)和某個(gè)外部效標(biāo)有關(guān)，則可用被試在效標(biāo)上的表現(xiàn)直接解釋測(cè)驗(yàn)分?jǐn)?shù)，這種測(cè)驗(yàn)被稱(chēng)為結(jié)果參照測(cè)驗(yàn)（result-referencedtest）。一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義02標(biāo)準(zhǔn)參照測(cè)驗(yàn)編制步驟二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)編制步驟標(biāo)準(zhǔn)參照測(cè)驗(yàn)用途03三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)用途各類(lèi)教育水平、職業(yè)水平測(cè)試都采取了標(biāo)準(zhǔn)參照測(cè)驗(yàn)的編制、施測(cè)、計(jì)分和解釋模式。標(biāo)準(zhǔn)參照測(cè)驗(yàn)還被廣泛應(yīng)用于教育教學(xué)實(shí)踐。醫(yī)師執(zhí)照考試律師資格考試主講人:XXX計(jì)算機(jī)輔助教學(xué)第二十五節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度、效度與誤差控制1······標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析目錄CONTENTS2······標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分析3······標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度分析標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析01一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析常模參照測(cè)驗(yàn)難度分析常常用通過(guò)率或得分率表示，一般情況下，難度過(guò)低或過(guò)高的題目，應(yīng)予以修改或刪除。標(biāo)準(zhǔn)參照測(cè)驗(yàn)對(duì)題目的要求更側(cè)重代表性。如果題目對(duì)要考察的內(nèi)容范圍有良好的代表性，即使通過(guò)率很高或很低，也應(yīng)該保留下來(lái)?？偟恼f(shuō)來(lái)，標(biāo)準(zhǔn)參照測(cè)驗(yàn)更重要的是考察題目對(duì)所測(cè)內(nèi)容范圍的代表性。（1）標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析之難度分析一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析（2）標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析之區(qū)分度分析一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)項(xiàng)目分析02標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分析二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分析標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分類(lèi)一質(zhì)性信度荷伊特信度（1）分類(lèi)一致性信度二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分析（1）分類(lèi)一致性信度二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分析（2）荷伊特信度二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)信度分析標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度分析03三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度分析標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度從內(nèi)容入手尋找效度證據(jù)從理論結(jié)構(gòu)尋找效度證據(jù)從績(jī)效或結(jié)果入手驗(yàn)證效度（1）從內(nèi)容入手尋找效度證據(jù)標(biāo)準(zhǔn)參照測(cè)驗(yàn)要求題目與測(cè)驗(yàn)?zāi)繕?biāo)保持一致，準(zhǔn)確測(cè)量要測(cè)的內(nèi)容。從內(nèi)容入手尋找效度證據(jù)，可以借助專(zhuān)家判斷的方法，也可以通過(guò)經(jīng)驗(yàn)規(guī)律、統(tǒng)計(jì)等方法進(jìn)行分析。使用雙向細(xì)目表，能較好地提高標(biāo)準(zhǔn)參照測(cè)驗(yàn)編制的計(jì)劃性，對(duì)知識(shí)種類(lèi)，題目比例等進(jìn)行精確描述，從而確保標(biāo)準(zhǔn)參照測(cè)驗(yàn)的內(nèi)容效度保持在較高的水平。三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度分析（2）從理論結(jié)構(gòu)入手尋找效度證據(jù)區(qū)分效度法聚合效度法因素分析法探索性因素分析exploratoryfactoranalysisEFA驗(yàn)證性因素分析confirmatoryfactoranalysisCFA三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度分析（3）從績(jī)效或結(jié)果入手驗(yàn)證效度三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)效度分析第二十六節(jié)劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)1······判斷法目錄CONTENTS2······實(shí)證法3······綜合法判斷法011判斷法整體判斷法Nedelsky方法Angoff方法Angoff修正法Ebel方法判斷法（1）整體判斷法每位專(zhuān)家從整體上對(duì)測(cè)驗(yàn)和內(nèi)容范圍進(jìn)行判斷，提出符合標(biāo)準(zhǔn)的最低能力水平被試正確回答的項(xiàng)目的比例。然后將所有專(zhuān)家的分?jǐn)?shù)平均，作為劃界分?jǐn)?shù)。1判斷法（2）Nedelsky方法Nedelsky（1954年）提出，適用于由多重選擇題組成的測(cè)驗(yàn)。第二步：記錄下剩余的反應(yīng)數(shù)的倒數(shù)第一步：由每位專(zhuān)家對(duì)每個(gè)題目判斷臨界水平考生都能夠排除的反應(yīng)數(shù)第三步：將該份測(cè)驗(yàn)中所有項(xiàng)目的倒數(shù)的和記為A第四步：對(duì)所有專(zhuān)家的A值進(jìn)行平均1判斷法（3）Angoff方法1判斷法（4）Ebel方法1判斷法（5）Angoff修正法劃分了與Ebel方法不同的兩個(gè)維度，一個(gè)維度為被試完成測(cè)題所需要的能力（如記憶和理解等），另一個(gè)維度是每題的測(cè)量目標(biāo)（如詞匯、語(yǔ)法和閱讀理解等）。然后計(jì)算劃界分?jǐn)?shù)與Ebel方法的過(guò)程就一樣了。1判斷法02實(shí)證法2實(shí)證法Glass（1978）將9年級(jí)學(xué)生測(cè)驗(yàn)成績(jī)的中位數(shù)作為一所中學(xué)畢業(yè)證書(shū)考試的最低標(biāo)準(zhǔn)有人采取低于團(tuán)體平均水平一個(gè)標(biāo)準(zhǔn)差的方法確定截點(diǎn)Block（1972）提出一種“教育效果法”，試圖建立測(cè)驗(yàn)分?jǐn)?shù)與學(xué)習(xí)效果的函數(shù)關(guān)系，他提出存在一條S型的學(xué)習(xí)曲線，分界分?jǐn)?shù)在曲線的拐點(diǎn)周?chē)€有人提出，當(dāng)通過(guò)率與達(dá)標(biāo)比率一致時(shí)，可以采用通過(guò)率確定及格線的參考標(biāo)準(zhǔn)。綜合法033綜合法臨界組法2對(duì)照組法Jaeger方法（1）臨界組法1982年，Livingston和Zeiley提出由專(zhuān)家判斷和選擇一組正處于臨界水平的被試，將測(cè)驗(yàn)施測(cè)于該組被試，計(jì)算他們?cè)跍y(cè)驗(yàn)上的平均成績(jī)，以確定測(cè)驗(yàn)的內(nèi)容范圍所要求的臨界水平。3綜合法（2）對(duì)照組法1選擇熟悉被試的專(zhuān)家；2讓專(zhuān)家判斷一組被試為掌握組，另一組被試為非掌握組，不太容易判斷的被試一概剔除；3對(duì)兩組被試進(jìn)行施測(cè)；4在同一坐標(biāo)系上畫(huà)出兩個(gè)被試組的分?jǐn)?shù)分布圖（見(jiàn)下圖）；5將兩個(gè)組的交叉點(diǎn)設(shè)置為劃界分?jǐn)?shù)。3綜合法（2）對(duì)照組法3綜合法（3）Jaeger方法1.每位專(zhuān)家先完成這份測(cè)驗(yàn)。2.每位專(zhuān)家對(duì)問(wèn)題“當(dāng)?shù)孛總€(gè)要畢業(yè)的中學(xué)生都應(yīng)能正確回答這道題嗎？”作“是”或“否”回答。3.確定每組專(zhuān)家所建議的通過(guò)分?jǐn)?shù)分布，計(jì)