1.2標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制ppt課件

1、第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義常模參照測(cè)驗(yàn)測(cè)量的是“相對(duì)能力”，廣泛應(yīng)用于能力、能力傾向、成就、人格、態(tài)度等多種特質(zhì)的測(cè)量中，并發(fā)展出一套比較成熟的統(tǒng)計(jì)方法，用于項(xiàng)目分析，質(zhì)量控制以及分?jǐn)?shù)解釋之中。常模參照測(cè)驗(yàn)?zāi)Ｊ降木窒蓿翰⒉皇撬械臏y(cè)驗(yàn)都只關(guān)心個(gè)體間的差異。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義1962，R.Glaser & D.Claus建議把測(cè)驗(yàn)分成參照常模和參照標(biāo)準(zhǔn)兩種，提出“標(biāo)準(zhǔn)參照測(cè)驗(yàn)的概念。標(biāo)準(zhǔn)參照測(cè)驗(yàn)是根據(jù)某一明確界定的內(nèi)容范圍而縝密編制的測(cè)驗(yàn)；被試在測(cè)驗(yàn)

2、中所得結(jié)果，也是根據(jù)某一明確界定的行為標(biāo)準(zhǔn)直接進(jìn)行解釋的。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義該概念需注意：1 標(biāo)準(zhǔn)參照測(cè)驗(yàn)中的“規(guī)范指編制測(cè)驗(yàn)和解釋測(cè)驗(yàn)分?jǐn)?shù)時(shí)所依據(jù)的知識(shí)和技能范圍，而不是指劃界分?jǐn)?shù)。2 標(biāo)準(zhǔn)參照測(cè)驗(yàn)有不同的名稱(chēng)，如內(nèi)容參照測(cè)驗(yàn)和結(jié)果參照測(cè)驗(yàn)。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義該概念需注意：內(nèi)容參照測(cè)驗(yàn)：指測(cè)驗(yàn)所使用的標(biāo)準(zhǔn)是內(nèi)容材料定義的，即掌握某領(lǐng)域知識(shí)和技能的比例。被試在內(nèi)容測(cè)驗(yàn)上答對(duì)題目數(shù)占所有測(cè)驗(yàn)題目數(shù)的百分比視為整個(gè)內(nèi)容范圍的掌握程度。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)

3、概述一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的定義該概念需注意：如果已知測(cè)驗(yàn)分?jǐn)?shù)和某個(gè)外部效標(biāo)有關(guān)，則可用被試在效標(biāo)上的表現(xiàn)直接解釋測(cè)驗(yàn)分?jǐn)?shù)，這種測(cè)驗(yàn)稱(chēng)為結(jié)果參照測(cè)驗(yàn)。其目的是預(yù)測(cè)，關(guān)心的是被試達(dá)到某種目標(biāo)特質(zhì)的可能性。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的編制l1 界定目標(biāo) ：測(cè)驗(yàn)編制前，對(duì)所欲測(cè)量的內(nèi)容范圍作出清晰界定，并給與操作定義l測(cè)驗(yàn)題目的選擇限制在此內(nèi)容范圍內(nèi)；l構(gòu)成測(cè)驗(yàn)的所有題目，須是所依據(jù)的內(nèi)容范圍的一個(gè)代表性樣本。l2 進(jìn)行題目編寫(xiě)，評(píng)估內(nèi)容效度。l考察測(cè)驗(yàn)題目目標(biāo)一致性，題目領(lǐng)域代表性以及難度和偏差等其他技術(shù)特征。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)

4、驗(yàn)概述l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的編制l3 修改刪減項(xiàng)目，合成測(cè)驗(yàn)l4 確定臨界分?jǐn)?shù)，區(qū)分被試掌握掌握狀態(tài)的標(biāo)準(zhǔn)l5 試測(cè)及測(cè)量學(xué)分析l選取一個(gè)有代表性的樣本接受測(cè)驗(yàn)，進(jìn)行項(xiàng)目分析和信效度檢驗(yàn)。l6 編寫(xiě)測(cè)驗(yàn)使用說(shuō)明書(shū)l將正式測(cè)驗(yàn)的各項(xiàng)測(cè)量學(xué)指標(biāo)編入測(cè)驗(yàn)使用說(shuō)明中。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第一節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)概述l三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的用途l1 各類(lèi)教育水平、職業(yè)水平測(cè)試采取了標(biāo)準(zhǔn)參照測(cè)驗(yàn)的編制、施測(cè)、計(jì)分和解釋模式；l2 在內(nèi)容上有一個(gè)最低要求，其結(jié)果是決定相關(guān)人員能否從事某種職業(yè)。l3 廣泛應(yīng)用于教育實(shí)踐，發(fā)現(xiàn)應(yīng)該補(bǔ)救的問(wèn)題，發(fā)揮考試的診斷功能和發(fā)展功能。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)

5、準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的項(xiàng)目分析l（一難度分析l標(biāo)準(zhǔn)參照測(cè)驗(yàn)的項(xiàng)目難度一般以通過(guò)率來(lái)表示，側(cè)重于考察項(xiàng)目的代表性。在大多數(shù)情況下只是作為項(xiàng)目區(qū)分度分析的基礎(chǔ)。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的項(xiàng)目分析l（二區(qū)分度分析l1 前測(cè)后測(cè)法l（1教學(xué)敏感性指數(shù)l同一組被試，在其接受與測(cè)驗(yàn)?zāi)繕?biāo)有關(guān)的教學(xué)過(guò)程前后各施測(cè)一次，得到前測(cè)和后測(cè)的分?jǐn)?shù)，計(jì)算每個(gè)項(xiàng)目前后測(cè)的通過(guò)率之差，可得到每個(gè)項(xiàng)目區(qū)分掌握和未掌握兩組被試的能力。lD=P后測(cè)- P前測(cè)第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l一、

6、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的項(xiàng)目分析l（二區(qū)分度分析l1 前測(cè)后測(cè)法l（2個(gè)人獲得指數(shù)l采取前測(cè)后測(cè)法，獲得在前測(cè)中錯(cuò)誤回答某項(xiàng)目而在后測(cè)中能夠正確回答的被試人數(shù)比例，即該項(xiàng)目的個(gè)人獲得指數(shù)。被試 1前測(cè) 后測(cè) 2前測(cè) 后測(cè) 3前測(cè) 后測(cè)1 1 1 1 1 1 12 1 1 0 1 1 13 0 1 1 1 1 14 0 0 1 1 1 15 1 0 0 1 1 16 0 0 0 0 1 17 1 0 1 1 1 18 1 1 0 0 1 19 0 1 0 1 1 110 1 0 0 1 1 1第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的項(xiàng)目分析l（二區(qū)分度分

7、析l2 控制組法l(1)已接受教學(xué)組-未接受教學(xué)組方法l選取兩組被試，其中一組已經(jīng)接受了有關(guān)測(cè)驗(yàn)?zāi)繕?biāo)內(nèi)容的教學(xué)，而另一組從未接受過(guò)，將測(cè)驗(yàn)對(duì)兩組被試同時(shí)施測(cè)，考察兩組通過(guò)率之差。lD=P甲-P乙第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l一、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的項(xiàng)目分析l（二區(qū)分度分析l2 控制組法l(2)對(duì)照組方法：l前測(cè)-后測(cè)法假設(shè)凡是接受了有關(guān)教學(xué)活動(dòng)的被試均已掌握了教學(xué)內(nèi)容，而未接受教學(xué)活動(dòng)的被試均沒(méi)有掌握教學(xué)內(nèi)容。l選擇兩組被試，由教師評(píng)定為掌握組和未掌握組，求掌握組和未掌握組的通過(guò)率之差。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控

8、制l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度l（一分類(lèi)一致性信度l標(biāo)準(zhǔn)參照測(cè)驗(yàn)對(duì)其分?jǐn)?shù)的解釋通常是根據(jù)某一分?jǐn)?shù)分界點(diǎn)將被試分為掌握者和未掌握者兩類(lèi)，稱(chēng)作“達(dá)標(biāo)-未達(dá)標(biāo)或“及格-未及格”。l從測(cè)驗(yàn)的分類(lèi)決策一致性的角度定義其信度，稱(chēng)作分類(lèi)一致性信度。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度l（一分類(lèi)一致性信度l對(duì)分類(lèi)一致性信度考察的簡(jiǎn)單常用的方法是考查被試在同一測(cè)驗(yàn)的兩次施測(cè)中或兩個(gè)復(fù)本的施測(cè)中是否被分在同一類(lèi)中。具體方法類(lèi)似于常模參照測(cè)驗(yàn)中的再測(cè)法和復(fù)本法。l采用同一批被試團(tuán)體在兩次測(cè)驗(yàn)結(jié)果中均被分為及格和不及格類(lèi)別中的人數(shù)百分比例作為分類(lèi)一致性信度的指標(biāo)

9、。一、信度及其估計(jì)（一分類(lèi)一致性信度測(cè)驗(yàn)A測(cè)驗(yàn)B及格不及格及格不及格acbdP0 = ( a + d ) / N P0的最大值為1，說(shuō)明兩次施測(cè)結(jié)果對(duì)被試的分類(lèi)一致。關(guān)鍵點(diǎn)：測(cè)驗(yàn)分?jǐn)?shù)分界點(diǎn)的確定問(wèn)題第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度l（二荷伊特信度l利用方差分析的方法，找出個(gè)體水平的真正變異在總變異中的比例，以此作為信度的估計(jì)值。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度l（二荷伊特信度l設(shè)有N名被試參加一項(xiàng)

10、有K個(gè)項(xiàng)目的測(cè)試，測(cè)驗(yàn)分?jǐn)?shù)的總變異可分解為被試間變異SS人、項(xiàng)目間變異SS題、和人與試題的交互作用SS人題三部分，荷伊特認(rèn)為被試方差可以用被試間變異作為估計(jì)值，誤差方差可以用人和試題的交互作用作估計(jì)值，并用下式作為測(cè)驗(yàn)信度的估計(jì)值：lrxx=1MS人題/MS人第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l二、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度l（二荷伊特信度l這種方法不受測(cè)驗(yàn)?zāi)康幕虮辉嚠愘|(zhì)性的影響，適用于標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信度評(píng)估，且不會(huì)隨測(cè)驗(yàn)分?jǐn)?shù)分界點(diǎn)而變化，更具普遍性。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效度l（一內(nèi)容效度l1

11、、標(biāo)準(zhǔn)參照測(cè)驗(yàn)注重被試在其所測(cè)內(nèi)容范圍內(nèi)的掌握程度，因而測(cè)驗(yàn)本身的題目組成對(duì)所要測(cè)的內(nèi)容范圍的覆蓋程度或代表性程度即內(nèi)容效度顯得尤為重要。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效度l（一內(nèi)容效度l2、內(nèi)容效度的評(píng)估依賴(lài)于兩個(gè)條件：l 項(xiàng)目與測(cè)驗(yàn)?zāi)繕?biāo)的一致性l 項(xiàng)目是測(cè)驗(yàn)內(nèi)容范圍的代表性取樣第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效度l（二實(shí)證效度l標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度和常模參照測(cè)驗(yàn)中的方法在具體實(shí)施中相似，不同之處在于統(tǒng)計(jì)指標(biāo)。l常模參照測(cè)驗(yàn)一般用測(cè)驗(yàn)與效標(biāo)間的相關(guān)系數(shù)作為效標(biāo)關(guān)聯(lián)效

12、度的指標(biāo)，但相關(guān)系數(shù)受分?jǐn)?shù)分布的影響，不適合標(biāo)準(zhǔn)參照測(cè)驗(yàn)。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制l三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效度l（二實(shí)證效度l所以，有人提出用“決策效度Decision Validity）”來(lái)評(píng)估標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度。l以教學(xué)情境中某目標(biāo)參照測(cè)驗(yàn)為例：l三、標(biāo)準(zhǔn)參照測(cè)驗(yàn)的效度l（二實(shí)證效度效標(biāo)測(cè)驗(yàn)預(yù)測(cè)源測(cè)驗(yàn)通過(guò)不通過(guò)通過(guò)不通過(guò)acbd決策效度指在預(yù)測(cè)源測(cè)驗(yàn)和效標(biāo)測(cè)驗(yàn)中均通過(guò)和均不通過(guò)的被試人數(shù)百分比例。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第二節(jié)標(biāo)準(zhǔn)參照測(cè)驗(yàn)的信、效度和與誤差控制第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第三節(jié) 劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)l測(cè)驗(yàn)

13、分?jǐn)?shù)的分界點(diǎn)，切割分?jǐn)?shù)線(xiàn)，及格線(xiàn)l根據(jù)分?jǐn)?shù)分界點(diǎn)，可以將被試分為“及格和“不及格兩類(lèi)。l分?jǐn)?shù)分界點(diǎn)的確定爭(zhēng)議很大。l分?jǐn)?shù)的分界點(diǎn)并非必需，可以用“被試掌握了測(cè)驗(yàn)的內(nèi)容范圍的百分之多少來(lái)解釋被試的分?jǐn)?shù)；知識(shí)學(xué)習(xí)是一個(gè)連續(xù)的過(guò)程，知識(shí)的掌握也只是一個(gè)程度的問(wèn)題，從理論上說(shuō)并不存在可以清晰辨別的掌握者或非掌握者。l分?jǐn)?shù)分界點(diǎn)的確定方法很有必要也很重要。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第三節(jié)劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)l一、判斷法l（一整體判斷法l在測(cè)驗(yàn)的內(nèi)容范圍明確界定的基礎(chǔ)上，每位專(zhuān)家從整體上對(duì)測(cè)驗(yàn)與和內(nèi)容范圍進(jìn)行判斷，提出處于臨界水平的被試能夠正確回答的題目的比例，然后將所有專(zhuān)家的分?jǐn)?shù)平均，作為劃

14、界分?jǐn)?shù)。l臨界水平的被試指那些由未掌握水平轉(zhuǎn)入掌握水平的被試，這些被試實(shí)際上是在專(zhuān)家的想象中虛擬出來(lái)的。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第三節(jié)劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)一、專(zhuān)家判定法（二Nedelsky方法：1954適合由多重選擇題組成的測(cè)驗(yàn)。由專(zhuān)家來(lái)判斷處于臨界水平的被試在每一題上有能力排除的錯(cuò)誤選擇項(xiàng)，并記錄下剩余的反應(yīng)數(shù)的倒數(shù)；將該份測(cè)驗(yàn)中所有題目的倒數(shù)和記為A，作為該專(zhuān)家確定的臨界水平考生的可能分?jǐn)?shù)；對(duì)所有專(zhuān)家的A值進(jìn)行平均，即為及格線(xiàn)。第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第三節(jié)劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)一、專(zhuān)家判定法（三Angoff方法：1971由專(zhuān)家直接判斷處于臨界水平的被試在某測(cè)驗(yàn)的每一題目上正確作答的可能性Pi），設(shè)每題的滿(mǎn)分為Fi，則該測(cè)驗(yàn)的分?jǐn)?shù)分界點(diǎn)為： = Fi Pi第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第三節(jié)劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)一、專(zhuān)家判定法（四Ebel法：1972專(zhuān)家把題目的難度分為幾個(gè)等級(jí)；然后依題目的代表性程度將題目分成若干等級(jí)；再由專(zhuān)家估計(jì)臨界被試答對(duì)某一代表性程度、某一困難等級(jí)題目的百分比P。則劃界分?jǐn)?shù)的計(jì)算方法為：Xr = PN第六章 標(biāo)準(zhǔn)參照測(cè)驗(yàn)的設(shè)計(jì)與編制第三節(jié)劃界分?jǐn)?shù)設(shè)置方法與被試評(píng)價(jià)l二、綜合法l既考慮實(shí)際測(cè)試數(shù)據(jù)，又考慮專(zhuān)家判斷l(xiāng)（一臨界組法l由專(zhuān)家判定和選擇一組正處于臨界水平的被試，將測(cè)驗(yàn)施測(cè)于