淺談試題編制技術(shù)與試卷質(zhì)量分析-淺談命題技術(shù)與質(zhì)量ppt課件

1、淺談試題編制技術(shù)與試卷質(zhì)量分析廣州市教育局教學(xué)研討室 教學(xué)管文科鐘 陽特級教師02083330741：.一、教育丈量學(xué)簡介教育丈量學(xué)以現(xiàn)代教育學(xué)、心思學(xué)、統(tǒng)計(jì)學(xué)為根底教育丈量只能經(jīng)過檢測心思景象的外顯行為或外在表現(xiàn)特征來推知個(gè)體的心思才干和個(gè)性特質(zhì)教育丈量學(xué)研討的主要內(nèi)容是：檢驗(yàn)的編制、運(yùn)用、結(jié)果的評價(jià).教育丈量的根本概念丈量：事物及屬性、法那么、數(shù)字或符號檢驗(yàn)：行為樣本、規(guī)范化、評價(jià)目的標(biāo)題質(zhì)量分析目的難度和區(qū)分度，檢驗(yàn)結(jié)果可靠性目的信度，檢驗(yàn)結(jié)果有效性目的效度丈量要素：參照點(diǎn)常模參照，規(guī)范參照、單位往往不等距或等距不等值量表：命名類別

2、量表、順序等級量表、等距量表、比率量表.教育丈量的量表與變量類型類別量表稱名變量：如學(xué)生編號等。只需區(qū)分性，沒有序列性、等距性和可加性。不能做數(shù)量化分析，只能做次數(shù)統(tǒng)計(jì)，如次數(shù)、眾數(shù)、百分比、離散相關(guān)、2檢驗(yàn)等。順序量表等級變量：如學(xué)生名次、等級、百分制成果等。有區(qū)分性和序列性，但沒有等距性和可加性。無絕對零點(diǎn)，也無相等單位，不能做加減乘除運(yùn)算，適用的統(tǒng)計(jì)方法有中位數(shù)、百分位數(shù)、等級相關(guān)系數(shù)、肯德爾調(diào)和系數(shù)、序次的方差分析。.等距量表等距變量：如攝氏溫度、規(guī)范分?jǐn)?shù)等。既有區(qū)分性和序列性，也有等距性和可加性，有相對零點(diǎn)和相等單位，能做加減，但不能做乘除，不能用倍數(shù)解釋。能最廣泛地運(yùn)用統(tǒng)計(jì)方法，如

3、計(jì)算均數(shù)、規(guī)范差、積差相關(guān)系數(shù)、t檢驗(yàn)、F檢驗(yàn)等。比率量表比率變量：如長度、分量、體積等。具有相等的單位和絕對零點(diǎn)，既可以比較差距，也可以計(jì)算比例。除上述統(tǒng)計(jì)方法外，還適用幾何平均數(shù)、變異系數(shù)等統(tǒng)計(jì)運(yùn)算。.教育和心思檢驗(yàn)特點(diǎn)教育和心思檢驗(yàn)也是一種量表沒有絕對零點(diǎn)，沒有相等單位，屬于等級量表。由于等距變量適用大量統(tǒng)計(jì)分析方法，所以教育學(xué)家與心思學(xué)家總試圖將教育和心思檢驗(yàn)的結(jié)果放在等距量表背景下解釋處理等級量表和等距量表之間差別的最常用方法原始分?jǐn)?shù)轉(zhuǎn)化成規(guī)范分?jǐn)?shù).教育檢驗(yàn)的分類檢驗(yàn)?zāi)康模撼删蜋z驗(yàn)知識與技藝的掌握、才干檢驗(yàn)穩(wěn)定的認(rèn)知才干特質(zhì)、才干傾向檢驗(yàn)潛在的學(xué)習(xí)才干和學(xué)術(shù)開展傾向標(biāo)題類型：客觀性檢

4、驗(yàn)選擇題、判別題、配對題、限制性的填空或簡答題、客觀性檢驗(yàn)作文題、論述題、證明題檢驗(yàn)分?jǐn)?shù)的解釋：常模參照檢驗(yàn)個(gè)體差別、相對程度、選拔性、不可單獨(dú)解釋、規(guī)范參照檢驗(yàn)規(guī)范或效標(biāo)達(dá)成度、知識和技藝的掌握程度、程度性、可直接解釋檢驗(yàn)規(guī)范化：規(guī)范化檢驗(yàn)設(shè)計(jì)、編制、實(shí)施、評分、分?jǐn)?shù)解釋 、自編檢驗(yàn)盡力遵照檢驗(yàn)編制的普通程序.教育檢驗(yàn)實(shí)際經(jīng)典丈量實(shí)際Classical Test Theory，CTT以真分?jǐn)?shù)模型為實(shí)際基石，以弱假設(shè)為根底真分?jǐn)?shù)是實(shí)測分?jǐn)?shù)的期望值較為完善，易懂好用，計(jì)算簡單，運(yùn)用廣泛各種檢驗(yàn)參數(shù)必需從考生樣本中求得參數(shù)會受不同考生樣本組才干程度的影響考生才干的估計(jì)會由于檢驗(yàn)的改動而改動難以實(shí)施

5、與學(xué)生實(shí)踐才干程度相當(dāng)?shù)目荚嚕荒艽_保學(xué)生在考試中發(fā)揚(yáng)最高程度.教育檢驗(yàn)實(shí)際工程反響實(shí)際Item Response Theory，IRT 以潛在特質(zhì)實(shí)際為基石，以強(qiáng)假設(shè)為根底試題難易度估計(jì)不受樣本影響，考生才干估計(jì)不因檢驗(yàn)改動，丈量誤差不受考生程度影響可以準(zhǔn)確估計(jì)每個(gè)考生的才干程度，為自順應(yīng)檢驗(yàn)的實(shí)施提供條件對數(shù)學(xué)模型與實(shí)測數(shù)據(jù)的擬合要求高受考生樣本容量和試題數(shù)量的制約一維性假設(shè)難以滿足，也難以驗(yàn)證計(jì)算過程復(fù)雜，任務(wù)量過大，不能分析客觀試題.二、教育檢驗(yàn)的編制檢驗(yàn)編制的根本程序檢驗(yàn)?zāi)看_實(shí)定：教育目的分類識記、了解、運(yùn)用、分析、綜合、評價(jià)、學(xué)科特征、教學(xué)階段內(nèi)容確實(shí)定：命題雙向細(xì)目表、資料搜集檢

6、驗(yàn)的設(shè)計(jì)：檢驗(yàn)方式紙筆、操作、時(shí)限、題量、題型、標(biāo)題編排先按題型，再按難度檢驗(yàn)的技術(shù)分析與鑒定：復(fù)本與試測、測試質(zhì)量分析定性與定量分析、信度 、效度、難度、區(qū)分度、測試的規(guī)范化命題、實(shí)施、評分規(guī)范、分?jǐn)?shù)解釋、時(shí)限、環(huán)境、指點(diǎn)語.命題雙向細(xì)目表例如1.命題雙向細(xì)目表例如2 考試內(nèi)容（模塊） 能力目標(biāo)識記理解探究獲取信息綜合應(yīng)用合計(jì)分子與細(xì)胞遺傳與進(jìn)化穩(wěn)態(tài)與環(huán)境實(shí)驗(yàn)與研究性學(xué)習(xí) 合 計(jì). 考試內(nèi)容（內(nèi)容塊）選擇題 簡答題證明題應(yīng)用題分析題合計(jì)識記理解.識記.分析綜合.應(yīng)用.應(yīng)用分析綜合創(chuàng)造內(nèi)容12305050015內(nèi)容20334030215內(nèi)容308213900335內(nèi)容404215900535

7、合 計(jì)218737188010100命題雙向細(xì)目表例如3.舉例生物高考模擬試卷分析表題號知識能力分值預(yù)計(jì)全樣本難度實(shí)測難度干擾選項(xiàng)或預(yù)計(jì)障礙測試反映出的問題3細(xì)胞結(jié)構(gòu)理解、圖表20.670.4837影響光合作用的因素探究、實(shí)驗(yàn)設(shè)計(jì)100.380.21.檢驗(yàn)資料搜集的原那么適宜檢驗(yàn)?zāi)康模撼潭刃詸z驗(yàn)代表性、廣泛性、全面性、選拔性檢驗(yàn)多思索難度而非廣度符合雙向細(xì)目表：學(xué)科教學(xué)內(nèi)容的良好代表性樣本，突出主干知識與中心概念，保證檢驗(yàn)有較高的內(nèi)容效度資料的普遍性：是不同班級、學(xué)校、地域的學(xué)生共同窗過的內(nèi)容適宜學(xué)生程度：既要難易適當(dāng)，又要有鑒別力。有些要讓程度最低者也能做到，以樹立其自信；有些要讓程度最高者

8、也不易得分，以激發(fā)其進(jìn)取心.檢驗(yàn)標(biāo)題的編制試題編制的普通原那么 1.命題的目的性 2.內(nèi)容的代表性 3.格式的規(guī)范性 4.表述的簡明性 5.答案確實(shí)定性 6.標(biāo)題的獨(dú)立性 7.創(chuàng)意的公平性 8.試測的實(shí)效性.題 型客觀題封鎖式客觀題開放式選擇型提供型計(jì)算題證明題論述題寫作題設(shè)計(jì)題翻譯題是非題配對題選擇題填空題改錯(cuò)題名詞解釋題簡答題測試題型的分類.客觀題（封閉式）主觀題（開放式）信 度較 高較 低效 度較 低較 高覆蓋面較 寬較 窄陳述性知識較適宜較不適宜程序性知識較不適宜較適宜猜測可能性測驗(yàn)時(shí)較大測驗(yàn)前較大常模的建立較 易較 難客觀性試題與客觀性試題比較.題型特征 適用范圍 編制要領(lǐng) 由一個(gè)“

9、題干”和若干“選項(xiàng)”所構(gòu)成。題干可用不完全陳述或疑問句表示，用于實(shí)現(xiàn)一個(gè)問題情境；選項(xiàng)，由一個(gè)正確或最佳答案和幾個(gè)似真的錯(cuò)誤誘答項(xiàng)或非最佳答案項(xiàng)組成 。適合用文字、數(shù)字和圖形等不同材料編題，可考查記憶、理解、應(yīng)用、推理、判斷、比較、分析等多種能力。該類題有多種變式，如配伍式、比較式、因果式、組合式、類推式等，其測量功能各有側(cè)重。題干設(shè)問明確，表述簡要，且盡量創(chuàng)設(shè)新情境；各選項(xiàng)的內(nèi)容和形式要相互對等，數(shù)目盡量一致，且用詞勿重復(fù)；正確項(xiàng)隨機(jī)定位，且似真非真；干擾項(xiàng)似假非假，保證適度干擾性；每題僅有一個(gè)測試中心，且各題相互獨(dú)立，避免鏈?zhǔn)健?選擇題的編制.編制選擇題的留意要點(diǎn)1每題僅圍繞一個(gè)測試中心2

10、題意完好，表述簡明 3防止提供解題線索4題干應(yīng)盡量創(chuàng)設(shè)新的情境 5題干盡量以正面方式表達(dá)6各選項(xiàng)語詞切勿反復(fù) 7選項(xiàng)只間不應(yīng)相疊8干擾項(xiàng)誘答須似是而非 9各題彼此獨(dú)立，防止鏈?zhǔn)?0 .忌用“以上皆對、“以上皆錯(cuò)選項(xiàng)11.選項(xiàng)數(shù)盡量一致，方式大體一樣12.正確工程須隨機(jī)排位.題型特征 適用范圍 編制要領(lǐng) 提供一個(gè)完整的陳述，要求被試把缺少的字、詞填上，全題可留12處空格，且多置于句中和句尾。 適宜測量詞組知識、名稱或日期、對概念的簡單理解及記憶，解決數(shù)量問題的能力等。屬于“回憶性”測量，是一種開放性試題留空處須是關(guān)鍵字詞，且與上下文聯(lián)系密切；空格不宜太多；避免直接引用教科書原句；準(zhǔn)備一個(gè)正確答案

11、和可接受的變式的標(biāo)準(zhǔn)。 填空題的編制.題型特征 適用范圍 編制要領(lǐng) 由一個(gè)問句或陳述句構(gòu)成，要求學(xué)生作答時(shí)提供適當(dāng)?shù)淖衷~、短語、符號、觀點(diǎn)及結(jié)論等。適宜測量記憶及簡單理解?？煽疾樾g(shù)語知識、特定事實(shí)知識、原則的知識、方法和程序的知識；還可考查簡單解釋資料或使用數(shù)字符號的技能。 答案唯一，且簡單具體，盡量采用疑問句出題；應(yīng)測學(xué)科知識的重要概念；不可按書原文抄題；說明答題要求，無需論述、論證；需以數(shù)字作答的，應(yīng)說明表示單位。 簡答題的編制.題型特征 適用范圍 編制要領(lǐng) 是一種要求被試根據(jù)題目自己立意、選材、組織與表達(dá)。它屬于自由反應(yīng)型試題，包括論述題和作文題。 適合測量綜合運(yùn)用知識的能力、組織材料能

12、力和文字表達(dá)能力，甚至考核評價(jià)能力和創(chuàng)造能力。可以了解學(xué)生對問題的理解深度和思考過程。 明確規(guī)定作答范圍和方法，避免題意空泛、籠統(tǒng)；設(shè)置新情境，讓學(xué)生應(yīng)用知識解決新問題；題目數(shù)量需適度；不給被試提供選答試題機(jī)會；備用數(shù)個(gè)“理想”答案，評分標(biāo)準(zhǔn)具體，易操作。 論述題的編制.題型特征 適用范圍 編制要領(lǐng) 敘述一個(gè)具體的情境并給出一些有關(guān)的數(shù)據(jù)或資料，讓被試解決所提出的問題。 適合測量計(jì)算技能、數(shù)學(xué)和科學(xué)推理，以及運(yùn)用知識到新情境中的能力。該類題常用于數(shù)學(xué)和自然科學(xué)領(lǐng)域的測驗(yàn)。 解題說明清楚、完整；題目中應(yīng)含解題所需的一切條件；題目內(nèi)容應(yīng)采用新情境材料；各測題答案間互相獨(dú)立；文字簡明。 運(yùn)用題的編制

13、.三、教育檢驗(yàn)的質(zhì)量分析檢驗(yàn)誤差：隨機(jī)誤差、系統(tǒng)誤差檢驗(yàn)信度檢驗(yàn)效度試題難度試題區(qū)分度其他分析目的綜合試題分析規(guī)范參照檢驗(yàn)的試題分析.檢驗(yàn)信度檢驗(yàn)結(jié)果的穩(wěn)定性程度重測信度、復(fù)本信度、分半信度、評分者信度同質(zhì)性信度內(nèi)部一致性信度、克倫巴赫系數(shù)高考要求：選擇題部分信度0.9，非選擇題部分信度 0.7 ，全卷信度 0.8 題量較多、難度中等；嚴(yán)密、新穎、變式.檢驗(yàn)效度檢驗(yàn)的準(zhǔn)確性測出所預(yù)測特質(zhì)的程度內(nèi)容效度內(nèi)容范圍的共性：具有邊境、構(gòu)造化；一個(gè)檢驗(yàn)涵蓋的只能夠是從所欲調(diào)查內(nèi)容中抽取的一個(gè)代表性樣本；課標(biāo)、考綱；雙向細(xì)目表、知識范圍、才干要求構(gòu)造效度想象效度實(shí)際想象的根本屬性：對本質(zhì)的籠統(tǒng)概括、可丈量

14、化或外顯化；對檢驗(yàn)結(jié)果的合了解釋首先要求獲得該檢驗(yàn)的構(gòu)造效度資料效標(biāo)關(guān)聯(lián)效度實(shí)證效度對被試未來勝利的預(yù)測準(zhǔn)確程度等.內(nèi)容效度與構(gòu)造效度內(nèi)容效度就是檢驗(yàn)?zāi)艽硭{(diào)查內(nèi)容的程度。知識覆蓋率法是其最簡單常見的統(tǒng)計(jì)方法。內(nèi)容效度涉及到知識的計(jì)量問題，對同一學(xué)科而言，我們可將課程規(guī)范所開列的每一個(gè)知識點(diǎn)作為知識根本單位，也可用教材的章來構(gòu)造根本知識單位，甚至是按照知識的內(nèi)在聯(lián)絡(luò)來確定根本知識單元。內(nèi)容效度反映的是檢驗(yàn)外在的、方式上的東西，與所欲丈量的特質(zhì)如，人文精神、科學(xué)素養(yǎng)、探求才干、發(fā)明才干、方法論等，沒有必然的聯(lián)絡(luò)?，F(xiàn)實(shí)上，它只是丈量特質(zhì)的必要條件。.內(nèi)容效度與構(gòu)造效度內(nèi)容效度從知識間的內(nèi)在聯(lián)

15、絡(luò)出發(fā)，是以知識為本位分析效度的方法。對于學(xué)生而言，掌握必要的知識也是很重要的，因此，留意檢驗(yàn)的內(nèi)容效度有它合理性的一面。然而，學(xué)習(xí)者學(xué)習(xí)知識更為重要的目的是經(jīng)過學(xué)習(xí)和掌握這些知識的過程，獲得并開展隱含在這些知識中的特質(zhì)，假設(shè)片面強(qiáng)調(diào)內(nèi)容效度就能夠?qū)е卤辉囋趯W(xué)習(xí)過程中注重知識本身而不注重才干開展。.內(nèi)容效度與構(gòu)造效度構(gòu)造效度從隱含在建構(gòu)這些知識聯(lián)絡(luò)背后的特質(zhì)出發(fā)，反映的是其特質(zhì)的當(dāng)前開展程度。由于知識本身能夠成為一種特質(zhì)的表征，而且某些特質(zhì)與特定的知識領(lǐng)域密不可分，因此，強(qiáng)調(diào)構(gòu)造效度并不反對運(yùn)用特定的知識作為試題的載體。但這種主張與強(qiáng)調(diào)內(nèi)容效度的主張有著根本的差別。因此，應(yīng)該在確保構(gòu)造效度的根

16、底上兼顧內(nèi)容效度的需求。對于教育丈量特別是考試而言，為了鼓勵(lì)學(xué)習(xí)者既掌握好知識的本身，又獲得和開展隱含于所學(xué)知識中的特質(zhì)，編制檢驗(yàn)應(yīng)該在保證構(gòu)造效度的根底上盡量選用被試所學(xué)過的知識為檢驗(yàn)標(biāo)題的載體。.試題難度經(jīng)過率 P=R/N 或得分率 P=X/W高考要求：全卷難度0.50.6試題難度0.30.7易：中：難3：5：2.試題區(qū)分度鑒別指數(shù)：D=PH-PLD 0.40，優(yōu)； 0.39 D0.30，良好； ； 0.29 D0.20，尚可； D 15選擇題反響方式：假設(shè)一切考生都選擇了正確答案，闡明標(biāo)題太簡單或給出了明顯的暗示假設(shè)某個(gè)錯(cuò)誤選項(xiàng)沒有一個(gè)考生選擇，闡明該選項(xiàng)沒有迷惑性假設(shè)一切考生都選擇了同

17、一個(gè)錯(cuò)誤選項(xiàng)，能夠是答案定錯(cuò)了假設(shè)高分組考生的選擇集中在兩個(gè)答案上，且兩者選擇率相近，闡明兩個(gè)答案能夠都有道理假設(shè)高分組考生選擇正確答案的人數(shù)接近或低于低分組，闡明該題所考內(nèi)容與程度無關(guān)假設(shè)考生零分人數(shù)過多或選擇各備選答案的人數(shù)相近，闡明標(biāo)題過難，或題意表達(dá)不清，是的考生無法作答或只能憑猜測作答.綜合試題分析對試題難度P與區(qū)分度D進(jìn)展總體衡量人的多數(shù)心思特征呈正態(tài)分布一個(gè)檢驗(yàn)的各道標(biāo)題之間或多或少存在著一定的相關(guān)因此普通采用使標(biāo)題從易到難陳列，而非皆固定在P=0.5左右P值1.0D最大值0.0.試題分析舉例.規(guī)范參照檢驗(yàn)的試題分析主要是標(biāo)題與規(guī)范的一致性分析關(guān)鍵是內(nèi)容范圍確實(shí)定標(biāo)題的編制與挑選取決于所欲測的目的試題難度P與區(qū)分度D也需求分析，但不用按照選拔性考試的要求某些P=1或0D=0的試題，只需符合規(guī)范，也應(yīng)采用。.四、質(zhì)量分析報(bào)告的撰寫檢驗(yàn)?zāi)康呐c性質(zhì)才干要求與檢驗(yàn)內(nèi)容試卷設(shè)計(jì)：題型構(gòu)造、考點(diǎn)分布內(nèi)容效度試卷評價(jià)：試卷質(zhì)量平均分與規(guī)范差、試卷信度、試卷難度與區(qū)分度、試題難度與區(qū)分度的分布、試卷特征