試題編制技術(shù)與試卷質(zhì)量分析

1、試題編制技術(shù)與試卷質(zhì)量分析,Company Logo,一、試卷編制前的準備 1、命題前的思考點 2、命題設(shè)計的一般原則 3、試卷編制的基本程序,Company Logo,二、試卷編制的技術(shù)要點 1、命題雙向細目表設(shè)計 2、幾類典型題型編制要求 3、命題預(yù)測的評價指標 4、命題需要注意的幾個問題 三、試卷質(zhì)量分析與評價 1、考試結(jié)果的基本分析 2、質(zhì)量分析報告的撰寫,Company Logo,一、試卷編制前的準備,命題容易又很難，一份好的命題更難。 命題體會與考量： 規(guī)范負責的態(tài)度 一定的文字功底 豐富的知識儲備 多研究經(jīng)典試題試卷 走鋼絲的藝術(shù)； 遺憾的藝術(shù)； 人文素養(yǎng)的考驗； 科學(xué)素養(yǎng)的考驗

2、； 教育測量技術(shù)。,規(guī)范負責的態(tài)度 一定的文字功底 豐富的知識儲備 多研究經(jīng)典試題試卷,Company Logo,1、命題前的主要思考點 思考準備： （1）明確考試的性質(zhì) 測驗 診斷性考試知識與技能的掌握；常模參照考試 會考 水平考試穩(wěn)定的認知能力特質(zhì)標準參照考試 智力測試 學(xué)習能力考試潛在的學(xué)習能力和學(xué)術(shù)發(fā)展傾向 標準參照考試,Company Logo,常模參照測驗是指以學(xué)生團體測驗的平均成 績?yōu)閰⒄諛藴?，說明某一學(xué)生在團體中的相對位置，將學(xué)生分類排隊。 標準參照考試是指以體現(xiàn)教育教學(xué)目標的標準為準，看學(xué)生是否達到標準以及達成標準的程度。它主要不是用于比較個人之間的差異。,Company L

3、ogo,Company Logo,（2）把握考試對教學(xué)發(fā)展的導(dǎo)向性 反映課程改革的要求； 體現(xiàn)學(xué)科的特點； 引領(lǐng)學(xué)生學(xué)習。 （3）掌握考試對象的特點與水平 學(xué)生學(xué)習與心理特點 階段知識掌握的水平區(qū)分； 能力反映的特點。,Company Logo,（4）考慮足夠的內(nèi)容抽樣代表性 與備課組交流； 抽取好、中、差學(xué)生練習與試卷； 與不同層面的學(xué)生交流。 （5）選擇合適的試題結(jié)構(gòu) 試卷內(nèi)容組成； 試卷編排順序； 試卷難易控制。,Company Logo,2、命題設(shè)計的一般原則 （1）命題的目的性；（2）內(nèi)容的代表性； （3）格式的規(guī)范性；（4）表述的簡明性； （5）答案的確定性；（6）題目的獨立性；

4、（7）創(chuàng)意的公平性；（8）測試的實效性。,Company Logo,命題要全面考查學(xué)生課程目標的達成狀況 立足全面性、注重代表性、體現(xiàn)導(dǎo)向性； 考察內(nèi)容的均衡性； 適度的題量與難度； 恰當?shù)念}型結(jié)構(gòu)； 適度的自主性和開放性； 試題呈現(xiàn)方式的多樣化。 在此基礎(chǔ)上，綜合體現(xiàn)：基礎(chǔ)性原則、發(fā)展性原則、科學(xué)性原則、時代性原則、開放性原則、規(guī)范性原則。,Company Logo,3、試卷編制的基本程序,（1）擬定命題計劃 各種題型的題量及分數(shù)分配； 各項考試內(nèi)容的題量及分數(shù)分配； 能力考查的重點及各能力層次的分配； 考試難度及各類難度比例。,Company Logo,（2）（根據(jù)命題計劃）編制雙向細目表

5、 確定考試內(nèi)容要目； 確定考試目標層次； 確定考試要目下的權(quán)重； 試題難度預(yù)估。,Company Logo,（3）（根據(jù)雙向細目表）編制試題并組卷 題型的選擇與安排（先按題型，再按難度）； 試題的難度控制與預(yù)估（整卷難度與分題難度，有序?qū)舆M）； 對試題區(qū)分度的把握； 開放（或探究）試題形式與內(nèi)容的探索； 一些重要的內(nèi)容及方向定位（如寫作題）； 答案與評分標準的制定。,Company Logo,（4）試測并修訂 在保密中選取典型非我校學(xué)生進行試測； 根據(jù)試測情況分析分調(diào)整命題； 專家審卷； 修正并定稿。,Company Logo,二、試卷編制的技術(shù)要點,1、命題雙向細目表設(shè)計 目的設(shè)計試卷的藍圖

6、，使命題者明確測驗的目標，把握試題的比例與分量，提高命題的效率和質(zhì)量。 內(nèi)容考查的范圍、具體知識點、測試目標、題型、分值分布、難度分布。 操作確定試卷要考查的目標；明確要考查的知識內(nèi)容（知識點）；根據(jù)考查目標和知識的重要程序給予不同的比重；合理安排好各部分權(quán)重，編制出雙向細目表。,Company Logo,范例1,Company Logo,范例2 命題雙向細目表,Company Logo,范例3 試卷組合雙向細目表,Company Logo,加權(quán)難度分數(shù)計算公式： ， . 為權(quán) 注意：能力各欄目分數(shù)合計和題型各欄目分數(shù)合計均應(yīng)為100（或150）分。,Company Logo,2、幾類典型題型

7、的編制要求,（1）測試題型的分類,Company Logo,客觀性試題與主觀性試題比較,Company Logo,（2）選擇題的編制,選擇題的編制,Company Logo,編制選擇題的注意要點： 每題僅圍繞一個測試中心 題意完整，表述簡明 避免提供解題線索 題干應(yīng)盡量創(chuàng)設(shè)新的情境 題干盡量以正面方式敘述,Company Logo,各選項語詞切勿重復(fù) 選項只間不應(yīng)相疊 干擾項誘答須似是而非 各題彼此獨立，避免鏈式 忌用“以上皆對”、“以上皆錯”選項 選項數(shù)盡量一致，形式大體相同 正確項目須隨機排位,Company Logo,（3）填空題的編制,Company Logo,（4）簡答題的編制,Co

8、mpany Logo,（5）論述題的編制,Company Logo,（6）應(yīng)用題的編制,Company Logo,（7）開放性試題的編制 開放性試題的命制 條件開放型、過程開放型、結(jié)論開放型以及這三種題型的綜合形式。 這些形式還可以進一步細分，如在答案開放型中，可以再分為理論運用（知識視角）開放、論據(jù)素材（佐證事例）開放、表達方式開放和評分要求開放等。在各個學(xué)科中，其具體表現(xiàn)形式有所不同。,Company Logo,方法與策略 可選擇作答：學(xué)生可以選擇部分試題或一個試題中的若干小問題作答，增加答題的可選擇性，有利于發(fā)揮學(xué)生的優(yōu)勢智能，表現(xiàn)學(xué)生的個性和特長。 陳題新用：對傳統(tǒng)試題進行改造，省略去

9、其中的部分條件，或?qū)栴}提出不同的解決方向，或要求用盡可能的角度解決問題。 從生活素材入手：選取社會熱點、生活焦點和學(xué)生生活經(jīng)驗作為素材來設(shè)計問題，引導(dǎo)學(xué)生運用所學(xué)知識獨立地解決生活問題。 設(shè)置黑箱：將一個事物產(chǎn)生、發(fā)展過程和最終結(jié)果中的過程隱藏起來，即制造一個黑箱，讓學(xué)生發(fā)揮想象力，提示黑箱的內(nèi)幕。,Company Logo,假設(shè)情景條件：在一定條件下假設(shè)某種情景，探求事物的發(fā)展狀態(tài)；或給出某種確定的情景，探求由于條件的變化，可能引起什么樣的反應(yīng)。 例舉事實：給出一定的規(guī)律或原理，要求學(xué)生搜集與之相關(guān)的現(xiàn)象或事實，證明這一理論。 學(xué)生自編自答：在一定背景之下，讓學(xué)生根據(jù)試題提供的素材，自己提

10、出問題，并分析解決問題。 超越課本知識：超越課本中的字面內(nèi)容，挖掘隱藏一于文字背后的思想，考核學(xué)生的科學(xué)精神與人文思想。,Company Logo,巧用設(shè)問：調(diào)整問題的設(shè)問指向，引導(dǎo)學(xué)生擺脫傳統(tǒng)的思維方向，尋找新的考慮問題的角度。 引導(dǎo)推理：給出一定的材料或條件，讓學(xué)生自主推導(dǎo)出可能產(chǎn)生的結(jié)果，或者給出一定的結(jié)果，讓學(xué)生反向推導(dǎo)出它所需要的條件。 補充材料或結(jié)果：給出不完整的材料或事物進程，通過學(xué)生自主想象，補充材料或推測結(jié)果。 調(diào)整評分要求：評分要點充分考慮到學(xué)生答題的各種可能性；對于某些有創(chuàng)意的答案或要點，應(yīng)該加以加分獎勵，等等。,Company Logo,（8）主觀題命題評分的基本要求

11、不要逼著或誘導(dǎo)學(xué)生說假話是最起碼的要求； 給定標準答案，以命題者之心度學(xué)生之腹的題出了還不如不出； 主觀題發(fā)揮學(xué)生的創(chuàng)造性，有一定開放性并不表明可以題可以隨便出，答案可以隨便寫，清晰的評分標準是必要的； 如果測量的行為目標能夠用客觀題來測，就盡量不要用主觀題； 挑選的材料應(yīng)該與學(xué)生學(xué)習經(jīng)歷過的材料有類似性或是全新的材料；,Company Logo,應(yīng)該用清晰，明確的語言表述背景材料和問題； 對材料分析題而言，設(shè)計試題應(yīng)該要求學(xué)生對材料進行分析和解釋； 設(shè)計的試題數(shù)應(yīng)該與背景材料的長度相匹配； 對試題的賦分應(yīng)該合理； 對每個問題給恰當?shù)臅r間完成。,Company Logo,3、命題預(yù)測的評價指標

12、 （1）難度控制 定義：學(xué)生完成題目和項目任務(wù)時所遇到的困難程 度。難度值以P表示。 公式1：通過率P ,R表示答對某題的人 數(shù)，N表示測試的總?cè)藬?shù)。 公式2：得分率P ，X表示某題的平均分， W表示某題總分。 注意：通常對客觀題計算難度時選擇公式1； 通常對主觀題計算難度時選擇公式2。,Company Logo,全卷難度用加權(quán)難度平均數(shù)公式計算。, 其中 分別為 的權(quán)數(shù)i1、2K。,Company Logo,高考難度要求： 全卷難度0.50.6； 試題難度0.30.7，接近正態(tài)分布； 易：中：難3:5:2 容易題P值為0.7以上；中檔題P值為0.50.7；難度P值為0.30.5。 試卷難度計

13、算方法：假設(shè)容易題、中檔題和稍難 題比例按3:5:2預(yù)測，即30%的試題難度P值為 0.7以上；50%試題的P值為0.50.7；20%的 試題P值為0.30.5。,Company Logo,影響試題難度的因素 情境的熟悉性； 需要提取，應(yīng)用元素本身的難度，熟悉性和數(shù)量； 已知條件是否完備或冗余； 先前是否存在模式能夠參考； 概括程度的高低，如是否需要建立模型，以及所建模型的復(fù)雜性和概括性程度。,Company Logo,試題（試卷）難度控制 運用“難度相關(guān)因素表”和“難度分數(shù)對應(yīng)表”，掌 握試題難度預(yù)估與控制方法。,Company Logo,難度相關(guān)因素表,Company Logo,難度系數(shù)對

14、應(yīng)表,Company Logo,影響試題難度應(yīng)對策略 題目條件的復(fù)雜程度適可而止 題目條件表述的隱藏性提倡（聯(lián)系實際） 解答題目所需的心智技能、不過份 是否隱含科學(xué)探究方法提倡 解答過程的數(shù)學(xué)手段不過份 需要文字表達的水平適當 以往解題經(jīng)驗的影響提倡新情況,Company Logo,（2）區(qū)分度的控制 區(qū)分度。區(qū)分度是反映試題能否鑒別學(xué)生能力高低的指標，由某題答對人數(shù)與答錯人數(shù)相比較而確定。 如果某個試題，總分高的學(xué)生與部分低的學(xué)生 都沒有做對，或全做對，則說明該題沒有區(qū)分度。 假如一個試題對總分低的學(xué)生出錯的人數(shù)比總分高 的學(xué)生更多，則表明該試題有較高的區(qū)分度。,Company Logo,區(qū)

15、分度計算公式為：D 其中，D為區(qū)分度， 和 分別為高分組在某題上的難度和低分組的難度。區(qū)分度在0.4-0.6之間為宜。,Company Logo,區(qū)分度與試題難度密切相關(guān)，要改變試題區(qū)分度，即必須調(diào)整試題難度。最難和最易的試題的區(qū)分度都很低，區(qū)分度最大的試題，其難度一般在0.3-0.6。提高等級間區(qū)分度，主要應(yīng)該：準確控制30%的試題難度，增加0.6的題量。 對于常模參照來說，區(qū)分度D0.4為優(yōu)； 0.39D0.3，良好； 0.29D0.2，一般； D0.2劣，應(yīng)該淘汰。,Company Logo,對試題難度（P）與區(qū)分度（D）進行總體衡量,人的多數(shù)心理特征呈正態(tài)分布，一個測驗的各道題目之間或

16、多或少存在著一定的相關(guān)；因此一般采用使題目從易到難排列，而非皆固定在P0.5左右。高考要求D0.3,Company Logo,區(qū)分度的計算程序 將考生的部分由高到低排列（預(yù)測時是預(yù)估的）； 從最高分開始向下取全部試卷的27%做為高分組； 從最低分開始向上取全部試卷的27%做為低分組； 計算高分組、低分組在某題的難度 與 ；,Company Logo,主觀試題區(qū)分度D,Company Logo,其中 表示接受測驗高分組在該題上的總得分數(shù)， 表示低分組學(xué)生在該題上的總得分數(shù)，N表示參加測驗高分組（或低分組）人數(shù)，即總?cè)藬?shù)的27%，H表示該題最高分，L表示該題最低分。 一般也可用D ， ：高分組某試

17、題的平均分， ：低分組某試題平均分， ：某試題的滿分。整個試卷的區(qū)分度，是所有試題區(qū)分度的平均值，可用加權(quán)平均數(shù)求出。,Company Logo,注意：區(qū)分度比較小并不一定說明試題不好。首選應(yīng)檢查樣本大小，如果樣本太小，可能會導(dǎo)致相關(guān)系數(shù)不穩(wěn)定。其次，應(yīng)該檢查試題的難度，如果試題難度過大或過小，都可能導(dǎo)致試題的區(qū)分度降低。第三，應(yīng)檢查試題本身是否有問題，如題干表述的不明確，題干存在某種給考生提示的線索或其他技術(shù)性錯誤。如果沒有上述三方面的問題，那么試題的低區(qū)分度可能揭示學(xué)校教學(xué)或考生復(fù)習方面可能存在某些問題。,Company Logo,（3）信度的控制（暫不考慮） 信度即測量結(jié)果的可信程度（穩(wěn)

18、定性程度），如果用 同一測量工具反復(fù)測量同一特質(zhì)對象，則多次測量結(jié) 果的一致性程度就叫信度。 信度的估計方法 重測信度：用同一個測驗或評價表對同一組被試 施測兩次所得結(jié)果的一致性程度。用途在于估計測驗結(jié)果經(jīng)過一段時間后是否仍然維持穩(wěn)定、一致的特性。 復(fù)本信度：是指兩個平等測驗測量同一批被試者所得結(jié)果的一致性程度（同一時間或間隔一段時間進行），真正的平等測驗非常重要。,Company Logo,分半信度：將一個測驗分成對等兩半后，所有被試在兩半上所得分數(shù)的一致性程度。按題號的奇偶分半、按難度分半、按題目的內(nèi)容分半。 評分者信度：多個評分者給同一批人的答卷進行評 分的一致性程度。主觀題特別是作文

19、題的評分信度值得研究。,Company Logo,提高信度的辦法： A、增加題量、提高覆蓋率； B、提高區(qū)分度，準確反映考生差異； C、減少考試過程中非智力和情感因素干擾； D、提高評分的客觀性和準確性。 高考要求：選擇題總分信度0.9，非選擇題總分信度0.7，全卷信度0.8,Company Logo,（4）效度控制（暫不考慮） 效度是指本次考試與考試目標的相關(guān)程度，即考試內(nèi)容，形式、結(jié)果對考試目標的體現(xiàn)情況。 提高效度的方法： 合理規(guī)定考試目標； 科學(xué)確定考試內(nèi)容； 選擇適宜的考試方式； 提高考試信度； 不得濫用考試成績。,Company Logo,效度包括： 內(nèi)容效度：試題與教學(xué)的目的和內(nèi)

20、容相符的程度 結(jié)構(gòu)效度：測驗的結(jié)構(gòu)與目標要求相符的程度 標準相關(guān)效度：測驗與作為標準的測驗相符的程度,Company Logo,4、命題需要注意的內(nèi)個問題 （1）情境設(shè)置問題 設(shè)置“情境”的本質(zhì)是提供一個平臺，能夠讓學(xué)生針對知識、技能、過程方法等進行提取、組合、嘗試、判斷以及模式化等等，有時這個過程比結(jié)果更為重要。 根據(jù)學(xué)科和測試目標的不同，情境的現(xiàn)實化和生活化程度是不一樣的。 不要為了情境而設(shè)置情境。 雖然有些情境不要求真實，但需要合理，一定不能讓學(xué)生產(chǎn)生迷惑。,Company Logo,（2）試題反映考試功能和目標； （3）不出超綱題、偏題、怪題和其他沒有考查意義的題目； （4）解題情境和提出的問題新穎而不落俗套； （5）問題含義明確，不是曖昧不清和模棱兩可，用語準確清楚；,Company Logo,（6）具有一定的區(qū)分度，難度結(jié)構(gòu)合理，符合考綱的要求； （7）試題覆蓋面廣，布點合理，內(nèi)容具有較好的代表性； （8）各試題之間具有相