教育測驗編制與數(shù)據(jù)處理初步

1、教育測驗編制與數(shù)據(jù)處理初步第1頁，共77頁，2022年，5月20日，16點59分，星期三教育測驗編制的基本步驟第2頁，共77頁，2022年，5月20日，16點59分，星期三測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量使用階段1階段2階段3階段4題目分析測驗分析第3頁，共77頁，2022年，5月20日，16點59分，星期三1、趙裕彤的學(xué)習(xí)水平可以考入大學(xué)2、李燕存在幾個四則混合運算的概念問題3、張?zhí)斓姆磻?yīng)速度比較慢，記憶力不是很好4、李老師的班比我班的數(shù)學(xué)好5、我最近的教學(xué)效果提高了評價目的的制定第4頁，共77頁，2022年，5月20日，16點59分，

2、星期三1、了解和確定學(xué)生學(xué)業(yè)水平的一般情況學(xué)業(yè)水平測驗、選拔性測驗升學(xué)、分班、排名、學(xué)校評估2、鑒定和診斷學(xué)生學(xué)習(xí)中的問題（認知）診斷測驗提高學(xué)習(xí)和教學(xué)針對性評價目的的制定第5頁，共77頁，2022年，5月20日，16點59分，星期三了解學(xué)業(yè)水平一般情況題號學(xué)習(xí)內(nèi)容8（三）（2）9（七）（1）10（八）（2）11（九）（2）12（十三）（3）13（十三）（5）14（十六）（2）15（十九）（1）16（二十二）17（二十三）（3）18（二十三）（1）19（二十三）（6）20（二十三）（8）21（二十三）（9）題號學(xué)習(xí)內(nèi)容23（三）（1）24（五）（3）25（十）（1）26（十七）（1）27（二十

3、三）（8）30（五）（1）、（十三）（8）31（十二）（2）32（九）（5）（6）、（二十三）（3）（9）33（二十三）（8）34（一）（3）、（七）（1）、（2）35（六）（1）（2）、 （八）（2）、（九）（3）（4）36二十二第6頁，共77頁，2022年，5月20日，16點59分，星期三了解學(xué)業(yè)水平一般情況算術(shù)幾何代數(shù)測量統(tǒng)計選擇307129260簡釋101860034問答131300026論文0030003053384892150%35.325.33261.3100第7頁，共77頁，2022年，5月20日，16點59分，星期三請看以下學(xué)生對評價任務(wù)的回答： 307- 182 285 8

4、56- 699 157 835- 217 618 606- 568 168 308- 287 181診斷性測驗第8頁，共77頁，2022年，5月20日，16點59分，星期三診斷性測驗的設(shè)計基礎(chǔ)兩分數(shù)相加將復(fù)合分數(shù)置換為假分數(shù)最小共分母分子相加最小共倍數(shù)尋找等分數(shù)答案 =分子總合最小共分母答案將假分數(shù)置換為復(fù)合分數(shù)分數(shù)簡化cf. Marshall,1980第9頁，共77頁，2022年，5月20日，16點59分，星期三題目分析測驗分析測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量使用階段1階段2階段3階段4第10頁，共77頁，2022年，5月20日，16點

5、59分，星期三測量的變量與屬性主要回答測驗考察什么的問題？主要依據(jù)：1、相關(guān)的課程標準2、當(dāng)前的學(xué)習(xí)內(nèi)容3、學(xué)生的學(xué)習(xí)情況 第11頁，共77頁，2022年，5月20日，16點59分，星期三課程標準案例數(shù)學(xué)課程標準1：數(shù)學(xué)作為一種問題解決 四年級數(shù)學(xué)學(xué)習(xí)應(yīng)該強調(diào)問題解決，學(xué)生能夠 用問題解決的方式研究和理解數(shù)學(xué)內(nèi)容從日常數(shù)學(xué)情景中形成數(shù)學(xué)問題形成并運用各種策略解決各種數(shù)學(xué)問題能驗證和解釋問題答案或結(jié)論在運用數(shù)學(xué)解決有意義的問題過程中獲得信心 NCTM： 美國國家數(shù)學(xué)教師委員會第12頁，共77頁，2022年，5月20日，16點59分，星期三課程標準作為學(xué)習(xí)和考試目標概括化的學(xué)習(xí)目標較為具體的學(xué)習(xí)目

6、標更為為具體的學(xué)習(xí)目標知識理解知道概念的含義理解科學(xué)原理能找出概念的定義能找出給定描述所對應(yīng)的概念能匹配概念與相應(yīng)的圖能區(qū)分該概念與其他概念的區(qū)別能用自己的話陳述該原理能找出符合該原理的例子能解釋兩個原理間的關(guān)系能基于原理提出合理假設(shè)第13頁，共77頁，2022年，5月20日，16點59分，星期三學(xué)習(xí)和考試的學(xué)科內(nèi)容電子控制技術(shù)（通用技術(shù)選修模塊1）一、傳感器1、常見傳感器的認識2、傳感器的作用與應(yīng)用二、數(shù)字電路1、數(shù)字信號特性、電路符號、波形圖2、常見數(shù)字集成電路類型、安裝與設(shè)計三、電磁繼電器1、常見電磁繼電器的類型、構(gòu)造和工作原理2、常見電磁繼電器的使用第14頁，共77頁，2022年，5月

7、20日，16點59分，星期三測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量使用階段1階段2階段3階段4題目分析測驗分析第15頁，共77頁，2022年，5月20日，16點59分，星期三測驗藍本的制定確定期望學(xué)生達到的學(xué)習(xí)目標確定相應(yīng)學(xué)習(xí)內(nèi)容的范圍確定學(xué)習(xí)內(nèi)容與目標的比重確定題目類型和難度的分布第16頁，共77頁，2022年，5月20日，16點59分，星期三測驗藍本的制定識記理解應(yīng)用%傳感器515183833數(shù)字電路822104034電磁繼電器916133833225341116100%194635第17頁，共77頁，2022年，5月20日，16點59分，

8、星期三測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量題目分析測驗分析使用階段1階段2階段3階段4第18頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)選擇測驗任務(wù)核心問題： 任務(wù)與目標一致性學(xué)生在完成測驗任務(wù)中所表現(xiàn)出來的認知活動和水平與預(yù)期的考試目標所要求的相一致其他考慮：1、題目類型是否適合測量相關(guān)的認知活動2、題目類型的設(shè)計的難易度3、評分的難易度4、對內(nèi)容和認知覆蓋程度5、信度第19頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：簡答題1、術(shù)語、事實、原理或方法的知識2、對數(shù)據(jù)或現(xiàn)象的簡單解釋3、問題解決能

9、力比較適合考察優(yōu)點與不足不足： 不適合考察復(fù)雜的學(xué)習(xí)結(jié)果優(yōu)點： 1、容易命題2、減少猜測第20頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：簡答題術(shù)語、事實、原理或方法的知識考察目標案例在氣體溫度恒定的條件下，如果氣壓增加，氣體的體積會怎樣？（變?。┰跉怏w溫度恒定的條件下，如果氣壓增加，氣體的體積會（變?。┑?1頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：簡答題對數(shù)據(jù)或現(xiàn)象的簡單解釋考察目標案例在數(shù)字612中，數(shù)字6代表的數(shù)值是多少？答： 600第22頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：簡答題問題解決能力

10、考察目標案例超市中200毫升裝的牛奶賣10元錢，600毫升裝的牛奶賣25元，請問買大包裝的牛奶可以省多少錢？第23頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：多選題1、術(shù)語、事實、原理或方法的知識2、原理或概念的應(yīng)用3、因果關(guān)系的解釋4、對方法或程序的論證比較適合考察第24頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：多選題術(shù)語、事實、原理或方法的知識考察目標案例如果你進行對某個問題的科學(xué)研究，第一步應(yīng)該：A 收集相關(guān)信息 B 形成檢驗假設(shè)C 設(shè)計實驗方案 D 選擇實驗儀器第25頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)

11、測驗任務(wù)：多選題因果關(guān)系的解釋考察目標案例面包放在冰箱中不會很快發(fā)霉的原因是：A 低溫會減緩真菌的生長B 黑暗會減緩霉的生長C低溫防止面包水分喪失D 霉的生長同時需要光和熱第26頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：多選題原理或概念的應(yīng)用考察目標案例下面屬于一個化學(xué)元素的例子的是：A 酸 B 食鹽 C 氧氣D 水第27頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：多選題對方法或程序的論證考察目標案例為什么一個平衡的養(yǎng)魚缸需要充足的光照？A 魚需要光照看到食物B 魚在黑暗中需要氧氣 C 植物在黑暗中釋放二氧化碳D 植物在黑暗中生長過快第

12、28頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：解釋性任務(wù)考察目標：推斷能力材料：到13世紀末，歐洲已經(jīng)建立了幾個有名的大學(xué)。當(dāng)然，它們與今天的大學(xué)區(qū)別很大。波西尼亞大學(xué)是其中最早建立的大學(xué)之一，也是最廣為人知的大學(xué)之一。學(xué)生從全國各地而來，希望得到羅馬法律的最好的教育。特別喜歡哲學(xué)和神學(xué)的學(xué)生去了巴黎大學(xué)。想學(xué)醫(yī)學(xué)的人去了蒙特培勒大學(xué)和薩勒努大學(xué)。題目： T F N 那時候人們之間偶爾會有法律糾紛 T F N 教授們薪水很低 T F N 中世紀的人對高等教育不感興趣第29頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：解釋性任務(wù)考察目標：合

13、理推廣的能力題目： S R N 美國2534歲的男女性完成高等教育的比例差距最小 S R N 大學(xué)入學(xué)政策對男女申請人的對待不公平 S R N 不分男女，美國2534歲的人完成基礎(chǔ)教育的比例最高國家基礎(chǔ)教育(男）高等教育(男）基礎(chǔ)教育（女）高等教育(女）德國9113.786.711.3日本89.334.291.811.5美國86.125.188.224.9第30頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：論述題材料：目前公眾普遍認為，吸煙對吸煙者本人以及吸二手煙的人的健康是有害的。許多城市已經(jīng)頒布了法律禁止在公眾場合吸煙。有人認為， 這樣的規(guī)定違反了吸煙者本人的選擇

14、自由。（A）你是否同反對禁煙的人的觀點（ B）論證你的立場第31頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：論述題理解水平詳細描述擴展性抽象水平 (Extended Abstract)該水平上的反應(yīng)不僅包括所有相關(guān)的信息，而且整合了問題中所沒有提及，然而與問題解答相關(guān)的信息。聯(lián)系水平 (Relational)該水平反應(yīng)整合了問題所提及的所有相關(guān)信息。準聯(lián)系水平 (Semi-Relational)該水平反應(yīng)將問題中提及的部分,但不是全部相關(guān)信息綜合成一個自圓其說的解答前聯(lián)系水平 (Plural)該水平上的反應(yīng)運用了問題提及的多種相關(guān)信息(不是全部),但沒有將其加以綜合

15、單一水平 (Unitary)該水平上的反應(yīng)只運用了問題提及的一種相關(guān)信息前結(jié)構(gòu)化水平 (Pre-Structural)該水平上的反應(yīng)只包括無關(guān)信息第32頁，共77頁，2022年，5月20日，16點59分，星期三開發(fā)測驗任務(wù)：表現(xiàn)性題目利用提供的工具：燈泡、電池和電線，找出左邊6個不可視箱子中是右邊五種不同組合的哪一種？注意：有兩只箱子中的東西是一樣的。 ABCDEF提示：你可以將箱子連到某個電路中兩節(jié)電池電線燈泡電池和燈泡空箱第33頁，共77頁，2022年，5月20日，16點59分，星期三測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量題目分析測驗分析使

16、用階段1階段2階段3階段4第34頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目分析1、題目效度2、題目難度3、題目區(qū)分度4、題目公平性 （題目偏差分析）第35頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目效度某個題目是否考察了我們想要考察的東西？第36頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目效度如果 X2 +X-3 =3, 那么 X=?如果 X2 +X-3 =3, 那么 X=? -2B. 1C. 2D. 3第37頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目效度項目解決

17、的認知訪談通過言語報告了解：學(xué)生對題目表述的理解是否與預(yù)期一致學(xué)生解答題目的過程是否與預(yù)期一致限制或促進學(xué)生解答的因素（題型、關(guān)鍵詞、選項）其他可能因素第38頁，共77頁，2022年，5月20日，16點59分，星期三六、Choose the word or expression which is closest in meaning to the underlined part in each sentence. A. want to B. is a shop assistant C. stopped D. people who are ill E comes home from work(

18、) 1. Lucy usually sells things to people. ( ) 2. Nurses help doctors to look after sick people.( ) 3. They would like to be policemen in the future. ( ) 4. He usually finishes work at 9 p.m. ( ) 5. My grandfather gave up smoking many years ago.ells things to people. 測驗質(zhì)量分析：題目效度第39頁，共77頁，2022年，5月20日，

19、16點59分，星期三A你能給我說說這道題的答題要求是什么嗎？S他的要求就是選擇和劃線部分意思相近的單詞。A這個大體過程中你覺得哪些答案不確定？S第5題跟第2小題。A好吧，你為什么感覺第2小題不確定呢？sick people你理解的是什么意思？S sick people就是生病的人，D的意思我沒有理解，就是D的選項。A people who are ill不太明白是什么意思對嗎？S是的A第五題你現(xiàn)在選的答案是什么？S CA那你為什么選C呢？S因為選好之后就剩最后一個了，就填上了。測驗質(zhì)量分析：題目效度第40頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目難度學(xué)生題目1

20、題目2題目3題目4題目5總分111110112101101431011015401111145110111360010097110009810111149100118101001011題目難度0.80.40.60.80.411.8第41頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目難度學(xué)生題目1題目2題目3題目4題目5總分155432192223121034433216422212955535422611223971231188413451795344319102233414題目難度3.12.73.02.72.8第42頁，共77頁，2022年，5月20日，16點5

21、9分，星期三測驗質(zhì)量分析：題目難度得分人數(shù)百分比031.5194.523919.534522.54703553417總數(shù)200100第43頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目區(qū)分度題目能否將不同水平的學(xué)生區(qū)分開來？具有區(qū)分度的題目的特征：1、測驗總分高的學(xué)生答對該題目的概率應(yīng)該高于得分低的學(xué)生 （該題目與總分有高相關(guān)）2、如果把學(xué)生按照總分分成高分組、低分組和中間組，高分組答對該題的比例應(yīng)該比低分組高第44頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目區(qū)分度第45頁，共77頁，2022年，5月20日，16點59分，星期三測驗

22、質(zhì)量分析：題目區(qū)分度第46頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目選項分析第47頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目公平性能力對照組關(guān)注組第48頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：題目公平性第49頁，共77頁，2022年，5月20日，16點59分，星期三測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量題目分析測驗分析使用階段1階段2階段3階段4第50頁，共77頁，2022年，5月20日，16點59分，星期三測驗質(zhì)量分析：測驗分析信度分析1、復(fù)本

23、信度2、再測信度3、內(nèi)在一致性信度4、決策一致性信度效度分析1、內(nèi)容方面的證據(jù)2、結(jié)構(gòu)方面的證據(jù)3、參照標準方面的證據(jù)第51頁，共77頁，2022年，5月20日，16點59分，星期三測驗分析：測驗分數(shù)某個測驗30個題目， 20個選擇題（每個2分）， 8個簡答題（每個5分），2個論述題（每個10分）第52頁，共77頁，2022年，5月20日，16點59分，星期三測驗分析：經(jīng)典測量理論觀測分數(shù)真分數(shù)測量誤差第53頁，共77頁，2022年，5月20日，16點59分，星期三測驗分析：測量誤差T=403436414445X第54頁，共77頁，2022年，5月20日，16點59分，星期三測驗分析：誤差方差

24、與標準差第55頁，共77頁，2022年，5月20日，16點59分，星期三經(jīng)典測量理論：測量誤差XT第56頁，共77頁，2022年，5月20日，16點59分，星期三經(jīng)典測量理論：（理論）信度第57頁，共77頁，2022年，5月20日，16點59分，星期三經(jīng)典測量理論：平行復(fù)本的概念1、同一測驗的兩個版本2、符合相同的測驗藍本（雙向細目表）3、相同題目難度分布和區(qū)分度分布4、每個學(xué)生在兩個版本上的真分數(shù)相同5、兩個版本的測量誤差的方差相同6、兩個版本的總分分布相同第58頁，共77頁，2022年，5月20日，16點59分，星期三復(fù)本一復(fù)本二849050319788583180778176615181

25、72626939337769767462423051695621368792656073815360復(fù)本信度第59頁，共77頁，2022年，5月20日，16點59分，星期三時間一時間二84905031978858318077817661518172626939337769767462423051695621368792656073815360再測信度第60頁，共77頁，2022年，5月20日，16點59分，星期三內(nèi)在一致性信度克朗巴赫 系數(shù)測驗中的題目之間的相關(guān)越高， 內(nèi)在一致性信度越高第61頁，共77頁，2022年，5月20日，16點59分，星期三內(nèi)在一致性信度系數(shù)第62頁，共77頁，202

26、2年，5月20日，16點59分，星期三決策一致性信度適用于標準參照測驗在標準參照測驗中，我們更關(guān)心學(xué)生是否達到預(yù)先規(guī)定的標準（達標）在常模參照測驗中，我們更關(guān)心學(xué)生與其他人相比考試成績的相對位置如何第63頁，共77頁，2022年，5月20日，16點59分，星期三決策一致性0.40.10.30.2未達標達標未達標達標基于測驗版本一的結(jié)果基于測驗版本二的結(jié)果0.70.30.50.5P=0.4+0.2=0.6第64頁，共77頁，2022年，5月20日，16點59分，星期三決策準確性0.40.20.10.3未達標達標未達標達標學(xué)生實際達標情況基于測驗分數(shù)決策結(jié)果0.50.50.60.4P=0.4+0.3=0.7第65頁，共77頁，2022年，5月20日，16點59分，星期三影響測驗信度大小的因素r =.225r =.725測驗信度系數(shù)的大小受所測樣本變異性的影響第66頁，共77頁，2022年，5月20日，16點59分，星期三影響測驗信度大小的因素