定量方法在教育中應(yīng)用03什么樣的測驗(yàn)是好測驗(yàn)

1、什么樣的測驗(yàn)是好測驗(yàn)好的測驗(yàn)?zāi)茚尫艑W(xué)生的創(chuàng)造力！丁老師是小學(xué)六年級的語文老師，他在期末考試出了附加題： 少年是寫詩的時(shí)節(jié)，駱賓王七歲就寫下了流傳千古的鵝，你還會(huì)背嗎？想不想也過一回詩人癮？如果你愿意，就請仿照下邊牛波先生的詩，選擇一件東西，發(fā)揮想象，用詩的語言寫出它的特點(diǎn)。（比比誰能寫得又短又妙，最高可得15分） 爆竹 牛波你一生只說一句話。你在孩子的手上說，你在長長的竹竿上說，有時(shí)連串說，有時(shí)你飛到天上去說。無論你怎么說，大聲小聲說，不管老爺爺和小孫孫，都喜歡聽你說。人們說不出的歡樂，你一句話就說了。 你一放手，它就飛了！ 筆 萬凱成你真可憐，一生成敗都操縱在主人手里。你在作家的手里變得高貴

2、，你在詩人手里變得優(yōu)美，有時(shí)你一生名垂青史，有時(shí)你一生默默無聞。無論你的主人是誰，一生怎樣，不管搗蛋鬼還是詩人作家，都離不開你。人們說不出的激情，你一動(dòng)就行了。 測驗(yàn)?zāi)芏髿W(xué)生的創(chuàng)造力教師出了一道練習(xí)題:“雪融化了變成什么?”絕大多數(shù)學(xué)生的回答是“變成了水”.只有一位學(xué)生寫的是“變成了春天”. x這是對自然現(xiàn)象的客觀描述，符合教師提問的意圖。“雪融化了變成春天”的答案則超出了人們的常規(guī)思維.學(xué)生用自己豐富的想象力給出了一個(gè)詩化的答案， ，但不符合“標(biāo)準(zhǔn)答案”，殊不知，學(xué)生的創(chuàng)新意識(shí)和創(chuàng)新能力也被這個(gè)“叉”扼殺在萌芽之中。一道中學(xué)歷史期末測驗(yàn)題教育測量測驗(yàn)的編制測驗(yàn)評價(jià)指標(biāo)：信度 效度 難度 區(qū)

3、分度測驗(yàn)（問卷）設(shè)計(jì)測驗(yàn)?zāi)康臏y驗(yàn)對象測驗(yàn)用途理論依據(jù)：本本-根據(jù)成熟理論 實(shí)際-來自實(shí)際需求 本本+實(shí)際Chickering model(1969)親愛的大一同學(xué): 開學(xué)到現(xiàn)在，你過得好嗎？ 有緣在大學(xué)相聚，是我們彼此的福氣。這是一份關(guān)于大學(xué)新生適應(yīng)性的調(diào)查問卷，不用署你自己的姓名，請你坦誠地回答以下問題，以便我們能夠了解新生的情況，為你們的學(xué)習(xí)和生活提供幫助；同時(shí)也為我們進(jìn)一步提高教育質(zhì)量提供寶貴的參考意見。 本問卷共有50個(gè)問題，每題得分為16分，分別代表你對此陳述從“完全符合”到“完全不符合”，請你憑第一感覺選出最能代表你看法的答案，并在相應(yīng)的數(shù)字上畫圈。例如你對“我感到睡眠不足”的說法

4、完全符合，你就在1上畫圈，即，2，3，4，5，6；若不符合就在5上畫圈，即1，2，3，4，6。如果你想了解自己的“大學(xué)適應(yīng)性”結(jié)果，可以留意網(wǎng)上通知，屆時(shí)我們會(huì)為大家解答。歡迎與我們聯(lián)系。 地址：教育系：師院辦公室B-707 電話：26535428 于老師 大一新生適應(yīng)性輔導(dǎo)小組測驗(yàn)（問卷）編制事先考慮測驗(yàn)內(nèi)容的維數(shù)使用恰當(dāng)?shù)臏y驗(yàn)形式建構(gòu)項(xiàng)目1 是 否項(xiàng)目k使用恰當(dāng)?shù)臏y驗(yàn)形式（1）主觀形式常用在編制學(xué)業(yè)成就、能力測驗(yàn)特點(diǎn)：是注重綜合性，概括性的評價(jià)。評價(jià)學(xué)生的學(xué)習(xí)能力（scholastic ability）除了評價(jià)他獲得知識(shí)的能力還應(yīng)評價(jià)他自學(xué)的能力。 2011年深圳實(shí)驗(yàn)學(xué)校自主招生部分面試題

5、請你簡要介紹自己，把你最好的一面展示出來。有兩個(gè)水桶，一個(gè)3升，一個(gè)5升，如何能倒出4升水？你在朋友聚會(huì)中一般扮演什么角色？2011年深圳中學(xué)自主招生部分面試題你最崇拜的人是誰？為什么？當(dāng)你選購學(xué)習(xí)用書的時(shí)候，考慮的因素是什么？把這些因素按照重要性排序并解釋原因。如果你乘坐宇宙飛船到達(dá)一個(gè)陌生的星球，你打算研究什么科學(xué)問題?為什么？你對“不識(shí)廬山真面目，只緣身在此山中”這句古詩怎樣理解和評價(jià)？2007年香港大學(xué)在內(nèi)地招生的面試題老人越來越多，會(huì)對這個(gè)社會(huì)產(chǎn)生什么影響？你有什么解決的辦法？北京2008年舉辦奧運(yùn)會(huì)的利與弊？香港電影為什么短期內(nèi)會(huì)發(fā)展得如此繁榮？如果給你300億，你如何改進(jìn)中國狀況

6、？比爾蓋茨從哈佛退學(xué)創(chuàng)建微軟，你認(rèn)為中途退學(xué)對個(gè)人的成功好不好？世界聯(lián)系越來越緊密，你認(rèn)為現(xiàn)在對國際人才的要求是什么？如果你跟胡錦濤總書記見面，你會(huì)跟他講什么？優(yōu)點(diǎn)？缺點(diǎn)？優(yōu)點(diǎn)： 能夠測量其它測驗(yàn)無法測出的高層次的思考能力、理解能力及表現(xiàn)能力等綜合能力缺點(diǎn)： 1. 評分的客觀性差，干擾評分的因素過多 2. 出題的信效度問題，因題量少。（2）客觀形式對錯(cuò)形式(true-false form)短答式（計(jì)算式）填空式組合形式(matching form)多項(xiàng)選擇(multiple-choice form)順序法多項(xiàng)選擇(multiple-choice form)評定尺度（Rating scale）對

7、錯(cuò)形式(true-false form)例：統(tǒng)計(jì)學(xué)中的方差指標(biāo)是用來評價(jià)數(shù)據(jù)的離散程度（對 錯(cuò) ）點(diǎn)評：這類項(xiàng)目的優(yōu)點(diǎn)：評分的客觀性高、簡單容易，回答問題時(shí)間短缺點(diǎn)：由于對錯(cuò)的絕對化作題的要求高，容易出現(xiàn)猜題現(xiàn)象，制作題量大而且高質(zhì)量的題目難作短答式（計(jì)算式）請計(jì)算下列各題 A 1/3+1/2= B 2.53.2= C 1/2-1/4= D 1/2 5/6= 填空式1879年，德國心理學(xué)家 在萊比錫建立了世界上第一個(gè)心理實(shí)驗(yàn)室。組合形式(matching form)例：請把下列作者與其作品用線連起來 作品作者A.背影1老舍B.駱駝祥子2朱自清C.故鄉(xiāng)3茅盾D.子夜4魯迅多項(xiàng)選擇(multipl

8、e-choice form)（多選一）請你選出最接近該詞匯意義的同義詞 問世 A 新書跟讀者見面 B 了解世界形勢 C 向周圍人指教 D 媽媽生孩子 E 出人頭地順序法:“你為什么而學(xué)習(xí)?” 請你按重要性的大小對以下的答案注明順序(1為最重要,2其次) （ ） A地位（ ） B名聲（ ） C收入（ ） D事業(yè)的充實(shí)（ ） E家庭幸福（價(jià)值觀調(diào)查）多項(xiàng)選擇(multiple-choice form)（可選多項(xiàng)）例：你在面試時(shí)的對策是：（可選多項(xiàng)） A. 將自己的賣點(diǎn)、志向歸納整理 B. 把不希望去的企業(yè)招聘會(huì)作為自己練兵的機(jī)會(huì) C. 突擊學(xué)習(xí)面試對策的秘笈手冊 D. 向已被錄取的人打聽該企業(yè)的情

9、況 E. 調(diào)查有關(guān)就業(yè)雜志，了解就業(yè)信息 F. 自己和幾個(gè)朋友事先練習(xí) G. 向已經(jīng)經(jīng)歷過該企業(yè)面試的人請教要點(diǎn) H. 接受模擬面試的訓(xùn)練 Rating scale評定尺度評定尺度：通過對所選的選擇項(xiàng)進(jìn)行度量。評價(jià)者的主觀判斷經(jīng)過這個(gè)選擇項(xiàng)的評定尺度達(dá)到量化。評定者與評定對象 評定者有個(gè)體差異。要對評定者進(jìn)行一定程度的訓(xùn)練，讓他們了解所評定的對象。評定者越是了解評定對象，評定結(jié)果越是接近實(shí)際。評定尺度的選擇項(xiàng)-所評項(xiàng)目的刻度 如果評定者不能充分理解選擇項(xiàng)的意味，將得不到正確的信息。不能簡單地說哪種形式最好，而要充分考慮評定者與評定對象的特點(diǎn)來設(shè)定選擇項(xiàng)。形式1：說明所評定的對象的程度，水平例1

10、 教師對于所授課的內(nèi)容A. 完全能夠把握內(nèi)容本質(zhì) B. 大體能把握內(nèi)容本質(zhì)C. 基本上能把握內(nèi)容本質(zhì)D. 不太能把握到本質(zhì) E. 完全不能把握 A非常優(yōu)秀 B比較優(yōu)秀 C一般 D比較差 E非常差注意：有趨中現(xiàn)象例2 總體評價(jià)一個(gè)人形式2：數(shù)字評定這種形式的數(shù)字表示階段，等級。評定者容易使用。如何明確告訴評定者 “20%的高分者為A”的埸合很容易使用。但是當(dāng)評定者不能充分理解實(shí)際水平與數(shù)值如何對應(yīng)時(shí)，建議少用為好。 例1 1 2 3 4 5此例是在刻度之間劃上直線，使評定者能直觀地反映水平的差異。如果要評定者通過感覺、直覺來評定關(guān)于評定對象的印象是有用的。 好 較好 一般 較差 差 1資料信息搜

11、集充分 5- 4-3-2-12資料信息緊扣主題 5- 4-3-2-1 3資料信息運(yùn)用恰當(dāng) 5- 4-3-2-1六個(gè)維度：知識(shí)結(jié)構(gòu)、教學(xué)能力、道德修養(yǎng)、創(chuàng)新精神、人格魅力、心理健康， 測驗(yàn)編輯及實(shí)施項(xiàng)目先易后難內(nèi)容有關(guān)聯(lián)的項(xiàng)目排列要適當(dāng)重要的項(xiàng)目放在中間（或中間靠前些）屬于個(gè)人信息項(xiàng)目放在最后（有時(shí)在最前）信度、效度、難度、區(qū)分度信 度 主要對整個(gè)測驗(yàn)而言效 度難 度 主要對測量的項(xiàng)目而言區(qū)分度信度信度:是測量結(jié)果的穩(wěn)定程度。即用同一測量工具反復(fù)測量某人的同一特質(zhì)，其多次測量的結(jié)果的一致性程度.信度的估計(jì)方法1.重測信度(test -retest )2.復(fù)本信度（Alternate-form)3

12、.分半信度（split-half)4.同質(zhì)性信度（homogeneity）5.評分者信度(Scorer)李老師自編了一套小學(xué)三年級漢語詞匯試卷（均為多選題，答對得1分，打錯(cuò)得0分），為了進(jìn)一步分析試卷質(zhì)量，李老師把本班40名學(xué)生每道題的得分輸入到計(jì)算機(jī)。試問，這次考試的可信度有多大？考試結(jié)果能否準(zhǔn)確反映出學(xué)生的真實(shí)水平？信度分析結(jié)果提高信度方法影響測量信度的主要因素被試主試施測情境測量工具施測的間隔時(shí)間項(xiàng)目的數(shù)量效度效度（validity):是指測驗(yàn)或問卷實(shí)際能夠測出所要測的心理特質(zhì)的程度，即指測量結(jié)果的準(zhǔn)確性和有效性的程度，也可以說是測量是否達(dá)到了預(yù)期的目的。內(nèi)容效度結(jié)構(gòu)效度實(shí)證效度人際適應(yīng)

13、（8）學(xué)習(xí)適應(yīng)（9）專業(yè)適應(yīng)（8）情緒適應(yīng)（9）想家適應(yīng)（4）經(jīng)濟(jì)適應(yīng)（7）大學(xué)新生適應(yīng)探索性因素分析結(jié)果： 驗(yàn)證性因素分析結(jié)果： 模型指標(biāo)數(shù)值2d2/dfCFIGFITLIRMSEA3027.05211222.70.9030.890.8940.041高考奇人職業(yè)考生考試的信度和效度是表征試卷質(zhì)量的兩個(gè)重要指標(biāo)?？荚嚨男哦雀?，并不一定保證考試效度也高。例如，各個(gè)中學(xué)高考前都會(huì)組織多次模擬考試，若學(xué)生幾次模擬考試成績比較穩(wěn)定，說明模擬考試的信度比較高。但是，學(xué)生參加高考后發(fā)現(xiàn)，模擬考試成績好的同學(xué)，高考成績并不理想。相反，模擬考試成績較低同學(xué)的高考分?jǐn)?shù)卻很高。很顯然，該中學(xué)的模擬考試雖然信度較高

14、，但效度低，模擬考試的質(zhì)量是不高的。難度 1.難度：是指測驗(yàn)項(xiàng)目的難易程度，是評價(jià)項(xiàng)目優(yōu)劣的指標(biāo)之一，一般用P表示。2.難度計(jì)算： （1）二分法(0、1)記分項(xiàng)目的難度計(jì)算 通過率例：在100個(gè)學(xué)生中，有65人答對第1題，則第1題的難度為 P=R/N=120/200=0.6P值越大，說明答對此題的學(xué)生人數(shù)越多，該題越容易。 極端分組法：把被試按照總分從高到低排列，分成三組，高分組為NH，低分組為NL P=（PH+PL）/2=1/2（RH/NH+RL/NL） N=NH+NL；PH=RH/NH；PL=RL/NL46%27%27%高分組低分組例：在370名學(xué)生中，高分組有70人答對第1題，低分組有4

15、0人答對第1題，請問第1題的難度是多少？解：高分組：37027%=99.9100人 同理低分組學(xué)生為100人。（2）非二分法記分項(xiàng)目的難度計(jì)算： 是被試在某一題上的平均得分 為該題的滿分例：某數(shù)學(xué)測驗(yàn)第1題滿分為15分，該題考生平均得分為9.6分，求第1題的難度解：P=9.6/15=0.64 測驗(yàn)項(xiàng)目難度的確定要視該測驗(yàn)的目的和性質(zhì)而定。一般來說，項(xiàng)目難度處于0.30.9之間比較合理。如難度過高或太低，則無法區(qū)別各被試的差異。很多人認(rèn)為 時(shí)信息最多。特別注意：不同的被試團(tuán)體有不同的項(xiàng)目難度，它受到被試團(tuán)體水平的制約。項(xiàng)目難度的意義：可以把握測驗(yàn)的難度以達(dá)到預(yù)測測驗(yàn)分?jǐn)?shù)的分布。難度可根據(jù)測驗(yàn)?zāi)康膩頉Q定：選拔，評價(jià)等測驗(yàn)的區(qū)分度1.區(qū)分度：是指測驗(yàn)項(xiàng)目對于被試反應(yīng)的區(qū)分程度和鑒別能力。 區(qū)分度用D表示，介于0，1之間，取正值，D值越大，表明區(qū)分效果越好。2.區(qū)分度的計(jì)算 （1）項(xiàng)目鑒別指數(shù)法(適用0,1記分) PH和PL分別表示高分組（前27%）和低分組（后27%）的通過率（分?jǐn)?shù)應(yīng)呈正態(tài)分布）。題目鑒別指數(shù)與評價(jià)標(biāo)準(zhǔn) 鑒別指數(shù)D題目評價(jià)0.40以上很好0.30-0.39良好、修改會(huì)更好0.20-0.29尚可、仍需修改0.19以下差、必修淘汰（2）相關(guān)法：適用于大規(guī)?；驑?biāo)準(zhǔn)化測驗(yàn)，多采用項(xiàng)目分?jǐn)?shù)與測驗(yàn)總分的相關(guān)作為項(xiàng)目的區(qū)分度指標(biāo)，相