效度和效度檢驗(yàn)

1、 效度和效度檢驗(yàn) Validity and Validation1關(guān)于效度和效度檢驗(yàn)的問(wèn)題效度的概念效度的性質(zhì)效度檢驗(yàn)的前提效度的證據(jù)效度檢驗(yàn)的設(shè)計(jì)2效度的概念現(xiàn)行美國(guó)教育和心理測(cè)試標(biāo)準(zhǔn)一書(shū)對(duì)效度作出了如下定義： Validity is a unitary concept. Although evidence may be accumulated in many ways, validity always refers to the degree to which that evidence supports the inferences that are made from the scor

2、es. The inferences regarding specific uses of a test are validated, not the test itself. 效度是一個(gè)統(tǒng)一的概念，盡管我們可以以不同的方式收集關(guān)于效度的證據(jù)，效度總是指證據(jù)支持我們從考試成績(jī)所作出的各種推測(cè)的程度，效度檢驗(yàn)檢驗(yàn)的是對(duì)考試的使用所作的推測(cè)，而不是考試本身。 3美國(guó)教育和心理測(cè)量協(xié)會(huì)（1985）： Validity means the degree to which the appropriateness,meaningfulness, and usefulness of the specific

3、 inferences made from the test scores. 效度是指根據(jù)考試分?jǐn)?shù)所作出的特定的推測(cè)的適當(dāng)、有意義和有用程度。 效度的概念4效度的性質(zhì)效度指的是考試結(jié)果解釋的合理性，它不是指考試本身。我們有時(shí)出于方便，說(shuō)“考試的效度”，實(shí)際上正確的說(shuō)法是對(duì)考試結(jié)果所做的解釋的效度。效度是就程度而言的，不是要么有效，要么無(wú)效。因此，不要說(shuō)考試結(jié)果有效或無(wú)效，而應(yīng)該從確定程度的類型的角度來(lái)考慮效度，如高效度、中等效度和低效度。效度總是與考試結(jié)果的解釋或某種特殊的用途有關(guān)。世界上沒(méi)有對(duì)所有目的都有效的考試。在討論效度時(shí)，必須考慮對(duì)考試結(jié)果所做出的專門(mén)解釋或用途?？荚嚱Y(jié)果對(duì)做出的每個(gè)不

4、同的解釋都有不同的效度。5效度的性質(zhì)效度是一個(gè)統(tǒng)一的概念。美國(guó)心理測(cè)量學(xué)會(huì)在“教育和心理測(cè)量標(biāo)準(zhǔn)”一書(shū)中，已經(jīng)拋棄了多種效度的傳統(tǒng)概念，將效度看作是以各種不同類型的證據(jù)為基礎(chǔ)的統(tǒng)一的概念。效度是一個(gè)總體的評(píng)價(jià)判斷。它要求用各種證據(jù)并且從后效影響的角度來(lái)判斷考試結(jié)果解釋和使用的合理性和合適性程度。6效度與信度概念的辨析假設(shè)有一道試題： 水稻的莖不能加粗的主要原因是莖內(nèi)沒(méi)有（ ）。 A. 形成層 B. 維管束 C. 木纖維 D. 韌皮纖維 假設(shè)試題具有下列問(wèn)題：1、有點(diǎn)科學(xué)性問(wèn)題2、考查牽涉到了化學(xué)知識(shí)3、考查了學(xué)生沒(méi)有學(xué)過(guò)的內(nèi)容4、部分考生抄了別人的正確答案提問(wèn)：這些問(wèn)題說(shuō)明這道試題是信度有問(wèn)題

5、， 還是效度有問(wèn)題？7效度檢驗(yàn)的前提條件 考試評(píng)價(jià)的目的要與考試機(jī)構(gòu)的任務(wù)和價(jià)值觀相適應(yīng) 考試應(yīng)該有利于高校選拔合格的新生；有利于促進(jìn)中學(xué)推進(jìn)素質(zhì)教育有利于培養(yǎng)學(xué)生的創(chuàng)新精神和實(shí)踐能力要明確地確定或描述要測(cè)量的心理結(jié)構(gòu)（知識(shí)、能力或其他特征），對(duì)分?jǐn)?shù)或其他評(píng)價(jià)結(jié)果要作出的解釋。測(cè)量目標(biāo)和行為標(biāo)準(zhǔn)確定結(jié)構(gòu)的特征是需要謹(jǐn)慎，只能將考試技術(shù)能夠測(cè)量的特征或行為包括在結(jié)構(gòu)的特征描述之中，不能測(cè)量的特征不能包括在其中結(jié)構(gòu)的特征一旦確定，就是排它的、武斷的。確定所要收集的證據(jù)的類型和數(shù)量8效度的證據(jù)考試內(nèi)容考生的應(yīng)答過(guò)程評(píng)分標(biāo)準(zhǔn)與定義的心理結(jié)構(gòu)及其行為標(biāo)準(zhǔn)的一致性考試的內(nèi)部結(jié)構(gòu)考試與效標(biāo)（標(biāo)準(zhǔn)）的關(guān)系9考

6、試內(nèi)容方面的證據(jù)確定每道試題測(cè)量的行為目標(biāo)，涉及到內(nèi)容領(lǐng)域那些內(nèi)容；比較考試的內(nèi)容結(jié)構(gòu)與學(xué)科內(nèi)容領(lǐng)域的結(jié)構(gòu)是否一致。收集證據(jù)的方法考試機(jī)構(gòu)自己對(duì)照考試規(guī)范或考試大綱進(jìn)行檢查發(fā)放問(wèn)卷調(diào)查表給學(xué)科教師或?qū)＜疫M(jìn)行調(diào)查 由專家按照詳細(xì)的一系列標(biāo)準(zhǔn)給每道試題和整張考卷進(jìn)行定量打分或定性評(píng)價(jià) 效度的證據(jù)內(nèi)容10效度的證據(jù)考生的應(yīng)答過(guò)程 考試是從認(rèn)知心理學(xué)的角度來(lái)看待考試結(jié)果反映考生心理結(jié)構(gòu)的程度，也就是說(shuō)從考察學(xué)生回答問(wèn)題時(shí)發(fā)生的心理過(guò)程或思維過(guò)程的角度來(lái)看待結(jié)構(gòu)效度的。使用某些問(wèn)題或試題來(lái)測(cè)量思維能力時(shí)，需要問(wèn)題或試題能夠引發(fā)考生進(jìn)行一定的思維活動(dòng)，這個(gè)活動(dòng)反過(guò)來(lái)引發(fā)考生顯示出我們希望考生顯示的行為。只

7、有在這樣的情況下，問(wèn)題才是有效的，得到的結(jié)果才能是考生某一心理結(jié)構(gòu)的測(cè)度。分析考生答題的思維過(guò)程的主要方法包括調(diào)查問(wèn)卷分析計(jì)算機(jī)模擬分析面談?dòng)涗浄治?1評(píng)分標(biāo)準(zhǔn)與定義的心理結(jié)構(gòu) 及其行為標(biāo)準(zhǔn)的一致性 命題時(shí)制定的評(píng)分標(biāo)準(zhǔn)應(yīng)該與定義的心理結(jié)構(gòu)及其行為標(biāo)準(zhǔn)相一致具體評(píng)分時(shí)，評(píng)分標(biāo)準(zhǔn)的細(xì)化應(yīng)該以行為標(biāo)準(zhǔn)的表現(xiàn)出來(lái)與否為得分步驟，而不一定是以做出來(lái)一步給多少分。有可能做出來(lái)的兩步都是一個(gè)行為表現(xiàn)。12考試與效標(biāo)的關(guān)系效度檢驗(yàn)過(guò)程中，我們還要收集另外一類證據(jù)或信息，這就是能夠證明我們的考試結(jié)果與某個(gè)其他的“標(biāo)準(zhǔn)”之間關(guān)系的證據(jù)或信息，這個(gè)“標(biāo)準(zhǔn)”與我們的考試測(cè)量了考生相同的能力，我們將這個(gè)標(biāo)準(zhǔn)稱為效標(biāo)。

8、效標(biāo)應(yīng)該是反映考生行為的另外一個(gè)考試的結(jié)果。 與效標(biāo)相關(guān)的證據(jù)研究的考試分?jǐn)?shù)與效標(biāo)考試的分?jǐn)?shù)相聯(lián)系效標(biāo)實(shí)際上是考生的某種行為表現(xiàn)，考生在該行為上的得分，可以用來(lái)預(yù)測(cè)未來(lái)。高中階段學(xué)習(xí)的效果中考大學(xué)階段的學(xué)習(xí)效果高考13考試與效標(biāo)的關(guān)系研究考試與效標(biāo)之間的相關(guān)關(guān)系根據(jù)研究考試的結(jié)果預(yù)測(cè)未來(lái)考試的結(jié)果方式線性回歸預(yù)測(cè)14考試與效標(biāo)的關(guān)系X-考試 Y-效標(biāo)x-待檢驗(yàn)的考試樣本 y-效標(biāo)考試樣本s-待檢驗(yàn)的考試樣本標(biāo)準(zhǔn)差S-待檢驗(yàn)的考試總體標(biāo)準(zhǔn)差rxy-待檢驗(yàn)的考試樣本 與效標(biāo)考試樣本間的相關(guān)關(guān)系 研究考試與效標(biāo)之間的相關(guān)關(guān)系根據(jù)研究考試的結(jié)果預(yù)測(cè)未來(lái)考試的結(jié)果方式線性回歸預(yù)測(cè)15考試與效標(biāo)的關(guān)系效標(biāo)

9、考試的類型預(yù)期效標(biāo)估計(jì)同期效標(biāo)估計(jì)預(yù)期效標(biāo)估計(jì)用分?jǐn)?shù)來(lái)預(yù)測(cè)將來(lái)的行為獲取效標(biāo)測(cè)試的相關(guān)系數(shù)對(duì)所有相關(guān)的考生進(jìn)行測(cè)試等待一定的合理的時(shí)間收集效標(biāo)測(cè)試的分?jǐn)?shù)計(jì)算相關(guān)系數(shù)16考試與效標(biāo)的關(guān)系同期效標(biāo)估計(jì)檢查與同期考試的相關(guān)關(guān)系檢查能力水平不同的考生，在兩個(gè)考試中考試結(jié)果的差別。效標(biāo)應(yīng)該是同樣類型的考試。所謂同樣類型的考試是與我們研究的考試測(cè)量相同的能力或心理結(jié)構(gòu)的考試，如果沒(méi)有這個(gè)前提，我們就失去了把二者間的相關(guān)關(guān)系解釋為效度證據(jù)的基礎(chǔ)。17考試的內(nèi)部結(jié)構(gòu)考試的結(jié)構(gòu)方面的證據(jù)考試的結(jié)構(gòu)方面的證據(jù)是要證明考試測(cè)量它所設(shè)計(jì)測(cè)量的心理結(jié)構(gòu)的精確程度結(jié)構(gòu)方面的證據(jù)的收集是一不斷的過(guò)程。不同測(cè)量目標(biāo)或行為目標(biāo)

10、之間的相關(guān)關(guān)系不同測(cè)量目標(biāo)或行為目標(biāo)的因子分析實(shí)驗(yàn)設(shè)計(jì)。18考試的內(nèi)部結(jié)構(gòu)考試的結(jié)構(gòu)方面的證據(jù)不同測(cè)量目標(biāo)或行為目標(biāo)之間的相關(guān)關(guān)系不同行為變量之間的相關(guān)關(guān)系不同行為變量與考試總分之間的相關(guān)關(guān)系。不同行為變量與考試總分減去相應(yīng)變量分?jǐn)?shù)后的相關(guān)不同測(cè)量目標(biāo)或行為目標(biāo)的因子分析19Thank You20考試內(nèi)容證據(jù)收集量表舉例21考試內(nèi)容證據(jù)收集量表舉例22考試內(nèi)容證據(jù)收集量表舉例專家姓名： 日期： 說(shuō) 明：閱讀表中每一條行為目標(biāo)，閱讀相應(yīng)試題及其評(píng)分標(biāo)準(zhǔn)，檢查試題及其評(píng)分標(biāo)準(zhǔn)與測(cè)量的行為目標(biāo)是否一致，并按照以下標(biāo)準(zhǔn)進(jìn)行評(píng)分： +1=試題與行為目標(biāo)一致或高度一致 0=試題與行為目標(biāo)大致一致 -1=試

11、題與行為目標(biāo)不一致如果對(duì)試題與行為目標(biāo)的一致性有任何評(píng)價(jià)意見(jiàn)，請(qǐng)寫(xiě)在相應(yīng)的欄目中。目標(biāo)1：理解文章的主要內(nèi)容。試題 評(píng) 分 評(píng) 價(jià) 意 見(jiàn)試題65 _ _試題66 _ _ 試題69 _ _ 目標(biāo)2：歸納文章的主旨大意。試題63 _ _ 試題67 _ _ 試題73 _ _ 23考生應(yīng)答過(guò)程分析調(diào)查問(wèn)卷表 24考生應(yīng)答過(guò)程分析面談分析 崇明島開(kāi)發(fā)前景良好的可再生能源是_（單項(xiàng)選擇）A水能 B風(fēng)能 C核能 D地?zé)崮芸荚嚱Y(jié)束后對(duì)部分考生進(jìn)行面談時(shí)發(fā)現(xiàn)，他們回答問(wèn)題時(shí)的思維過(guò)程有如下幾種：1、崇明島沒(méi)有核電站，選項(xiàng)C不對(duì)；沒(méi)有聽(tīng)說(shuō)崇明島有地?zé)豳Y源，選項(xiàng)D也不對(duì)；崇明島地處長(zhǎng)江口，靠近東海，水資源非常豐富

12、，因此，當(dāng)時(shí)選擇A為正確。2、崇明島沒(méi)有核電站，選項(xiàng)C不對(duì)；聽(tīng)說(shuō)崇明島有溫泉浴場(chǎng)，因此當(dāng)時(shí)選擇D正確。3、核能不是可再生能源，選項(xiàng)C不對(duì)；現(xiàn)在上海有很多溫泉浴場(chǎng)，估計(jì)崇明也有，因此當(dāng)時(shí)選擇D正確。 25考生應(yīng)答過(guò)程分析面談分析 崇明島開(kāi)發(fā)前景良好的可再生能源是_（單項(xiàng)選擇）A水能 B風(fēng)能 C核能 D地?zé)崮芸荚嚱Y(jié)束后對(duì)部分考生進(jìn)行面談時(shí)發(fā)現(xiàn)，他們回答問(wèn)題時(shí)的思維過(guò)程有如下幾種：4、崇明島地處長(zhǎng)江口，水資源非常豐富，因此，當(dāng)時(shí)選擇A為正確。5、核能不是可再生能源，選項(xiàng)C不對(duì)；上海鄉(xiāng)土地理書(shū)上沒(méi)有介紹過(guò)上海豐富的地?zé)豳Y源，選項(xiàng)D也不對(duì)；崇明島地勢(shì)平緩，島內(nèi)沒(méi)有大的河流，不會(huì)有豐富的水能資源，因此，選

13、項(xiàng)A也不對(duì)；那么只有選項(xiàng)B是正確的。26考生應(yīng)答過(guò)程分析面談分析 崇明島開(kāi)發(fā)前景良好的可再生能源是_（單項(xiàng)選擇）A水能 B風(fēng)能 C核能 D地?zé)崮芸荚嚱Y(jié)束后對(duì)部分考生進(jìn)行面談時(shí)發(fā)現(xiàn)，他們回答問(wèn)題時(shí)的思維過(guò)程有如下幾種：6、核能不是可再生能源，選項(xiàng)C不對(duì)；上海鄉(xiāng)土地理書(shū)上沒(méi)有介紹過(guò)上海豐富的地?zé)豳Y源，選項(xiàng)D也不對(duì)；崇明島地勢(shì)平緩，島內(nèi)沒(méi)有大的河流，不會(huì)有豐富的水能資源，因此，選項(xiàng)A也不對(duì)；崇明島地處長(zhǎng)江口，長(zhǎng)江與東海交匯處，島內(nèi)地勢(shì)平緩，附近沒(méi)有高山等阻擋，風(fēng)能應(yīng)該比較豐富，因此，選項(xiàng)B是正確的。27考生應(yīng)答過(guò)程分析面談分析 崇明島開(kāi)發(fā)前景良好的可再生能源是_（單項(xiàng)選擇）A水能 B風(fēng)能 C核能 D

14、地?zé)崮茉O(shè)計(jì)這一試題是想了解考生“分析、解釋各類地理事物的空間結(jié)構(gòu)、聯(lián)系及其發(fā)展變化規(guī)律”的能力”。從考查的行為目標(biāo)看，顯然只有第6種思維活動(dòng)是正確的思維過(guò)程。第1到4思維活動(dòng)，反映了考生這方面能力還有欠缺；第5項(xiàng)思維活動(dòng)，只是從應(yīng)試技巧的角度，排除了其他三種選擇，但并沒(méi)有真正理解為什么風(fēng)能是崇明島開(kāi)發(fā)前景良好的可再生能源。盡管其回答是正確的，但這一題上的結(jié)果并不能作為其這方面能力的標(biāo)志。28根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分 某市2004年底有住房面積1200萬(wàn)平方千米，計(jì)劃從2005年起，每年拆除20萬(wàn)平方千米的舊住房。假定該市每年新建住房面積是上年住房面積的5%。（1）分別求2005年底和2

15、006年底的住房面積；（2）求2024年底的住房面積。（計(jì)算結(jié)果以萬(wàn)平方米為單位，且精確到0.01）2005年底的住房面積為： 3分2006年底的住房面積為： 3分2024年底的住房面積為： 4分 4分29根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分2005年底的住房面積為： 3分2006年底的住房面積為： 3分2024年底的住房面積為： 4分 4分分析解決問(wèn)題的能力計(jì)算能力123寫(xiě)出求和公式1分寫(xiě)列出求和算式2分正確計(jì)算出結(jié)果3寫(xiě)出求和公式1寫(xiě)出求和算式230根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分25（8分）雞蛋不能放進(jìn)微波爐加熱，否則雞蛋會(huì)爆炸。但直接把雞蛋放在鍋里用水煮是不會(huì)爆炸的。你如何解釋這現(xiàn)象？【內(nèi)

16、容領(lǐng)域】物質(zhì)科學(xué)/運(yùn)動(dòng)與相互作用【行為目標(biāo)】理解科學(xué)原理 【難度】0.4【題型】簡(jiǎn)單題31根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分32根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分33根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分12從溫度的高低來(lái)分析 例1：因?yàn)槲⒉t是直接加熱的，很容易使雞蛋溫度過(guò)高而爆炸。而用水煮是間接加熱的，而且水的沸點(diǎn)是1000C，不會(huì)對(duì)雞蛋造成過(guò)度加熱。 例2：因?yàn)槲⒉t中的溫度超過(guò)1000C，而水中煮最多1000C，所以不會(huì)爆炸。19其他部分正確的回答。34根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分35根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分72水是濕的或微波爐內(nèi)是干的，所以爆炸 例1：因?yàn)樗且后w，而微波爐內(nèi)是干熱

17、的氣體，所以雞蛋放進(jìn)去可能會(huì)爆炸。 例2：因?yàn)殡u蛋在微波爐煮時(shí)太干，所以雞蛋會(huì)爆炸，而雞蛋在水中煮時(shí)四周都有水。79其他錯(cuò)誤回答 例1：因?yàn)樯u蛋是液體，雞蛋熟后是固體，放進(jìn)微波爐煮，生變熟后物體膨脹，所以爆炸，但放入水中煮是水的沸騰煮熟雞蛋的。 例2：因?yàn)樵谖⒉t里沒(méi)水，是像真空一樣的，而且雞蛋又有殼，而在水里煮是可以的。 例3：鍋里帶有油、水，使雞蛋滑，鍋受熱也均勻。而微波爐中，它只能燒到一面，而另一面則是生的，產(chǎn)生了溫度差。36根據(jù)測(cè)量的行為目標(biāo)的表現(xiàn)水平賦分37不同行為變量之間的相關(guān)關(guān)系基本思想考試的每一個(gè)行為變量測(cè)量的是同一測(cè)量目標(biāo)的不同的方面，它們之間既相互有聯(lián)系，又有區(qū)別，它們對(duì)

18、測(cè)量考生在所考學(xué)科方面的知識(shí)與技能、方法與能力都可以做出貢獻(xiàn)。 一般判別要求一般認(rèn)為考試不同行為變量的相關(guān)關(guān)系不應(yīng)太高，也不應(yīng)太低，一般應(yīng)該在0.3到0.6。如果兩個(gè)部分的相關(guān)系數(shù)相當(dāng)高，如0.85或0.9，就可以懷疑這兩部分是否測(cè)量了相同的行為目標(biāo)。 38不同行為變量 與考試總分之間的相關(guān)關(guān)系 基本思想總分應(yīng)該是考試的測(cè)量目標(biāo)的更加一般的測(cè)度，每一行為變量都應(yīng)該對(duì)測(cè)量目標(biāo)做出較大的貢獻(xiàn) 。 一般的判別要求某一行為變量與考試總分間的相關(guān)關(guān)系應(yīng)該比較高，一般應(yīng)在0.7以上。 39不同行為變量與考試總分 減去相應(yīng)變量分?jǐn)?shù)后的相關(guān)關(guān)系 基本思想考試總分中包含了考試各個(gè)行為變量的貢獻(xiàn)，某一行為變量與總分的相關(guān)關(guān)系實(shí)際上也受到該行為變量自相關(guān)的影響，獲得的相關(guān)系數(shù)可能偏大?；谶@個(gè)考慮，一種常見(jiàn)的做法就是：計(jì)算某一行為變量與總分的相關(guān)系數(shù)時(shí)，從總分中刪除該行為變量的分?jǐn)?shù)。一般的判別要求不同行為變量與考試總分減去相應(yīng)變量分?jǐn)?shù)后的相關(guān)關(guān)系 ，如果仍然能在0.7以上就很好了。 40內(nèi)部結(jié)構(gòu)方面的證據(jù) 變量之間的相關(guān)關(guān)系41因子分析（Factor Analysis） 因子分析的基本思想用少數(shù)的假設(shè)變量來(lái)代替觀察的變量。用因