效度和效度檢驗

1、 效度和效度檢驗 Validity and Validation1關于效度和效度檢驗的問題效度的概念效度的性質(zhì)效度檢驗的前提效度的證據(jù)效度檢驗的設計2效度的概念現(xiàn)行美國教育和心理測試標準一書對效度作出了如下定義： Validity is a unitary concept. Although evidence may be accumulated in many ways, validity always refers to the degree to which that evidence supports the inferences that are made from the scor

2、es. The inferences regarding specific uses of a test are validated, not the test itself. 效度是一個統(tǒng)一的概念，盡管我們可以以不同的方式收集關于效度的證據(jù)，效度總是指證據(jù)支持我們從考試成績所作出的各種推測的程度，效度檢驗檢驗的是對考試的使用所作的推測，而不是考試本身。 3美國教育和心理測量協(xié)會（1985）： Validity means the degree to which the appropriateness,meaningfulness, and usefulness of the specific

3、 inferences made from the test scores. 效度是指根據(jù)考試分數(shù)所作出的特定的推測的適當、有意義和有用程度。 效度的概念4效度的性質(zhì)效度指的是考試結果解釋的合理性，它不是指考試本身。我們有時出于方便，說“考試的效度”，實際上正確的說法是對考試結果所做的解釋的效度。效度是就程度而言的，不是要么有效，要么無效。因此，不要說考試結果有效或無效，而應該從確定程度的類型的角度來考慮效度，如高效度、中等效度和低效度。效度總是與考試結果的解釋或某種特殊的用途有關。世界上沒有對所有目的都有效的考試。在討論效度時，必須考慮對考試結果所做出的專門解釋或用途?？荚嚱Y果對做出的每個不

4、同的解釋都有不同的效度。5效度的性質(zhì)效度是一個統(tǒng)一的概念。美國心理測量學會在“教育和心理測量標準”一書中，已經(jīng)拋棄了多種效度的傳統(tǒng)概念，將效度看作是以各種不同類型的證據(jù)為基礎的統(tǒng)一的概念。效度是一個總體的評價判斷。它要求用各種證據(jù)并且從后效影響的角度來判斷考試結果解釋和使用的合理性和合適性程度。6效度與信度概念的辨析假設有一道試題： 水稻的莖不能加粗的主要原因是莖內(nèi)沒有（ ）。 A. 形成層 B. 維管束 C. 木纖維 D. 韌皮纖維 假設試題具有下列問題：1、有點科學性問題2、考查牽涉到了化學知識3、考查了學生沒有學過的內(nèi)容4、部分考生抄了別人的正確答案提問：這些問題說明這道試題是信度有問題

5、， 還是效度有問題？7效度檢驗的前提條件 考試評價的目的要與考試機構的任務和價值觀相適應 考試應該有利于高校選拔合格的新生；有利于促進中學推進素質(zhì)教育有利于培養(yǎng)學生的創(chuàng)新精神和實踐能力要明確地確定或描述要測量的心理結構（知識、能力或其他特征），對分數(shù)或其他評價結果要作出的解釋。測量目標和行為標準確定結構的特征是需要謹慎，只能將考試技術能夠測量的特征或行為包括在結構的特征描述之中，不能測量的特征不能包括在其中結構的特征一旦確定，就是排它的、武斷的。確定所要收集的證據(jù)的類型和數(shù)量8效度的證據(jù)考試內(nèi)容考生的應答過程評分標準與定義的心理結構及其行為標準的一致性考試的內(nèi)部結構考試與效標（標準）的關系9考

6、試內(nèi)容方面的證據(jù)確定每道試題測量的行為目標，涉及到內(nèi)容領域那些內(nèi)容；比較考試的內(nèi)容結構與學科內(nèi)容領域的結構是否一致。收集證據(jù)的方法考試機構自己對照考試規(guī)范或考試大綱進行檢查發(fā)放問卷調(diào)查表給學科教師或專家進行調(diào)查 由專家按照詳細的一系列標準給每道試題和整張考卷進行定量打分或定性評價 效度的證據(jù)內(nèi)容10效度的證據(jù)考生的應答過程 考試是從認知心理學的角度來看待考試結果反映考生心理結構的程度，也就是說從考察學生回答問題時發(fā)生的心理過程或思維過程的角度來看待結構效度的。使用某些問題或試題來測量思維能力時，需要問題或試題能夠引發(fā)考生進行一定的思維活動，這個活動反過來引發(fā)考生顯示出我們希望考生顯示的行為。只

7、有在這樣的情況下，問題才是有效的，得到的結果才能是考生某一心理結構的測度。分析考生答題的思維過程的主要方法包括調(diào)查問卷分析計算機模擬分析面談記錄分析11評分標準與定義的心理結構 及其行為標準的一致性 命題時制定的評分標準應該與定義的心理結構及其行為標準相一致具體評分時，評分標準的細化應該以行為標準的表現(xiàn)出來與否為得分步驟，而不一定是以做出來一步給多少分。有可能做出來的兩步都是一個行為表現(xiàn)。12考試與效標的關系效度檢驗過程中，我們還要收集另外一類證據(jù)或信息，這就是能夠證明我們的考試結果與某個其他的“標準”之間關系的證據(jù)或信息，這個“標準”與我們的考試測量了考生相同的能力，我們將這個標準稱為效標。

8、效標應該是反映考生行為的另外一個考試的結果。 與效標相關的證據(jù)研究的考試分數(shù)與效標考試的分數(shù)相聯(lián)系效標實際上是考生的某種行為表現(xiàn)，考生在該行為上的得分，可以用來預測未來。高中階段學習的效果中考大學階段的學習效果高考13考試與效標的關系研究考試與效標之間的相關關系根據(jù)研究考試的結果預測未來考試的結果方式線性回歸預測14考試與效標的關系X-考試 Y-效標x-待檢驗的考試樣本 y-效標考試樣本s-待檢驗的考試樣本標準差S-待檢驗的考試總體標準差rxy-待檢驗的考試樣本 與效標考試樣本間的相關關系 研究考試與效標之間的相關關系根據(jù)研究考試的結果預測未來考試的結果方式線性回歸預測15考試與效標的關系效標

9、考試的類型預期效標估計同期效標估計預期效標估計用分數(shù)來預測將來的行為獲取效標測試的相關系數(shù)對所有相關的考生進行測試等待一定的合理的時間收集效標測試的分數(shù)計算相關系數(shù)16考試與效標的關系同期效標估計檢查與同期考試的相關關系檢查能力水平不同的考生，在兩個考試中考試結果的差別。效標應該是同樣類型的考試。所謂同樣類型的考試是與我們研究的考試測量相同的能力或心理結構的考試，如果沒有這個前提，我們就失去了把二者間的相關關系解釋為效度證據(jù)的基礎。17考試的內(nèi)部結構考試的結構方面的證據(jù)考試的結構方面的證據(jù)是要證明考試測量它所設計測量的心理結構的精確程度結構方面的證據(jù)的收集是一不斷的過程。不同測量目標或行為目標

10、之間的相關關系不同測量目標或行為目標的因子分析實驗設計。18考試的內(nèi)部結構考試的結構方面的證據(jù)不同測量目標或行為目標之間的相關關系不同行為變量之間的相關關系不同行為變量與考試總分之間的相關關系。不同行為變量與考試總分減去相應變量分數(shù)后的相關不同測量目標或行為目標的因子分析19Thank You20考試內(nèi)容證據(jù)收集量表舉例21考試內(nèi)容證據(jù)收集量表舉例22考試內(nèi)容證據(jù)收集量表舉例專家姓名： 日期： 說 明：閱讀表中每一條行為目標，閱讀相應試題及其評分標準，檢查試題及其評分標準與測量的行為目標是否一致，并按照以下標準進行評分： +1=試題與行為目標一致或高度一致 0=試題與行為目標大致一致 -1=試

11、題與行為目標不一致如果對試題與行為目標的一致性有任何評價意見，請寫在相應的欄目中。目標1：理解文章的主要內(nèi)容。試題 評 分 評 價 意 見試題65 _ _試題66 _ _ 試題69 _ _ 目標2：歸納文章的主旨大意。試題63 _ _ 試題67 _ _ 試題73 _ _ 23考生應答過程分析調(diào)查問卷表 24考生應答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風能 C核能 D地熱能考試結束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：1、崇明島沒有核電站，選項C不對；沒有聽說崇明島有地熱資源，選項D也不對；崇明島地處長江口，靠近東海，水資源非常豐富

12、，因此，當時選擇A為正確。2、崇明島沒有核電站，選項C不對；聽說崇明島有溫泉浴場，因此當時選擇D正確。3、核能不是可再生能源，選項C不對；現(xiàn)在上海有很多溫泉浴場，估計崇明也有，因此當時選擇D正確。 25考生應答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風能 C核能 D地熱能考試結束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：4、崇明島地處長江口，水資源非常豐富，因此，當時選擇A為正確。5、核能不是可再生能源，選項C不對；上海鄉(xiāng)土地理書上沒有介紹過上海豐富的地熱資源，選項D也不對；崇明島地勢平緩，島內(nèi)沒有大的河流，不會有豐富的水能資源，因此，選

13、項A也不對；那么只有選項B是正確的。26考生應答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風能 C核能 D地熱能考試結束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：6、核能不是可再生能源，選項C不對；上海鄉(xiāng)土地理書上沒有介紹過上海豐富的地熱資源，選項D也不對；崇明島地勢平緩，島內(nèi)沒有大的河流，不會有豐富的水能資源，因此，選項A也不對；崇明島地處長江口，長江與東海交匯處，島內(nèi)地勢平緩，附近沒有高山等阻擋，風能應該比較豐富，因此，選項B是正確的。27考生應答過程分析面談分析 崇明島開發(fā)前景良好的可再生能源是_（單項選擇）A水能 B風能 C核能 D

14、地熱能設計這一試題是想了解考生“分析、解釋各類地理事物的空間結構、聯(lián)系及其發(fā)展變化規(guī)律”的能力”。從考查的行為目標看，顯然只有第6種思維活動是正確的思維過程。第1到4思維活動，反映了考生這方面能力還有欠缺；第5項思維活動，只是從應試技巧的角度，排除了其他三種選擇，但并沒有真正理解為什么風能是崇明島開發(fā)前景良好的可再生能源。盡管其回答是正確的，但這一題上的結果并不能作為其這方面能力的標志。28根據(jù)測量的行為目標的表現(xiàn)水平賦分 某市2004年底有住房面積1200萬平方千米，計劃從2005年起，每年拆除20萬平方千米的舊住房。假定該市每年新建住房面積是上年住房面積的5%。（1）分別求2005年底和2

15、006年底的住房面積；（2）求2024年底的住房面積。（計算結果以萬平方米為單位，且精確到0.01）2005年底的住房面積為： 3分2006年底的住房面積為： 3分2024年底的住房面積為： 4分 4分29根據(jù)測量的行為目標的表現(xiàn)水平賦分2005年底的住房面積為： 3分2006年底的住房面積為： 3分2024年底的住房面積為： 4分 4分分析解決問題的能力計算能力123寫出求和公式1分寫列出求和算式2分正確計算出結果3寫出求和公式1寫出求和算式230根據(jù)測量的行為目標的表現(xiàn)水平賦分25（8分）雞蛋不能放進微波爐加熱，否則雞蛋會爆炸。但直接把雞蛋放在鍋里用水煮是不會爆炸的。你如何解釋這現(xiàn)象？【內(nèi)

16、容領域】物質(zhì)科學/運動與相互作用【行為目標】理解科學原理 【難度】0.4【題型】簡單題31根據(jù)測量的行為目標的表現(xiàn)水平賦分32根據(jù)測量的行為目標的表現(xiàn)水平賦分33根據(jù)測量的行為目標的表現(xiàn)水平賦分12從溫度的高低來分析 例1：因為微波爐是直接加熱的，很容易使雞蛋溫度過高而爆炸。而用水煮是間接加熱的，而且水的沸點是1000C，不會對雞蛋造成過度加熱。 例2：因為微波爐中的溫度超過1000C，而水中煮最多1000C，所以不會爆炸。19其他部分正確的回答。34根據(jù)測量的行為目標的表現(xiàn)水平賦分35根據(jù)測量的行為目標的表現(xiàn)水平賦分72水是濕的或微波爐內(nèi)是干的，所以爆炸 例1：因為水是液體，而微波爐內(nèi)是干熱

17、的氣體，所以雞蛋放進去可能會爆炸。 例2：因為雞蛋在微波爐煮時太干，所以雞蛋會爆炸，而雞蛋在水中煮時四周都有水。79其他錯誤回答 例1：因為生雞蛋是液體，雞蛋熟后是固體，放進微波爐煮，生變熟后物體膨脹，所以爆炸，但放入水中煮是水的沸騰煮熟雞蛋的。 例2：因為在微波爐里沒水，是像真空一樣的，而且雞蛋又有殼，而在水里煮是可以的。 例3：鍋里帶有油、水，使雞蛋滑，鍋受熱也均勻。而微波爐中，它只能燒到一面，而另一面則是生的，產(chǎn)生了溫度差。36根據(jù)測量的行為目標的表現(xiàn)水平賦分37不同行為變量之間的相關關系基本思想考試的每一個行為變量測量的是同一測量目標的不同的方面，它們之間既相互有聯(lián)系，又有區(qū)別，它們對

18、測量考生在所考學科方面的知識與技能、方法與能力都可以做出貢獻。 一般判別要求一般認為考試不同行為變量的相關關系不應太高，也不應太低，一般應該在0.3到0.6。如果兩個部分的相關系數(shù)相當高，如0.85或0.9，就可以懷疑這兩部分是否測量了相同的行為目標。 38不同行為變量 與考試總分之間的相關關系 基本思想總分應該是考試的測量目標的更加一般的測度，每一行為變量都應該對測量目標做出較大的貢獻 。 一般的判別要求某一行為變量與考試總分間的相關關系應該比較高，一般應在0.7以上。 39不同行為變量與考試總分 減去相應變量分數(shù)后的相關關系 基本思想考試總分中包含了考試各個行為變量的貢獻，某一行為變量與總分的相關關系實際上也受到該行為變量自相關的影響，獲得的相關系數(shù)可能偏大?；谶@個考慮，一種常見的做法就是：計算某一行為變量與總分的相關系數(shù)時，從總分中刪除該行為變量的分數(shù)。一般的判別要求不同行為變量與考試總分減去相應變量分數(shù)后的相關關系 ，如果仍然能在0.7以上就很好了。 40內(nèi)部結構方面的證據(jù) 變量之間的相關關系41因子分析（Factor Analysis） 因子分析的基本思想用少數(shù)的假設變量來代替觀察的變量。用因