如何評判測試的質(zhì)量課件

如何評判測試的質(zhì)量效度與信度如何評判測試的質(zhì)量效度與信度1一、效度(Validity)定義：效度，又稱有效性，它是指一套測試所考的是否就是設計人想要考的內(nèi)容，或者說，在多大程度上考了想要考的。（劉潤清，韓寶成：2000）效度指證據(jù)支持我們根據(jù)測試分數(shù)作出的推論的程度。（王振亞：2009）效度就是考試達到其預期測試意圖的程度。（鄒申，楊任明：2000）一、效度(Validity)定義：2一、效度(Validity)分類內(nèi)容效度結(jié)構(gòu)效度尺度關聯(lián)效度預測效度共時效度表面效度反應效度后效效度內(nèi)在效度外在效度使用效度超考試效度一、效度(Validity)分類內(nèi)在效度外在效度使用效度超考3一、效度(Validity)內(nèi)容效度(contentValidity)指測試是否考了考試大綱規(guī)定要考的，或者說考試的題目在多大程度上能代表它所要測量的目標。內(nèi)容效度研究關注測量工具內(nèi)容上的代表性或所選內(nèi)容樣本的充分性。如何檢驗內(nèi)容效度：測試的內(nèi)容是否和測試目標有關測試內(nèi)容（試題）是否具有代表性測試內(nèi)容是否適合測試對象如何保證測試內(nèi)容的高效度：命題前要根據(jù)考試大綱、教學內(nèi)容和教學目標，制定考試內(nèi)容細目表，再按照這個表去編制試題。題目編制好后，要請有經(jīng)驗的老師或?qū)＜覍忛啞Ｒ?、效?Validity)內(nèi)容效度(contentVa4一、效度(Validity)結(jié)構(gòu)效度(constructvalidity)結(jié)構(gòu)效度指測試是否依有效的語言觀（包括語言學習觀和語言運用觀）為依據(jù)。這里的結(jié)構(gòu)不是指試卷的結(jié)構(gòu)或題目的編排，而是指整個考試的理論基礎。結(jié)構(gòu)效度是所有其它效度之本。結(jié)構(gòu)效度決定了整個考試的性質(zhì)，決定了考試屬于哪一代體系。一項測試的結(jié)構(gòu)效度的高低是指考試的結(jié)果能在多大程度上解釋人的語言能力及與語言能力有關的心理特征。一、效度(Validity)結(jié)構(gòu)效度(constructv5一、效度(Validity)尺度關聯(lián)效度（criterion-relatedvalidity）主要指本考試與某一個“獨立并且相當可靠的學生能力測量工具”之間的關聯(lián)程度。共時效度（concurrentvalidity）預測效度（predictivevalidity）共同點都是借用另一個考試來作為驗證標準。即對用一個受試群進行兩次考試。第一次考的是需要驗證的考試，第二次考的是借作驗證標準的考試。然后計算兩次考試結(jié)果分數(shù)的高低排列的相關系數(shù)，作為效度數(shù)據(jù)。一、效度(Validity)尺度關聯(lián)效度（criterion6一、效度(Validity)不同點：考試時間不同。驗證共時效度，要求兩次考試在受試群的目標能力還不可能產(chǎn)生變化的時間之內(nèi)舉行；驗證預測效度，要求第二次考試在受試群的目標能力應該已經(jīng)有所發(fā)展或變化之后舉行。對作為驗證的試卷的要求不同。共時效度中使用的尺度也不一定是一份公認的試卷，比如教師對學生的排序也可以作為參照尺度?？荚嚹康牟煌?。共時效度說明考試是否能判斷受試者目標能力的當前現(xiàn)狀；預測效度說明考試是否能預測受試者目標能力將來的發(fā)展。一、效度(Validity)不同點：7一、效度(Validity)表面效度（facevalidity）指由非測試專家（教育機構(gòu)的主管人員、未經(jīng)測試理論與實踐培訓的教師和學生等）對某一測試的內(nèi)容和形式適合于測試目標的程度的主觀判斷。一、效度(Validity)表面效度（facevalidi8一、效度(Validity)反應效度（responsevalidity）指的是研究收集有關應試者答題策略和風格的數(shù)據(jù)來確定測試的合理性程度。反應效度研究的是測試的過程，關注的是受試者做題的時候是否按試題設計的要求去作出反應。一、效度(Validity)反應效度（responseva9一、效度(Validity)后效效度（backwashvalidity）指的是考試對教學是不是有良好的后效效應，是否有利于改進教學。后效效度讓考試給教學帶來一種良好的導向作用。一、效度(Validity)后效效度（backwashva10二、信度(Reliability)信度是評價測試質(zhì)量的另一個重要指標。信度指測試分數(shù)的穩(wěn)定性、一致性和沒有測量誤差的程度。有高信度的分數(shù)具有精確性，沒有或很少有測量誤差。測試在不同的測試環(huán)境下實施，其結(jié)果應具有可復制性。信度通常以兩次測試結(jié)果的相關系數(shù)來表示，這個相關系數(shù)稱為信度系數(shù)（coefficientofreliability）。相關程度越高，信度也越高。二、信度(Reliability)信度是評價測試質(zhì)量的另一個11二、信度(Reliability)檢驗測試信度的方法：考后復考法用同一套試題，在考后較短時間內(nèi)對同一組學生再考一次，然后將兩次測試考生分數(shù)排序，計算其相關性，以驗證考試的信度。平行試題法設計一套形式及內(nèi)容與原題平行的試題，讓同一組學生在連續(xù)時間內(nèi)或極短時間內(nèi)考這兩套試題，然后計算兩次成績高低排列的相關。試題分半法只進行一次測試，然后將試題的題號按奇偶數(shù)分為兩半，計算兩半所得分數(shù)的高低排列的相關性。二、信度(Reliability)檢驗測試信度的方法：12二、信度(Reliability)評分人信度（scorerorraterreliability)指的是評分人影響測試分數(shù)穩(wěn)定性的程度。評分人內(nèi)部信度同一評分人給不同測試評分的標準能否始終保持一致評分人之間信度不同的評分人給相同的或不同的測試評分的標準能否保持一致從某種意義上說，主觀性測試的質(zhì)量主要靠評分人來保證。二、信度(Reliability)評分人信度（scorer13二、信度(Reliability)影響測試信度的因素試題的量是否足夠大。題目是否屬于同一性質(zhì)。題目的區(qū)分度是否高?？荚囍g的差異性是否大。題目難易度是否適中。評分是否客觀。二、信度(Reliability)影響測試信度的因素14三、效度和信度之間的關系相互依存，又相互排斥。信度差則效度差，但效度差不一定信度差。不能片面求其一，舍其二。應采用一種積極平衡的態(tài)度。三、效度和信度之間的關系相互依存，又相互排斥。15Backman的觀點：效度和信度是一個共同問題的兩個互補的方面。信度：考生的考試表現(xiàn)中有多少是由測量誤差，或者說人們想測的語言能力之外的其它因素引起的；并且怎樣最大限度地減少這些因素對考試的影響。效度：考生的考試表現(xiàn)中有多大部分是由欲測的語言能力引起，并且怎樣最大限度地加大這一因素對考試分數(shù)的影響。Backman的觀點：16如何評判測試的質(zhì)量效度與信度如何評判測試的質(zhì)量效度與信度17一、效度(Validity)定義：效度，又稱有效性，它是指一套測試所考的是否就是設計人想要考的內(nèi)容，或者說，在多大程度上考了想要考的。（劉潤清，韓寶成：2000）效度指證據(jù)支持我們根據(jù)測試分數(shù)作出的推論的程度。（王振亞：2009）效度就是考試達到其預期測試意圖的程度。（鄒申，楊任明：2000）一、效度(Validity)定義：18一、效度(Validity)分類內(nèi)容效度結(jié)構(gòu)效度尺度關聯(lián)效度預測效度共時效度表面效度反應效度后效效度內(nèi)在效度外在效度使用效度超考試效度一、效度(Validity)分類內(nèi)在效度外在效度使用效度超考19一、效度(Validity)內(nèi)容效度(contentValidity)指測試是否考了考試大綱規(guī)定要考的，或者說考試的題目在多大程度上能代表它所要測量的目標。內(nèi)容效度研究關注測量工具內(nèi)容上的代表性或所選內(nèi)容樣本的充分性。如何檢驗內(nèi)容效度：測試的內(nèi)容是否和測試目標有關測試內(nèi)容（試題）是否具有代表性測試內(nèi)容是否適合測試對象如何保證測試內(nèi)容的高效度：命題前要根據(jù)考試大綱、教學內(nèi)容和教學目標，制定考試內(nèi)容細目表，再按照這個表去編制試題。題目編制好后，要請有經(jīng)驗的老師或?qū)＜覍忛啞Ｒ?、效?Validity)內(nèi)容效度(contentVa20一、效度(Validity)結(jié)構(gòu)效度(constructvalidity)結(jié)構(gòu)效度指測試是否依有效的語言觀（包括語言學習觀和語言運用觀）為依據(jù)。這里的結(jié)構(gòu)不是指試卷的結(jié)構(gòu)或題目的編排，而是指整個考試的理論基礎。結(jié)構(gòu)效度是所有其它效度之本。結(jié)構(gòu)效度決定了整個考試的性質(zhì)，決定了考試屬于哪一代體系。一項測試的結(jié)構(gòu)效度的高低是指考試的結(jié)果能在多大程度上解釋人的語言能力及與語言能力有關的心理特征。一、效度(Validity)結(jié)構(gòu)效度(constructv21一、效度(Validity)尺度關聯(lián)效度（criterion-relatedvalidity）主要指本考試與某一個“獨立并且相當可靠的學生能力測量工具”之間的關聯(lián)程度。共時效度（concurrentvalidity）預測效度（predictivevalidity）共同點都是借用另一個考試來作為驗證標準。即對用一個受試群進行兩次考試。第一次考的是需要驗證的考試，第二次考的是借作驗證標準的考試。然后計算兩次考試結(jié)果分數(shù)的高低排列的相關系數(shù)，作為效度數(shù)據(jù)。一、效度(Validity)尺度關聯(lián)效度（criterion22一、效度(Validity)不同點：考試時間不同。驗證共時效度，要求兩次考試在受試群的目標能力還不可能產(chǎn)生變化的時間之內(nèi)舉行；驗證預測效度，要求第二次考試在受試群的目標能力應該已經(jīng)有所發(fā)展或變化之后舉行。對作為驗證的試卷的要求不同。共時效度中使用的尺度也不一定是一份公認的試卷，比如教師對學生的排序也可以作為參照尺度?？荚嚹康牟煌?。共時效度說明考試是否能判斷受試者目標能力的當前現(xiàn)狀；預測效度說明考試是否能預測受試者目標能力將來的發(fā)展。一、效度(Validity)不同點：23一、效度(Validity)表面效度（facevalidity）指由非測試專家（教育機構(gòu)的主管人員、未經(jīng)測試理論與實踐培訓的教師和學生等）對某一測試的內(nèi)容和形式適合于測試目標的程度的主觀判斷。一、效度(Validity)表面效度（facevalidi24一、效度(Validity)反應效度（responsevalidity）指的是研究收集有關應試者答題策略和風格的數(shù)據(jù)來確定測試的合理性程度。反應效度研究的是測試的過程，關注的是受試者做題的時候是否按試題設計的要求去作出反應。一、效度(Validity)反應效度（responseva25一、效度(Validity)后效效度（backwashvalidity）指的是考試對教學是不是有良好的后效效應，是否有利于改進教學。后效效度讓考試給教學帶來一種良好的導向作用。一、效度(Validity)后效效度（backwashva26二、信度(Reliability)信度是評價測試質(zhì)量的另一個重要指標。信度指測試分數(shù)的穩(wěn)定性、一致性和沒有測量誤差的程度。有高信度的分數(shù)具有精確性，沒有或很少有測量誤差。測試在不同的測試環(huán)境下實施，其結(jié)果應具有可復制性。信度通常以兩次測試結(jié)果的相關系數(shù)來表示，這個相關系數(shù)稱為信度系數(shù)（coefficientofreliability）。相關程度越高，信度也越高。二、信度(Reliability)信度是評價測試質(zhì)量的另一個27二、信度(Reliability)檢驗測試信度的方法：考后復考法用同一套試題，在考后較短時間內(nèi)對同一組學生再考一次，然后將兩次測試考生分數(shù)排序，計算其相關性，以驗證考試的信度。平行試題法設計一套形式及內(nèi)容與原題平行的試題，讓同一組學生在連續(xù)時間內(nèi)或極短時間內(nèi)考這兩套試題，然后計算兩次成績高低排列的相關。試題分半法只進行一次測試，然后將試題的題號按奇偶數(shù)分為兩半，計算兩半所得分數(shù)的高低排列的相關性。二、信度(Reliability)檢驗測試信度的方法：28二、信度(Reliability)評分人信度（scorerorraterreliability)指的是評分人影響測試分數(shù)穩(wěn)定性的程度。評分人內(nèi)部信度同一評分人給不同測試評分的標準能否始終保持一致評分人之間信度不同的評分人給相同的或不同的測試評分的標準能否保持一致從某種意義上說，主觀性測試的質(zhì)量主要靠評分人來保證。二、信度(Reliability)評分人信度（scorer29二、信度(Reliability)影響測試信度的因素試題的量是否足夠大。題目是否屬于同一性質(zhì)。題目的區(qū)分度是否高?？荚囍g的差異性是否大。題目難易度是否適中。評分是否客觀。二、信度(Reliabilit