第七章 地理測(cè)試命題質(zhì)量分析.pdf

地理教育測(cè)量與評(píng)價(jià) 西南大學(xué) 地理科學(xué)學(xué)院 蘇迎春 2011年10月 西南大學(xué) 地理科學(xué)學(xué)院 蘇迎春 2011年10月 第七章 地理測(cè)試命題質(zhì)量分析 第一節(jié) 試題質(zhì)量的初步評(píng)價(jià) 第二節(jié) 試題的信度 第三節(jié) 試題的效度 第四節(jié) 項(xiàng)目質(zhì)量評(píng)價(jià) 第一節(jié) 試題質(zhì)量的初步評(píng)價(jià) 第二節(jié) 試題的信度 第三節(jié) 試題的效度 第四節(jié) 項(xiàng)目質(zhì)量評(píng)價(jià) 第一節(jié) 試題質(zhì)量的初步評(píng)價(jià)第一節(jié) 試題質(zhì)量的初步評(píng)價(jià) 一 測(cè)驗(yàn)分?jǐn)?shù)的分布狀態(tài) 二 平均分 三 標(biāo)準(zhǔn)差 一 測(cè)驗(yàn)分?jǐn)?shù)的分布狀態(tài) 二 平均分 三 標(biāo)準(zhǔn)差 一 測(cè)驗(yàn)分?jǐn)?shù)的分布狀態(tài)一 測(cè)驗(yàn)分?jǐn)?shù)的分布狀態(tài) 1 表示形式 表示形式 頻數(shù)直方圖或頻數(shù)多邊圖 頻數(shù)是指在某分?jǐn)?shù)段中出現(xiàn)測(cè)驗(yàn)分?jǐn)?shù)的次 數(shù) 2 作用 作用 通過(guò)對(duì)測(cè)驗(yàn)分?jǐn)?shù)分布狀態(tài)的描述 可以從一個(gè) 側(cè)面反映出試題的質(zhì)量水平 3 頻數(shù)直方圖制作步驟 頻數(shù)直方圖制作步驟 第一步 求全距第一步 求全距 全距是指要處理的所有測(cè)驗(yàn)分?jǐn)?shù)中最高分與最低分 的差 一般用R來(lái)表示 即 R 最高分?jǐn)?shù) 最低分?jǐn)?shù) 全距的作用 反映全部測(cè)驗(yàn)分?jǐn)?shù)的分布范圍 全距的作用 反映全部測(cè)驗(yàn)分?jǐn)?shù)的分布范圍 第二步 定組數(shù)第二步 定組數(shù) 組數(shù)一般根據(jù)全距R和測(cè)驗(yàn)分?jǐn)?shù)的個(gè)數(shù)n來(lái)確定 用I 表示 R值越大 測(cè)驗(yàn)分?jǐn)?shù)的個(gè)數(shù)n越多 組數(shù)就會(huì)越 多 第三步 定組距第三步 定組距 組距即為全距R與組數(shù)I相除后取整 第四步 確定組限第四步 確定組限 根據(jù)組距和全距確定每組的上限和下限 通常約定 每組只含下限 不含上限 即每組都是左閉右開(kāi)區(qū)間 第五步 求組中值第五步 求組中值 即求每組的中點(diǎn)值 用M表示 其方法為 M 組實(shí)際下限 0 5ZR 第六步 列頻數(shù)分布表第六步 列頻數(shù)分布表 統(tǒng)計(jì)落在每個(gè)組中的測(cè)驗(yàn)分?jǐn)?shù)的個(gè)數(shù) 即每個(gè)組的 頻數(shù) 將其填入頻數(shù)分布表的相應(yīng)位置 第七步 根據(jù)頻數(shù)分市表繪制頻數(shù)直方圖第七步 根據(jù)頻數(shù)分市表繪制頻數(shù)直方圖 方法 在一個(gè)直角坐標(biāo)系中 以橫坐標(biāo)表示測(cè)驗(yàn)分 數(shù) 從左到右標(biāo)出各組分?jǐn)?shù)的組中值 用縱坐標(biāo)表示頻 數(shù) 從上到下等距地標(biāo)出頻數(shù)數(shù)值 分別以各組的組距 為底邊 以組中值作為底邊的中點(diǎn) 頻數(shù)為高 對(duì)每組 作矩形 4 頻數(shù)多邊形圖 曲線(xiàn)圖 制作 頻數(shù)多邊形圖 曲線(xiàn)圖 制作 方法與直方圖類(lèi)似 5 示例 示例 6 結(jié)果分析 結(jié)果分析 1 分布曲線(xiàn)的幾種形態(tài)及其意義 分布曲線(xiàn)的幾種形態(tài)及其意義 正態(tài)分布 表明在高分段稠低分 段的人數(shù)明顯少于中間分?jǐn)?shù)段的 人 說(shuō)明試題設(shè)計(jì)比較合理 試 題難度 區(qū)分度分布正常 正偏態(tài)分布 低分段出現(xiàn) 的人數(shù)明顯偏多 說(shuō)明難 度偏高的題目多 試題難 度過(guò)高 呈負(fù)偏態(tài)分布 高分段出 現(xiàn)的人數(shù)偏多 說(shuō)明難度 偏低的題較多 試題難度 偏低 呈高峰形的正態(tài)分布 中間段 分?jǐn)?shù)出現(xiàn)的人數(shù)特別集中 學(xué)生之間的差距沒(méi)有拉開(kāi) 說(shuō)明中等難度的題目比例過(guò) 高 試題區(qū)分度較差 平峰形的正態(tài)分布 各分 數(shù)段出現(xiàn)人數(shù)的差異較 小 說(shuō)明試題中不同難度 題目的比例比較接近 雙峰形分布 高分段和低分段出現(xiàn) 的人數(shù)多 而中間分?jǐn)?shù)段的人數(shù) 偏少 說(shuō)明難度過(guò)高和過(guò)低的題 目偏多 而中等難度的題目偏 少 試題難度梯度大 6 結(jié)果分析 結(jié)果分析 2 示例的結(jié)果分析 示例的結(jié)果分析 學(xué)生測(cè)驗(yàn)分?jǐn)?shù)的頻數(shù)直方圖和頻數(shù)多邊圖來(lái)看 基本上呈 一種負(fù)偏態(tài)分布狀態(tài) 如果不考慮其他因素對(duì)學(xué)生測(cè)驗(yàn)分?jǐn)?shù)的 影響 這次測(cè)驗(yàn)試題的總體難度是偏低的 中等程度的學(xué)生和 程度較高的學(xué)生沒(méi)有拉開(kāi)距離 二 平均分二 平均分 1 算術(shù)平均分 算術(shù)平均分 一組測(cè)驗(yàn)分?jǐn)?shù)的總和與分?jǐn)?shù)個(gè)數(shù)相除所得的 商 2 加權(quán)平均分 加權(quán)平均分 在同一次 地理測(cè)驗(yàn)中 如果已經(jīng)知道 各個(gè)被試組測(cè) 驗(yàn)分?jǐn)?shù)的算術(shù) 平均分 要求 計(jì)算所有考生 的平均分時(shí) 則需要用加權(quán) 平均分來(lái)計(jì) 算 三 標(biāo)準(zhǔn)差三 標(biāo)準(zhǔn)差 用于描述測(cè)驗(yàn)分?jǐn)?shù)的離散程度 當(dāng)一組測(cè)驗(yàn)分?jǐn)?shù)的離散程度比較大時(shí) 則對(duì)應(yīng)的平均 分的代表性就比較小 反之則比較大 表示測(cè)驗(yàn)分?jǐn)?shù)離散程度的特征量數(shù) 全距 平均差 四分差 方差 標(biāo)準(zhǔn)差等等 比較常用的是標(biāo)準(zhǔn)差 第二節(jié) 試題的信度第二節(jié) 試題的信度 一 相關(guān)系數(shù) 二 信度 三 常模對(duì)照測(cè)驗(yàn)的信度 四 目標(biāo)參照測(cè)驗(yàn)的信度 一 相關(guān)系數(shù) 二 信度 三 常模對(duì)照測(cè)驗(yàn)的信度 四 目標(biāo)參照測(cè)驗(yàn)的信度 一 相關(guān)系數(shù)一 相關(guān)系數(shù) 1 概念 概念 相關(guān)系數(shù) 描述兩個(gè)變量之間相關(guān)程度的量 2 計(jì)算模型 計(jì)算模型 3 示例及結(jié)果分析 示例及結(jié)果分析 分析 分析 在以主觀(guān)性試題為主的地理測(cè)驗(yàn)題和以客觀(guān)性試題為主地理測(cè)驗(yàn) 題的考試中所取得的成績(jī)是呈高度正相關(guān) 在不考慮其他因素影響的前 提下 表明主觀(guān)性試題和客觀(guān)性試題這兩種題型都能比較好地考查學(xué)生 對(duì)有關(guān)地理知識(shí)掌握的情況 即主觀(guān)分高 客觀(guān)分也高 二 信度二 信度 1 概念 概念 信度也稱(chēng) 可靠性 或 測(cè)驗(yàn)分?jǐn)?shù)的穩(wěn)定性 是指測(cè)量的一致性程 度 即同一個(gè)測(cè)驗(yàn)在不同時(shí)間上聽(tīng)得結(jié)果的一致性 2 常用指標(biāo)及意義 常用指標(biāo)及意義 相關(guān)系數(shù)作為數(shù)據(jù)指標(biāo)來(lái)衡量測(cè)驗(yàn)的一致性程度 也稱(chēng)為信度 系數(shù) 信度系數(shù)的取值范圍 0 1 意義 意義 值越大 測(cè)驗(yàn)的可信程度越高 試題的 可靠性 也就越 好 即它在多大程度上能準(zhǔn)確地反映學(xué)生學(xué)習(xí)的真實(shí)水平 3 試題質(zhì)量對(duì)信度系數(shù)的影響 試題質(zhì)量對(duì)信度系數(shù)的影響 一是題目的數(shù)量 一是題目的數(shù)量 如果題目很少 則測(cè)驗(yàn)所得分?jǐn)?shù)越容易測(cè)驗(yàn) 的信度就會(huì)降低 反之 則會(huì)提高測(cè)驗(yàn)的信度 二是題目的難度二是題目的難度 題目的難度會(huì)影響到測(cè)驗(yàn)分?jǐn)?shù)的分布范圍 從而影響測(cè)驗(yàn)結(jié)果的信度 如題目難度過(guò)大 考生大部分得低分 測(cè)驗(yàn)分?jǐn)?shù)頻數(shù)分布曲線(xiàn)形成正偏態(tài)分布 分?jǐn)?shù)間的差異較小 三是題目的區(qū)分度三是題目的區(qū)分度 因?yàn)橹挥挟?dāng)題目有較好的區(qū)分度時(shí) 才能 正確反應(yīng)學(xué)生的學(xué)習(xí)效果 并保證測(cè)驗(yàn)結(jié)果的 穩(wěn)定性 和 可靠性 三 常模參照測(cè)驗(yàn)的信度三 常模參照測(cè)驗(yàn)的信度 1 重測(cè)法 重測(cè)法 重測(cè)法是指用同一份試題在不同的時(shí)間對(duì)同一 學(xué)生群體進(jìn)行兩次測(cè)驗(yàn) 以這兩次測(cè)驗(yàn)分?jǐn)?shù)之間的 相關(guān)系數(shù)作為信度系數(shù)的一種方法 用重測(cè)法求得信度系數(shù)又叫重測(cè)信度重測(cè)信度或穩(wěn)定性 系數(shù) 穩(wěn)定性 系數(shù) 它反映的是兩次測(cè)驗(yàn)分?jǐn)?shù)之間的一致性程 度 如果兩次測(cè)驗(yàn)分?jǐn)?shù)的相關(guān)性越好 說(shuō)明測(cè)驗(yàn)的 信度就越高 表明試題的穩(wěn)定性好 影響因素 影響因素 重測(cè)的時(shí)間間隔 間隔時(shí)間過(guò)短 易產(chǎn)生練習(xí)效應(yīng) 過(guò)長(zhǎng) 知識(shí)背景變化 會(huì)影響第 二次測(cè)驗(yàn) 2 復(fù)本法 復(fù)本法 編制一份在內(nèi)容 形式 難度 區(qū)分度 評(píng)方 方法 題量 分值 測(cè)驗(yàn)時(shí)間等都與原題基本相同 或相似的復(fù)本 對(duì)同一學(xué)生群體進(jìn)行測(cè)驗(yàn) 用復(fù)本法求得信度又叫復(fù)本信度復(fù)本信度 復(fù)本信度系數(shù)又稱(chēng)等值性系數(shù)值性系數(shù) 影響因素 時(shí)間間隔影響 總體上 復(fù)本法優(yōu)于重測(cè)法 總體上 復(fù)本法優(yōu)于重測(cè)法 3 折半法 折半法 1 基本原理 基本原理 將整份測(cè)試卷的全部題目分成對(duì)等的兩半 然后依據(jù)考 生群體中每位考生在兩半部分題目上的得分 計(jì)算積差相關(guān) 系數(shù) 積差相關(guān) 系數(shù) 最后用相應(yīng)的校正公式對(duì)積差相關(guān)系數(shù)加以校正 以 求得測(cè)驗(yàn)或測(cè)驗(yàn)試卷的整體信度系數(shù) 2 折半常用方法 折半常用方法 一是完全隨機(jī)分半 二是奇偶題目分半 即奇數(shù)題組成 一個(gè)部分 偶數(shù)題則為奇數(shù)題的復(fù)本 三是測(cè)驗(yàn)試卷分成若 干個(gè)內(nèi)容塊 再將各內(nèi)容塊的題目奇偶分半 所有奇數(shù)題和 所有偶數(shù)題各組成一個(gè)分測(cè)驗(yàn) 3 指標(biāo) 指標(biāo) 用折半法求得的測(cè)驗(yàn)或測(cè)驗(yàn)試卷的整體信度 叫折半信 度 其信度系數(shù)叫折半信度系數(shù) 4 意義 意義 折半信度主要反映的是測(cè)驗(yàn)或測(cè)驗(yàn)試卷內(nèi)部所有題目之 間的一致性或同質(zhì)性程度 四 目標(biāo)參照測(cè)驗(yàn)的信度四 目標(biāo)參照測(cè)驗(yàn)的信度 1 分階段比較法1 分階段比較法 1 基本原理 基本原理 分階段比較法是對(duì)考生在前后兩個(gè)階段的目標(biāo)參照測(cè) 驗(yàn)結(jié)果進(jìn)行對(duì)照 以后一階段的測(cè)驗(yàn)結(jié)果來(lái)檢驗(yàn)前一階段 測(cè)驗(yàn)的信度 通過(guò)分析 了解測(cè)驗(yàn)內(nèi)容與實(shí)際教學(xué)中要求 掌握的肉容之間的一致性程度 測(cè)量試題內(nèi)容的質(zhì)量 如 果信度高 說(shuō)明試題內(nèi)容反映了學(xué)要求 試題質(zhì)量較高 否則 試題質(zhì)量低 2 具體步驟 具體步驟 第一步 對(duì)考生進(jìn)行第一次測(cè)驗(yàn)第一步 對(duì)考生進(jìn)行第一次測(cè)驗(yàn) 前期目標(biāo)預(yù)測(cè)測(cè)驗(yàn) 即 對(duì)考生進(jìn)行一次較低水平的目標(biāo)參照測(cè)驗(yàn) 確定一個(gè)決斷 分?jǐn)?shù) 從測(cè)驗(yàn)中找出高出決斷分?jǐn)?shù)的考生 并認(rèn)為這些考 生已具備進(jìn)入下一階段學(xué)習(xí)所需要的條件 第二步第二步 后期目標(biāo)檢測(cè)測(cè)驗(yàn)后期目標(biāo)檢測(cè)測(cè)驗(yàn) 讓這一部分考生進(jìn)入下一階 段的學(xué)習(xí)或訓(xùn)練 在完成學(xué)習(xí)或訓(xùn)練之后 對(duì)考生進(jìn)行第 二次測(cè)驗(yàn) 第三步 分析結(jié)果第三步 分析結(jié)果 因?yàn)檫@部分考生在第一次測(cè)驗(yàn)之后被 認(rèn)為已經(jīng)具備進(jìn)入下一階段學(xué)習(xí)的條件 因此在第二次測(cè) 驗(yàn)中能達(dá)到目標(biāo)的可能性應(yīng)該比較大 如果在第一次測(cè)驗(yàn) 中達(dá)到目標(biāo)的大部分考生在第二次測(cè)驗(yàn)中也能達(dá)到所規(guī)定 的目標(biāo) 則認(rèn)為上一次測(cè)驗(yàn)的信度是高的 如果在第一次 測(cè)驗(yàn)中達(dá)到目標(biāo)的許多考生花第二次測(cè)驗(yàn)中得分很低 沒(méi) 有達(dá)到所規(guī)定的目標(biāo) 則認(rèn)為第一次測(cè)驗(yàn)的信度不高 四 目標(biāo)參照測(cè)驗(yàn)的信度四 目標(biāo)參照測(cè)驗(yàn)的信度 2 復(fù)本法2 復(fù)本法 1 基本方法 基本方法 用兩份等值測(cè)驗(yàn)試卷對(duì)同一考生群體進(jìn)行兩次側(cè) 驗(yàn) 事先確定一個(gè)決斷分?jǐn)?shù)決斷分?jǐn)?shù) 如果考生的測(cè)驗(yàn)分?jǐn)?shù)低 于決斷分?jǐn)?shù) 則認(rèn)為不合格 然后統(tǒng)計(jì)出兩次測(cè)驗(yàn)中 均合格 兩次測(cè)驗(yàn)都合格 人數(shù) a 和均不合格人數(shù) b 用兩者的總數(shù)與參加測(cè)驗(yàn)總?cè)藬?shù) n 的百分比 來(lái)判斷測(cè)驗(yàn)的信度 即用兩次測(cè)驗(yàn)合格與不合格的一 致性百分比作為測(cè)驗(yàn)的信度 r 2 示例 示例 第三節(jié) 試題的效度第三節(jié) 試題的效度 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念一 效度的概念 1 效度的概念1 效度的概念 效度也稱(chēng) 測(cè)驗(yàn)的有效性 是指某次測(cè)驗(yàn)所能 提供的對(duì)某一特質(zhì)所做預(yù)測(cè)的理想程度 即測(cè)驗(yàn)在 多大程度上測(cè)試了所要測(cè)的內(nèi)容 它代表的是測(cè)驗(yàn) 的準(zhǔn)確性準(zhǔn)確性 2 效度的類(lèi)型2 效度的類(lèi)型 根據(jù)不同用途 效度通常可以分為內(nèi)容效度 效標(biāo)關(guān)聯(lián)效度和構(gòu)想效度 二 內(nèi)容效度二 內(nèi)容效度 1 內(nèi)容效度的含義 內(nèi)容效度的含義 內(nèi)容效度是指測(cè)驗(yàn)內(nèi)容反映出考生掌握相關(guān)的教學(xué) 內(nèi)容和實(shí)現(xiàn)預(yù)期能力提高的程度 即測(cè)驗(yàn)的內(nèi)容能否反 映所要測(cè)試的目的和要求 例 在測(cè)驗(yàn)考生掌握 時(shí)差 這一概念程度時(shí) 用 北京位 于東八區(qū) 東京位于東九區(qū) 當(dāng)北京是2000年11月21日 晚上12點(diǎn)整時(shí) 東京是2000年 月 日 點(diǎn) 這一題目 來(lái)測(cè)試 顯然要比 中國(guó)的首都是 日本的首都 是 這種測(cè)驗(yàn)試題更具有 內(nèi)容代表性 即內(nèi)容效度 更高 2 影響內(nèi)容效度的主要因素 影響內(nèi)容效度的主要因素 教學(xué)內(nèi)容和教學(xué)目標(biāo)是內(nèi)容效度的兩個(gè)重要因素 3 內(nèi)容效度的評(píng)價(jià)方法 內(nèi)容效度的評(píng)價(jià)方法 內(nèi)容效度主要是通過(guò)比較地理測(cè)驗(yàn)內(nèi)容與地理課程 標(biāo)準(zhǔn)要求的一致性程度 地理測(cè)驗(yàn)內(nèi)容與地理課程 標(biāo)準(zhǔn)要求的一致性程度來(lái)衡量 常采用雙向細(xì)目表 將測(cè)驗(yàn)內(nèi)容對(duì)照雙向細(xì)目表進(jìn) 行邏輯分析和比較的方法 具體方法 1 根據(jù)想要測(cè)驗(yàn)的教學(xué)內(nèi)容范圍編制一份雙向細(xì) 目表 它包括教學(xué)內(nèi)容和教學(xué)目標(biāo)兩大維度 各維度又 分為若干個(gè)小項(xiàng) 列出每一項(xiàng)的相對(duì)比例 2 分析測(cè)驗(yàn)試卷的每一個(gè)題目 確定它們所涉及 的相關(guān)地理知識(shí)和技能 列出涉及同一教學(xué)內(nèi)容和教學(xué) 目標(biāo)的題目 并統(tǒng)計(jì)它們的分值及在整份測(cè)驗(yàn)試卷中所 占比例 3 把測(cè)驗(yàn)試卷的內(nèi)容結(jié)構(gòu)與相應(yīng)的雙向細(xì)目表進(jìn)行 比較分析 計(jì)算測(cè)驗(yàn)內(nèi)容對(duì)雙向細(xì)目表范圍的覆蓋率 從而獲取衡量?jī)?nèi)容效度的指標(biāo) 三 效標(biāo)關(guān)聯(lián)效度三 效標(biāo)關(guān)聯(lián)效度 1 相關(guān)概念 相關(guān)概念 效標(biāo)效標(biāo) 被測(cè)驗(yàn)的內(nèi)容即檢驗(yàn)測(cè)驗(yàn)效度的標(biāo)準(zhǔn) 同時(shí)效度同時(shí)效度 測(cè)驗(yàn)分?jǐn)?shù)與作為效標(biāo)的分?jǐn)?shù)獲得的時(shí) 間間隔比較短 預(yù)測(cè)效度預(yù)測(cè)效度 測(cè)驗(yàn)分?jǐn)?shù)與作為效標(biāo)的分?jǐn)?shù)獲得的時(shí) 間間隔比較長(zhǎng) 效標(biāo)關(guān)聯(lián)度效標(biāo)關(guān)聯(lián)度 指某測(cè)驗(yàn)對(duì)考生目前或?qū)?lái)的某種 能力 行為進(jìn)行測(cè)試 預(yù)測(cè)的有效性 2 效標(biāo)關(guān)聯(lián)度評(píng)價(jià)方法 效標(biāo)關(guān)聯(lián)度評(píng)價(jià)方法 相關(guān)法相關(guān)法 相關(guān)法 是指用統(tǒng)計(jì)方法求出被測(cè)測(cè)驗(yàn)與效標(biāo)測(cè) 驗(yàn)兩者所得分?jǐn)?shù)之間的相關(guān)系數(shù) 作為衡量效標(biāo)關(guān)聯(lián) 效度高低的指標(biāo) 第四節(jié) 項(xiàng)目質(zhì)量評(píng)價(jià)第四節(jié) 項(xiàng)目質(zhì)量評(píng)價(jià) 一 平均得分率 二 難度系數(shù) 三 極端平均得分率和極端難度系數(shù) 一 平均得分率 二 難度系數(shù) 三 極端平均得分率和極端難度系數(shù) 一 平均得分率 p 一 平均得分率 p p越大 通過(guò)率越高 難度越小 反之 越