試題分析的方法課件

1、試題分析的方法課件試題分析的方法課件傳統(tǒng)試題和 IRT試題分析的方法傳統(tǒng)試題分析的方法IRT試題分析的方法試題分析的解釋傳統(tǒng)試題和 IRT試題分析的方法傳統(tǒng)試題分析的方法試題分析（item analysis） 一、前言二、試題分析功能三、測(cè)驗(yàn)試題分析試題分析（item analysis）一、前言一、前言信度與效度是測(cè)驗(yàn)二項(xiàng)的重要特徵，二項(xiàng)特徵均須視試題品質(zhì)優(yōu)劣而定，而試題品質(zhì)則可藉由試題分析而提高。 一、前言信度與效度是測(cè)驗(yàn)二項(xiàng)的重要特徵，二項(xiàng)特徵均須視試題品前言試題分析包括：（1）依試題內(nèi)容與形式做品質(zhì)分析（2）依試題統(tǒng)計(jì)特性做量化分析。前言試題分析包括：品質(zhì)分析 可由試題的內(nèi)容審查、有效命

2、題原則、教學(xué)目標(biāo)進(jìn)行邏輯的分析，即可達(dá)到目的。品質(zhì)分析 可由試題的內(nèi)容審查、有效命題原則、教學(xué)目標(biāo)進(jìn)行邏輯量化分析 量化的目的主要在分析每題試題所具備三大統(tǒng)計(jì)特徵：難度、鑑別度、誘答力。於考試完後做試題的分析，以便將內(nèi)容效度適切的、鑑別力高的與難度適中的題目保留下來以建立題庫。量化分析 量化的目的主要在分析每題試題所具備三大統(tǒng)計(jì)特徵：難二、試題分析功能（一）提供回饋給學(xué)生，作為學(xué)生改進(jìn)學(xué)習(xí)方法 的參考。（二）提供回饋給教師，作為實(shí)施補(bǔ)救教學(xué)的依 據(jù)。（三）提供改進(jìn)課程建議的依據(jù)。（四）增強(qiáng)教師編製測(cè)驗(yàn)的技巧。（五）增進(jìn)測(cè)驗(yàn)題庫運(yùn)用的效能。（六）可縮短測(cè)驗(yàn)長(zhǎng)度，節(jié)省測(cè)驗(yàn)時(shí)間，提高信 度與效度。二

3、、試題分析功能（一）提供回饋給學(xué)生，作為學(xué)生改進(jìn)學(xué)習(xí)方法三、測(cè)驗(yàn)試題分析常模參照測(cè)驗(yàn)試題分析分為三種分析：（1）難度（2）鑑別力（3）誘答力。三、測(cè)驗(yàn)試題分析常模參照測(cè)驗(yàn)試題分析分為三種分析：三、測(cè)驗(yàn)試題分析試題量的分析步驟難度分析鑑別力分析難度與鑑別力的關(guān)係 選擇題選項(xiàng)誘答力分析 效標(biāo)參照測(cè)驗(yàn)試題分析三、測(cè)驗(yàn)試題分析試題量的分析步驟試題量的分析步驟根據(jù)原始分?jǐn)?shù)的高低依序排列。從最高分往下取總?cè)藬?shù)的25%33%為高分組再從最低分往上取總?cè)藬?shù)的25%33%為低分組。(註一)分別計(jì)算高分組與低分組在每一道題答對(duì)人數(shù)與百分比。計(jì)算每題的難度指數(shù)。 計(jì)算每題的鑑別指數(shù)。檢查每一題所列選項(xiàng)回答人數(shù)以確定

4、誘答力。試題量的分析步驟根據(jù)原始分?jǐn)?shù)的高低依序排列。註一：Kelley(1939)當(dāng)測(cè)驗(yàn)分?jǐn)?shù)是常態(tài)分配時(shí)，以27%分組試題的鑑別力最可靠。當(dāng)百分比低於27%時(shí)可靠性較低，而百分比太大時(shí)，會(huì)影響題目的鑑別作用。對(duì)教師而言，合理的分組百分比可在25%到33%之間。註一：Kelley(1939)當(dāng)測(cè)驗(yàn)分?jǐn)?shù)是常態(tài)分配時(shí)，以2難度分析通過百分比分析等距量尺分析試題難度與測(cè)驗(yàn)分?jǐn)?shù)的分配 難度分析通過百分比分析通過百分比分析計(jì)算全體受試者答對(duì)每題的人數(shù)百分比，這百分比稱為難度指數(shù)。如下：【公式1】 P = R / NP：難度指數(shù)R：答對(duì)的人數(shù)N：總?cè)藬?shù)優(yōu)點(diǎn)：簡(jiǎn)單易行。缺點(diǎn)：無法顯示試題區(qū)別功能，到底是高分組

5、答 對(duì)較多或低分組。通過百分比分析計(jì)算全體受試者答對(duì)每題的人數(shù)百分比，這百分比稱通過百分比分析【公式2】 P = P H P L / 2 P ：難度指數(shù)P H：高分組答對(duì)的人數(shù)P L：低分組答對(duì)的人數(shù)優(yōu)點(diǎn)：（1）答對(duì)百分比表示難度，其數(shù)值愈大，題目愈簡(jiǎn)單。（2）使用次序量尺，可以指出題目的等級(jí)順序或相對(duì)難 度。缺點(diǎn)： （1）無法指出各難度間差異大小。（2）單位不相等，即P1P2P2P3通過百分比分析【公式2】 P = P H P L 難度分析採用等距量尺分析 =13+4z ：難度 z：值難度分析採用等距量尺分析試題分析的方法課件難度公式的比較通過百分比分析等距量尺分析公式=13+4z代表意義數(shù)

6、字愈大，代表題目愈容易數(shù)字愈大，代表題目愈困難難度的比較順序量尺，難度間的差異並不相等，不能直接比較等距量尺，難度可直接做比較難度公式的比較通過百分比分析等距量尺分析公式=13+4z代試題難度與測(cè)驗(yàn)分?jǐn)?shù)的分配 難度P值0 P 1 （1）P 0.5（難度適中），分配型態(tài)為 常態(tài)分配。（2）0.3 P 0.7（難度適當(dāng)）（3）P 0.7（試題較易），分配型態(tài)為負(fù) 偏分配。（4）P 0.3（試題較難），分配型態(tài)為正偏分 配。試題難度與測(cè)驗(yàn)分?jǐn)?shù)的分配 難度P值0 P 1 鑑別力分析內(nèi)部一致性分析 外在效度分析鑑別力分析的目的在於確定題目是否具有區(qū)分高下的作用。依分析時(shí)所依據(jù)的標(biāo)準(zhǔn)可有兩種方式 鑑別力分

7、析內(nèi)部一致性分析 鑑別力分析的目的在於確定題目是否具內(nèi)部一致性分析 內(nèi)部一致性分析旨在瞭解各個(gè)試題的功能是否和整個(gè)測(cè)驗(yàn)的功能相符合一致。公式如下：DP H P L D ：鑑別力指數(shù)P H：高分組答對(duì)的百分比P L：低分組答對(duì)的百分比內(nèi)部一致性分析 內(nèi)部一致性分析旨在瞭解各個(gè)試題的內(nèi)部一致性分析（1）-1 D 1 D 0，無鑑別度。 試題太簡(jiǎn)單，高分組與低分組學(xué)生全部答對(duì) （P H P L 0）。 試題太困難，高分組與低分組學(xué)生全部答錯(cuò) （P H P L 0）。（2）D + 1， 高分組學(xué)生全部答對(duì)，低分組學(xué)生全部答錯(cuò)。 （P H 1， P L 0）。（3）D 1， 低分組學(xué)生全部答對(duì)，高分組學(xué)

8、生全部答錯(cuò)。 （P H 0， P L 1）。內(nèi)部一致性分析（1）-1 D 1 內(nèi)部一致性分析美國學(xué)者伊博（1979）的評(píng)鑑標(biāo)準(zhǔn)鑑別指數(shù) 試題評(píng)鑑 0.40以上 非常優(yōu)良 0.300.29 優(yōu)良，但可能需修改 0.200.29 尚可，但通常需修改 0.19以下 劣，須淘汰或修改 內(nèi)部一致性分析美國學(xué)者伊博（1979）的評(píng)鑑標(biāo)準(zhǔn)鑑別指數(shù) 試外在效度分析 外在效度分析旨在檢驗(yàn)題目是否具有預(yù)定的某種鑑別作用（簡(jiǎn)茂發(fā)，民67）。分析學(xué)生在試題上的反應(yīng)與在效標(biāo)上表現(xiàn)之間的關(guān)係，目的在試題反應(yīng)與測(cè)驗(yàn)的外在效度變得最大，用來增強(qiáng)效標(biāo)關(guān)聯(lián)效度。根據(jù)學(xué)生在某題試題的反應(yīng)答對(duì)或答錯(cuò)與測(cè)驗(yàn)總分相關(guān)係數(shù)，此一相關(guān)係數(shù)即

9、用來表示試題鑑別度指標(biāo)。其常用的方法有：點(diǎn)二系列相關(guān)、二系列相關(guān)。外在效度分析 外在效度分析旨在檢驗(yàn)題目是否具有預(yù)定的某種鑑別難度與鑑別力的關(guān)係 題目難度適中，P=0.5時(shí)，鑑別指數(shù)最大D1；P=1或0時(shí)，鑑別指數(shù)最大D0，當(dāng)試題平均鑑別力愈高時(shí)，測(cè)驗(yàn)的信度愈高。選擇題目時(shí)，除了顧及難度與鑑別度外，亦應(yīng)考量選出試題之分配比例是否和雙向細(xì)目表符合一致。難度與鑑別力的關(guān)係 題目難度適中，P=0.5時(shí)，鑑別指數(shù)最大運(yùn)用試題分析的數(shù)據(jù)資料1234漏做難度(p)鑑別指數(shù)(D)點(diǎn)二系列相關(guān)212445216+4.16.00-.062244056+00.56.67.4823076+12120.76.50.4

10、524428+28328.28-.17-.12251612072+0.72-.17-.2926045244+0.44.00-.112792+0800.92.33.4528868+0204.68.83.6129241256+80.56.50.463088+0084.88.17.313168+124160.68.170.521.00.733381660+160.60.00.06342020852+0.52.83.593580+00416.80.50.43運(yùn)用試題分析的數(shù)據(jù)資料1234漏做難度(p)鑑別指數(shù)(D)點(diǎn)選擇題選項(xiàng)誘答力分析 分析選擇題是否具誘答性，只要分析高低組

11、學(xué)生在每個(gè)學(xué)生在每個(gè)試題選答的次數(shù)分配，加以判斷即可。國內(nèi)郭生玉教授提出判斷原則：（1）每一錯(cuò)誤選項(xiàng)至少有一低分組學(xué)生選 擇。（2）選擇錯(cuò)誤選項(xiàng)的低分組學(xué)生應(yīng)比高分 組學(xué)生還高。選擇題選項(xiàng)誘答力分析 分析選擇題是否具誘答性，只要分析高低組選目的有效性分析-試題的選目分析組別選項(xiàng)DPAB *CD未答高分組216110 0.40 0.60低分組58430此題的選目均屬於合理有效。選目的有效性分析-試題的選目分析組別選項(xiàng)DPAB *CD未答選目的有效性分析-試題的選目分析組別選項(xiàng)DPA*BCD未答高分組140060 0.10 0.65低分組120800選目B沒有誘答力修改選目D可能意義不清、有2個(gè)正

12、確答案或受試 者作答不小心修改選目的有效性分析-試題的選目分析組別選項(xiàng)DPA*BCD未答高選目的有效性分析-試題的選目分析組別選項(xiàng)DPABC *D未答高分組901010 0.20 0.40低分組54650選目A和C在正確性不夠清楚修改使之只有 一個(gè)正確答案或最佳答案。每個(gè)選項(xiàng)的選答都非常接近，對(duì)低分組都有誘 答力，可能是低分組缺乏知識(shí)所致。選目的有效性分析-試題的選目分析組別選項(xiàng)DPABC *D未答選目的有效性分析-試題的選目分析組別選項(xiàng)DPAB *CD未答高分組56450 0.05 0.28低分組45560高分組選答各個(gè)選項(xiàng)的次數(shù)都很接近，顯受試 者可能盲目的猜測(cè)檢討或修改。選目的有效性分析

13、-試題的選目分析組別選項(xiàng)DPAB *CD未答選目的有效性分析-試題的選目分析組別選項(xiàng)DPABCD *未答高分組36380 -0.20 0.50低分組314120高分組選答正確答案的次數(shù)反而比低分組少， 顯示此題為反向題檢討原因加以修正或淘汰 不用。選目的有效性分析-試題的選目分析組別選項(xiàng)DPABCD *未答選目的有效性分析-試題的選目分析組別選項(xiàng)DPAB *CD未答高分組0101000 0.10 0.45低分組28820題目的選項(xiàng)分析顯示不合理而須要修改，但是 在修改前應(yīng)仔細(xì)研究是否是題目本身的缺陷或 學(xué)生反應(yīng)上的錯(cuò)誤所致。選目的有效性分析-試題的選目分析組別選項(xiàng)DPAB *CD未答試題選擇的

14、標(biāo)準(zhǔn)先做試題分析評(píng)鑑試題優(yōu)劣(考慮難度、鑑別力)考慮選出試題的比例是否與雙向細(xì)目表一致試題編排 增加受試者做測(cè)驗(yàn)動(dòng)機(jī) 少數(shù)較易題目放前面 使能力高者感到具有挑戰(zhàn)性 選幾題較難的全測(cè)驗(yàn)的試題宜力求0.50的平均難度 試題選擇的標(biāo)準(zhǔn)先做試題分析效標(biāo)參照測(cè)驗(yàn)的試題分析效標(biāo)參照測(cè)驗(yàn)所使用的試題通常會(huì)比常模參照測(cè)驗(yàn)所使用者容易些，因?yàn)榻處煻喟肫谕蠖鄶?shù)的學(xué)生在測(cè)驗(yàn)上都有良好的表現(xiàn)，獲得好成績(jī)，教師若仍沿用常模參照測(cè)驗(yàn)的試題分析方法，則高分組與低分組學(xué)生在試題上的答對(duì)百分比值都會(huì)接近1，而鑑別度指標(biāo)值趨近於0。由此可見效標(biāo)參照的試題分析方法異於常模參照使用的試題分析分法，方能避免試題分析產(chǎn)生無法解釋的效果

15、。效標(biāo)參照測(cè)驗(yàn)的試題分析效標(biāo)參照測(cè)驗(yàn)所使用的試題通常會(huì)比常模參試題難度一般來說，效標(biāo)參照測(cè)驗(yàn)難度指標(biāo)分析是沒有必要進(jìn)行的，因?yàn)樗臏y(cè)驗(yàn)?zāi)康牟煌冻Ｄ⒄账?。常模參照測(cè)驗(yàn)中，測(cè)驗(yàn)的目的是在區(qū)分學(xué)生成就的高低，因此教師所期望的最佳難度指標(biāo)是.50左右最好。效標(biāo)參照測(cè)驗(yàn)試題的難度指標(biāo)，應(yīng)和教學(xué)前預(yù)設(shè)定的通過標(biāo)準(zhǔn)(精熟標(biāo)準(zhǔn)一致)。例如，假設(shè)以80%的試題答對(duì)率或通過分?jǐn)?shù)為精熟標(biāo)準(zhǔn)時(shí)，則理想的難度指標(biāo)應(yīng)訂為.80左右，教師可不必參考常模參照測(cè)驗(yàn)的試題選擇標(biāo)準(zhǔn)，而是依據(jù)教材內(nèi)容和實(shí)際教學(xué)情況，做為判斷精熟標(biāo)準(zhǔn)或難度指標(biāo)。試題難度一般來說，效標(biāo)參照測(cè)驗(yàn)難度指標(biāo)分析是沒有必要進(jìn)行的，教學(xué)敏感度指標(biāo)Cox和V

16、argas(1996)提出了一種同一組受測(cè)者在教學(xué)前進(jìn)行前測(cè)和教學(xué)後進(jìn)行後測(cè)的方法D=P後-P前-1.00 D 1.00正常教學(xué)前後指標(biāo)值大約是介於.10到.60之間D接近0，代表該試題的鑑別度指標(biāo)越低，不能反映出預(yù)期的教學(xué)效果D接近1，代表該試題的鑑別度指標(biāo)越高，對(duì)教學(xué)效果的敏感度越大，代表該試題的品質(zhì)越佳 反映出命題很成功D是負(fù)值，代表該試題是個(gè)反向作用題，反映出教學(xué)效果是有問題的，代表該試題品質(zhì)極不良 應(yīng)予淘汰教學(xué)敏感度指標(biāo)Cox和Vargas(1996)提出了一種同一標(biāo)準(zhǔn)參照測(cè)驗(yàn)試題的鑑別力分析精熟組與非精熟組的差異：DPPPf D ：鑑別力指數(shù) PP：精熟組的答對(duì)比率 Pf：非精熟組

17、的答對(duì)比率題目難度會(huì)影響鑑別力，且標(biāo)準(zhǔn)參照測(cè)驗(yàn)是預(yù)期多數(shù)學(xué)生能精熟內(nèi)容，故鑑別力將比常模參照的低。標(biāo)準(zhǔn)參照測(cè)驗(yàn)試題的鑑別力分析精熟組與非精熟組的差異：標(biāo)準(zhǔn)參照測(cè)驗(yàn)試題的難度分析前面的難度分析方法可用於標(biāo)準(zhǔn)參照測(cè)驗(yàn)。不過，解釋上和常模參照測(cè)驗(yàn)不同： 1.希望學(xué)生在教學(xué)後能精熟教材，故教學(xué)有效時(shí)，多數(shù)題目的難度指數(shù)（通過百分比）均很大。（難度指數(shù)反映的教學(xué)品質(zhì)多於題目的品質(zhì)）。 2.標(biāo)準(zhǔn)參照測(cè)驗(yàn)的難度應(yīng)和事先設(shè)定的相同，例如：以85為精熟標(biāo)準(zhǔn)時(shí)，理想的難度指數(shù)應(yīng)訂在0.85左右。標(biāo)準(zhǔn)參照測(cè)驗(yàn)試題的難度分析前面的難度分析方法可用於標(biāo)準(zhǔn)參照測(cè)教學(xué)敏感度分析試題P前P後教學(xué)敏感度指標(biāo)說明11.000.0

18、01.00教學(xué)前學(xué)生均錯(cuò)，教學(xué)後學(xué)生均對(duì)，試題與教學(xué)都是有效的。20.800.800.00這個(gè)試題過於簡(jiǎn)單，學(xué)生的表現(xiàn)受教學(xué)影響不大，無法測(cè)量出教學(xué)效果。30.150.150.00這個(gè)試題過於困難，學(xué)生的表現(xiàn)受教學(xué)影響不大，無法測(cè)量出教學(xué)效果。40.001.00-1.00試題相當(dāng)不好，顯示教學(xué)本身有問題50.600.100.50正常教學(xué)下有效的常態(tài)試題，教學(xué)與試題均屬有效。教學(xué)敏感度分析試題P前P後教學(xué)敏感度指標(biāo)說明11.000.0現(xiàn)代測(cè)驗(yàn)理論現(xiàn)代測(cè)驗(yàn)理論的特點(diǎn)：就是以概率表示受試能力與項(xiàng)目的關(guān)係。其中P（）表示能力的受試答對(duì)某試題的機(jī)率P。 現(xiàn)代測(cè)驗(yàn)理論現(xiàn)代測(cè)驗(yàn)理論的特點(diǎn)：就是以概率表示受試

19、能力與項(xiàng)目IRT試題分析參數(shù)試題特徵曲線難度參數(shù)鑑別力參數(shù)猜測(cè)參數(shù)試題訊息函數(shù) IRT試題分析參數(shù)試題特徵曲線試題特徵曲線（item characteristic curve，ICC）P（）就是試題反應(yīng)函數(shù)，將試題反應(yīng)函數(shù)用平面座標(biāo)圖表示出來即稱為試題特徵曲線。 試題特徵曲線（item characteristic cu試題特徵曲線說明座標(biāo)的縱軸是答對(duì)機(jī)率，P（），也就是具某能力的受試答對(duì)某題的機(jī)率。機(jī)率介於0.00至1.00之間。橫軸代表能力或潛在特質(zhì)。潛在特質(zhì)為一連續(xù)體，由左而右表最低的無限小至最高的無限大。如圖一 試題特徵曲線說明座標(biāo)的縱軸是答對(duì)機(jī)率，P（），也就是具某能常態(tài)肩形ICC

20、最理想的試題特徵曲線就是常態(tài)肩形，多一點(diǎn)能力就增加一些答對(duì)機(jī)率。如S形常態(tài)分配累積次數(shù)曲線，左下方與右上方都無法真正達(dá)到0.00或1.00。 如圖一 常態(tài)肩形ICC 最理想的試題特徵曲線就是常態(tài)肩形，多一點(diǎn)能力難度參數(shù) 難度參數(shù)就是能力量尺上的落點(diǎn)，又稱落點(diǎn)參數(shù)。ICC的起點(diǎn)靠近左側(cè)表示題目較容易，反之靠近右側(cè)題目較困難。 難度參數(shù) 難度參數(shù)就是能力量尺上的落點(diǎn)，又稱落點(diǎn)參數(shù)。IC難度參數(shù)的意義 難度參數(shù)又稱b參數(shù)，以決定一個(gè)題目在潛在特質(zhì)連續(xù)體的位置。題目愈難，所需的能力愈高，ICC越偏右，一般能力的受試者答對(duì)機(jī)率較低，反之，題目越容易，所需能力越低，ICC越偏左，一般能力的受試者答對(duì)該題的

21、機(jī)率也會(huì)較高。 難度參數(shù)的意義 難度參數(shù)又稱b參數(shù)，以決定一個(gè)題目在潛在特質(zhì)難度參數(shù)、能力與機(jī)率的關(guān)係 要分析難度參數(shù)、能力與機(jī)率的關(guān)係，最容易的比較方法就是能力減難度b，因b參數(shù)與能力量尺性質(zhì)一樣，故可相減。當(dāng)b0或b時(shí)，答對(duì)機(jī)率 P（）0.5，也就是能力與難度相等時(shí)，答對(duì)機(jī)率為一半。當(dāng)b時(shí)，答對(duì)機(jī)率超過一半。當(dāng)b時(shí)，答對(duì)機(jī)率低於一半。圖四表示能力、難度與機(jī)率三者的關(guān)係。 難度參數(shù)、能力與機(jī)率的關(guān)係 要分析難度參數(shù)、能力與機(jī)率的關(guān)係回上頁回上頁回上頁回上頁鑑別力參數(shù)鑑別力參數(shù)又稱a參數(shù)，是能力變化時(shí)，答對(duì)機(jī)率變化的程度。試題特徵曲線中，a參數(shù)表示曲線陡峭的程度。a參數(shù)愈高，ICC曲線愈陡，試

22、題愈具有良好的分辨能力；a參數(shù)愈低，ICC曲線愈平坦，試題愈無法明顯有效的分辨出受試者的能力水準(zhǔn)。理論上，a參數(shù)介於與之間；一般以0至2之間為多，但以0.8與1.25之間最為有效。鑑別力參數(shù)鑑別力參數(shù)又稱a參數(shù)，是能力變化時(shí)，答對(duì)機(jī)率變化猜測(cè)參數(shù)猜測(cè)參數(shù)又稱c參數(shù)，是指試題特徵曲線的左下漸進(jìn)線，為能力極低時(shí)仍有的答對(duì)機(jī)率。c參數(shù)只出現(xiàn)在三參數(shù)或四參數(shù)對(duì)數(shù)模式中，單參數(shù)和雙參數(shù)模式將其假定為0或近於0。c值愈小題目愈有效，一般均以0.3為選題重點(diǎn)，c值超過0.3的項(xiàng)目不是理想的項(xiàng)目。猜測(cè)參數(shù)猜測(cè)參數(shù)又稱c參數(shù)，是指試題特徵曲線的左下漸進(jìn)線，為猜測(cè)的原因 使用利於猜測(cè)的命題方式。測(cè)驗(yàn)計(jì)分方式有利猜測(cè)。測(cè)驗(yàn)指導(dǎo)語鼓勵(lì)猜測(cè)。題目太難或受試能力偏低。題目本身為另一題提供線索，違反局部獨(dú)立假定。選項(xiàng)或誘答選項(xiàng)配置不當(dāng)。猜測(cè)的原因 使用利於猜測(cè)的命題方式。試題訊息函數(shù)公式：試題訊息函數(shù)公式：a,b,c參數(shù)在試題訊息函數(shù)中扮演的角色 當(dāng)b值愈接近時(shí)，訊息量較大；反之，b