心理與教育測量第六章

關于心理與教育測量第六章第1頁，講稿共61頁，2023年5月2日，星期三第六章測驗的項目分析測驗項目的難度測驗項目的區(qū)分度分析猜測問題與猜測率多重選擇題的項目分析第2頁，講稿共61頁，2023年5月2日，星期三第一節(jié)測驗項目的難度難度的意義項目難度的計算測驗難度水平的確定難度的等距變換難度對測驗的影響第3頁，講稿共61頁，2023年5月2日，星期三一、難度的意義難度分類項目難度和測驗難度。本章主要講項目難度。難度定義難度是測驗項目的難易程度。通常用“P”來表示。一個測驗項目，如果大部分被試都能答對，則該項目的難度就?。环粗嗳弧TT下的難度特征難度是測驗項目性質(zhì)與被試水平共同作用的結果。如果測驗項目需要較復雜的心理操作，那么被試水平高時，得到的難度值就?。环粗玫降碾y度值就大。第4頁，講稿共61頁，2023年5月2日，星期三二、項目難度的計算得分率法通式（所有項目都適用）：為全體被試在項目上的平均得分，F(xiàn)為項目滿分值。特式（針對二分法記分項目）：其中P代表項目難度；N為全體被試數(shù)；R為答對通過該項目的人數(shù)。

第5頁，講稿共61頁，2023年5月2日，星期三高低分組法通式：其中、分別為總分排名在前27%的高分組和后27%低分組被試在要計算難度的項目上的平均分。F為滿分值。特式：=(RH/NH+RL/NL)/2其中和分別代表高分組與低分組的通過率。RH和RL分別代表高低分組答對人數(shù)，NH和NL分別代表高低分組總人數(shù)。第6頁，講稿共61頁，2023年5月2日，星期三舉例：請分別用通過率法和高低分組法計算下列兩題難度第7頁，講稿共61頁，2023年5月2日，星期三二、測驗難度水平確定取決于測驗的目的目標參照性測驗可以不過多考慮項目難度，只要客觀標準要求掌握的內(nèi)容均應適用。常模參照測驗應使項目平均難度為0.5，項目難度范圍為0.5±0.2。選拔性考試應將項目難度控制在錄取率附近分布，或使對選拔點附近的被試有0.5的難度，或難度為錄取率。取決于測驗的性質(zhì)速度測驗難度不宜太高，項目難度值基本相等。難度測驗要求難度值在0.5左右。無論速度還是難度測驗，都要防止被試得滿分。第8頁，講稿共61頁，2023年5月2日，星期三四、難度的等距變換難度轉(zhuǎn)換的目的難度為通過率，屬于等級量表水平，需要轉(zhuǎn)換為等距量表水平才能進一步進行加減運算。難度到Z分數(shù)的轉(zhuǎn)換。以通過率P在標準正態(tài)分布表中查得對應的Z分數(shù)。由于Z分數(shù)存在負數(shù)和小數(shù)點，需要將Z分數(shù)作進一步的線性變換。ETS常采用下列換算公式：Δ=4*Z+13。Δ越大，難度越大。第9頁，講稿共61頁，2023年5月2日，星期三五、難度對測驗的影響測驗難度影響到測驗分數(shù)的分布形態(tài)。測驗難度太大，測驗分數(shù)將呈正偏態(tài)分布。測驗難度太小，測驗分數(shù)將呈負偏態(tài)分布。測驗難度中等，測驗分數(shù)將呈正態(tài)分布。測驗項目的難度分布影響到測驗分數(shù)的離散程度，進而影響到信度。Ebel的實驗。如下一幻燈片所示。Ebel的研究結論：項目的難度集中在0.5左右為最佳。測驗項目的難度會影響到項目的區(qū)分度。（區(qū)分度這節(jié)再講）第10頁，講稿共61頁，2023年5月2日，星期三第11頁，講稿共61頁，2023年5月2日，星期三第二節(jié)測驗項目的區(qū)分度項目區(qū)分度的意義區(qū)分度的計算區(qū)分度與難度的關系區(qū)分度的相對性第12頁，講稿共61頁，2023年5月2日，星期三一、項目區(qū)分度的意義定義：區(qū)分度指測驗項目對被試心理特質(zhì)水平差異的區(qū)分能力。通常用D表示。區(qū)分度價值：將優(yōu)劣被試準確區(qū)分是測驗項目的職能，區(qū)分度是對項目這項職能高低的評價指標，是評價項目質(zhì)量，選擇優(yōu)秀項目的依據(jù)。區(qū)分度標準：本來應找客觀外界標準，也即類似于效標的測量，但因比較困難，故轉(zhuǎn)而在測驗內(nèi)部找，實際以測驗總分為標準，稱其為內(nèi)部效標。第13頁，講稿共61頁，2023年5月2日，星期三區(qū)分度的實質(zhì)：項目得分與總分的一致性程度。區(qū)分度取值范圍：［-1，1］，D為0無區(qū)分作用，D值為正，表示積極區(qū)分，越大區(qū)分效果越好，D<0表示消極區(qū)分。第14頁，講稿共61頁，2023年5月2日，星期三二、區(qū)分度的計算高低分組法（也稱鑒別指數(shù)法）適用范圍：二分法記分的測驗項目。計算公式：評價標準：Ebel的研究結果

D

評價0.40以上0.30—0.390.20—0.290.20以下優(yōu)良良好，修改更好合格，必須修改差，淘汰第15頁，講稿共61頁，2023年5月2日，星期三相關系數(shù)法點二列相關二列相關φ相關積差相關第16頁，講稿共61頁，2023年5月2日，星期三（一）點二列相關適用范圍用于總分是連續(xù)變量，題分是二分變量情況。顯著性檢驗可用積差相關檢驗。計算公式其中p、q為答對和答錯的人數(shù)比率。與對應于答對和答錯該項目的被試的總分平均數(shù)，為所有被試總分的標準差。第17頁，講稿共61頁，2023年5月2日，星期三舉例：請計算該題區(qū)分度第18頁，講稿共61頁，2023年5月2日，星期三（二）二列相關適用范圍題分和總為均為連續(xù)變量，但人為地將其中一個變量（既可以是總分，也可以是題分）區(qū)分為二分變量（例如，將總分為及格和不及格兩類）。計算公式y(tǒng)是標準正態(tài)曲線下p與q交界處的Y軸高度（曲線高），要查正態(tài)分布表。第19頁，講稿共61頁，2023年5月2日，星期三二列相關的顯著性檢驗第20頁，講稿共61頁，2023年5月2日，星期三第21頁，講稿共61頁，2023年5月2日，星期三（三）φ相關適用范圍總分區(qū)分為高分組和低分組，項目得分區(qū)分為通過和未通過。即兩個變量均為二分變量時。資料整理成四格表（注意：格式中的符號表示該格的人數(shù)）高分低分通過ab未通過cd第22頁，講稿共61頁，2023年5月2日，星期三計算公式：其中a、b、c、d為四個格子的人數(shù)。為φ相關系數(shù)。Φ相關的顯著性檢驗使用檢驗，其中自由度df=1。檢驗公式為：第23頁，講稿共61頁，2023年5月2日，星期三舉例：請計算該題的區(qū)分度第24頁，講稿共61頁，2023年5月2日，星期三（四）積差相關例子：請用積差相關法計算下列論述題的區(qū)分度。第25頁，講稿共61頁，2023年5月2日，星期三三、區(qū)分度與難度的關系D的最大值與項目難度的關系（理論上）第26頁，講稿共61頁，2023年5月2日，星期三題目的綜合分析和篩選①整個測驗的平均難度應保持在0.5左右。②測驗中各項目之間有一定相關，為了使成績分布均勻，項目難度的應廣一些，梯度大一些，最好成正態(tài)分布。③每項題目理想的區(qū)分度都應在0.3以上，至少是0.2。第27頁，講稿共61頁，2023年5月2日，星期三四、影響區(qū)分度的因素效標不同，區(qū)分度不同。應選擇較好的效標。不同的計算方法，所得區(qū)分度不同在分析同一個測驗時，各個項目的區(qū)分度值要采用同一種指標。樣本容量大小影響相關法區(qū)分度值的大小樣本容量越小，區(qū)分度的計算值越不可靠。采用相關法計算的區(qū)分度要進行顯著性檢驗和計算統(tǒng)計檢驗力。第28頁，講稿共61頁，2023年5月2日，星期三分組標準影響鑒別指數(shù)值一般情況下，取25%~33%，習慣上取27%。當效標分數(shù)較正態(tài)分布平坦時，比值應略高于27%。當樣本團體人數(shù)過少（例如樣本容量n<100）時，可按50%的規(guī)則選取高低分組被試。被試樣本的同質(zhì)性程度影響區(qū)分度值大小同質(zhì)性高，區(qū)分度小。區(qū)分度高低受被試樣本團體特質(zhì)水平影響。※因此不能將區(qū)分度作為篩選試題的絕對標準。第29頁，講稿共61頁，2023年5月2日，星期三五、提高題目區(qū)分度方法(1)控制好題目難度。將題目難度在0.5左右時，區(qū)分能力理論上會比較高。(2)保證題目所測心理特質(zhì)與全卷所測心理品質(zhì)的一致性。(3)題干及答案無歧義。(4)語言準確規(guī)范。(5)借助選項分析提供的信息對不良選項進行修改，以提高題目區(qū)分能力。第30頁，講稿共61頁，2023年5月2日，星期三綜合練習一試卷施測于十一名被試，結果如附表。第31頁，講稿共61頁，2023年5月2日，星期三請求取：（1）第二、第五兩題的難度。（2）第三題的區(qū)分度（點二列相關）。（3）第六題的區(qū)分度（高低分組法）。（4）全卷信度α系數(shù)。（5）試卷實證效度。第32頁，講稿共61頁，2023年5月2日，星期三第三節(jié)猜測問題與猜測率客觀測驗題中的猜測問題與猜測率項目難度受猜測影響的校正第33頁，講稿共61頁，2023年5月2日，星期三一、客觀測驗題中的猜測問題與猜測率客觀測驗題中的猜測問題測驗分數(shù)確實反映了被試的真實特質(zhì)水平還是因為猜測而獲得成功？猜測誤差的來源猜相對于不猜引起的誤差是否猜得對引起的誤差猜測率是指被試全憑隨機猜測而答對題目的概率。猜測行為主要出現(xiàn)在客觀題（如選擇題、是非判斷題、配對題等）第34頁，講稿共61頁，2023年5月2日，星期三二、項目難度受猜測影響的校正猜測校正公式（前提：猜測是隨機猜測）因猜測對項目難度的校正其中CP為校正后難度，K為備選答案數(shù)，P為實際難度。

因猜測對個體得分的校正其中R為原答項目數(shù)，W為錯答數(shù)，K為為選項數(shù)。第35頁，講稿共61頁，2023年5月2日，星期三舉例有A、B兩個測題，項目A為四重選擇題，通過率為0.58；項目B為五重選擇題，通過率為0.56，試比較兩題校正后的難度。某被試參加由100道四重選擇題組成的測驗，每題1分，測驗結果是82分，請問其校正后的分數(shù)是多少？第36頁，講稿共61頁，2023年5月2日，星期三猜測校正的爭議贊成猜測校正的理由通過猜測校正可避免降低測驗的信度。校正后的得分可以反映被試的真正水平的能力。在教育測驗中，可培養(yǎng)被試誠實的美德。比較公平。不同試題間的難度比較分析需要校正。第37頁，講稿共61頁，2023年5月2日，星期三不贊成猜測校正的理由公式的基本假設不成立。只要被試能答完全部試題，猜測校正就無實質(zhì)作用。不采用猜測校正對信度并無重大影響。有時會出現(xiàn)無法解釋的現(xiàn)象。合理猜測是值得培養(yǎng)的好習慣。綜合觀點：如果答題時間充裕，選擇題的備選答案數(shù)目在四個或四個以上，則沒有必要校正記分。第38頁，講稿共61頁，2023年5月2日，星期三第四節(jié)多重選擇題的項目分析多重選擇題項目分析的作用與內(nèi)容項目能否測到要測的心理特質(zhì)；項目難度是否恰當；項目的區(qū)分度能否達到要求；正答選項選答率是否恰當；正答選項在高低分組上選答率是否正差？差距是否足夠大？誘答選項選答率是否恰當；誘答選項在高低分組上選答率是否是負差？差距是否足夠大？第39頁，講稿共61頁，2023年5月2日，星期三具體分析步驟：1、根據(jù)被試的測驗總分，對被試進行排序2、確定高分組和低分組被試3、分別登記高分組被試和低分組被試在每個備選項的人數(shù)及未作答人數(shù)（也可以是人數(shù)百分比），最終整理成類似下表中的數(shù)據(jù)資料第40頁，講稿共61頁，2023年5月2日，星期三4、根據(jù)第3步整理好的數(shù)據(jù)資料，進行具體分析第41頁，講稿共61頁，2023年5月2日，星期三選項分析的方法及選項修改原則

1、首先分析兩組平均選答率正確答案的平均選答率（即難度）最佳值為：第42頁，講稿共61頁，2023年5月2日，星期三每個干擾項應該平均分剩余的選答率。如果正確答案的選答率過高或過低，這都不利于區(qū)分高分組和低分組被試。如果某干擾項選答率特低，則說明該干擾項錯的過于明顯應加以淘汰；若某干擾項選答率特高，則要考慮該題正確答案是否錯誤或有兩個正確答案。2、對于正確答案主要考察高分組和低分組被試在正確答案上的選答率是否是正差，及這一差距是否足夠大。只有當高分組和低分組被試在正確答案上的選答率是正差，且這一差距足夠大時，這時題目質(zhì)量較佳。第43頁，講稿共61頁，2023年5月2日，星期三3、對于干擾項考察高分組和低分組被試在干擾項上的選答率是否是負差，及這一差距是否足夠大。只有當高分組和低分組被試在正確答案上的選答率是負差，且這一距差足夠大時，這時干擾項的設置比較合理，否則干擾項設置不合理，應對干擾項進行刪除或修改。4、其它①如果高分組被試的選答集中在兩個答案上，且人數(shù)又相近，說明此題可能有兩個正確答案，或者在某種意義上另一個選擇項也有一定道理。應考慮題目本身是否存有歧義或有兩個正確答案。第44頁，講稿共61頁，2023年5月2日，星期三②如果高分組對正確答案的選答率與低分組相等或低于后者，說明該題所考察東西與被試水平無關，即不具有鑒別力，此題應作大修改或刪除。③如果一個題目被試未作答的人數(shù)較多（速度測驗除外），或選擇各個備選項答案的人數(shù)相等，說明該題目過難或題意不清，被試無法作答或全憑猜測。應修改或刪除本題。第45頁，講稿共61頁，2023年5月2日，星期三舉例下表為一個由370人參加的英語測驗中四道選擇題的統(tǒng)計結果，試分析每題難度、區(qū)分度是如何計算出來的？并對這四題的選項質(zhì)量進行評價。第46頁，講稿共61頁，2023年5月2日，星期三第47頁，講稿共61頁，2023年5月2日，星期三第48頁，講稿共61頁，2023年5月2日，星期三③選項分析：第1題，正確答案和干擾項的兩組平均選答率都基本正常，在正確答案上高分組的被試選擇人數(shù)要多于低分組被試，且在非正確選項上，高分組的被試選擇人數(shù)要少于低分組被試，這符合實際情況，四個選項的設置均較合理；第49頁，講稿共61頁，2023年5月2日，星期三第2題，正確答案和干擾項B的兩兩組平均選答率基本一致，且正確答案上高分組的被試選擇人數(shù)要少于低分組被試，而在非正確選項B、D上，高分組的被試選擇人數(shù)要多于低分組被試，這均不符合實際情況，且高分組被試中選擇人數(shù)最多的為選項B，則要考慮該是否有2個正確選項，因此該題選項設置較差，因此整題質(zhì)量較差。第50頁，講稿共61頁，2023年5月2日，星期三第3題，選項A、B、D兩組平均選答率都基本正常、設置均較合理，但選項C需修改；第4題，選項A、D設置合理，選項C設置不合理需修改，不論高分還是低分組被試均無人選擇B，該選項無任何迷惑作用，可刪除該選項，并換其它具有迷惑性的選項。第51頁，講稿共61頁，2023年5月2日，星期三練習第52頁，講稿共61頁，2023年5月2日，星期三補充：題目功能差異與測量偏差控制題目功能差異、測量偏差定義及其偵查方法題目功能差異及測量偏差定義“某年的高考實驗試卷有一道關于魚頭和魚尾作文題：第一幅是母親把魚中段夾給年幼的兒子，自己吃魚頭魚尾；第二幅漫畫是兒子長大了，把魚頭魚尾留給母親吃，自己吃魚中段。要求被試就此發(fā)表議論，寫一篇作文。”第53頁，講稿共61頁，2023年5月2日，星期三題目功能差異（differentialitemfunction，DIF）是指不同群體對同一題目的答對概率（或得分率）不同，即不同群體在同一題目上得分存在差異。造成題目功能差異的原因可能是群體間本身水平存在差異，也可能是群體本身水平不存在差異而由于其它原因（如風俗習慣、性別、種族、地域）所致。第54頁，講稿共61頁，2023年5月2日，星期三若題目功能差異是由前者引起，則稱為良性題目功能差異；若是由后者引起，則稱為不良題目功能差異，即存在測量偏差。題目功能差異主要是針對不同群體而言，目前測量學領域關注較多群體差異主要有性別差異、地區(qū)差異、種族差異、跨文化差異等。因此有DIF的題目不一定存在測量偏差，良性DIF不存在測量偏差，不良DIF才存在測量偏差；但有測量偏差的題目一定存在DIF。第55頁，講稿共61頁，2023年5月2日，星期三在題目功能差異研究中還有一對重要概念:一致性DIF和不一致性DIF。一致性DIF是指被試的能力水平與其組別之間不存在交互作用，即在所有的能力水平上，一組被試回答某一項目的正確率都大于另一組。當被試的能力水平與其組別之間存在交互作用時，則表現(xiàn)為非一致性DIF。題目功能差異及測量偏差偵查方法要偵查題目是否存在測量偏差，首先應偵查題目是否存在DIF，若不存在DIF，則不存在測量偏差，若存在DIF，還應分析是良性DIF還是不良DIF，只有不良DIF才會造成測量偏差。第56頁，講稿共61頁，202