項(xiàng)目析培訓(xùn)講座教學(xué)學(xué)習(xí)PPT

1、項(xiàng)目分析項(xiàng)目分析 項(xiàng)目分析：項(xiàng)目分析：是指在組成測驗(yàn)前，一組分析被試對測驗(yàn)項(xiàng)目反應(yīng)的統(tǒng)計(jì)方法。廣義的項(xiàng)目分析還包括內(nèi)容效度分析、項(xiàng)目編寫分析。 一般來說，測驗(yàn)的項(xiàng)目分析含定性/定量分析 定性分析：定性分析：主要依靠編制者豐富的經(jīng)驗(yàn)、所受的訓(xùn)練，對項(xiàng)目的內(nèi)容效度、形式恰當(dāng)性、項(xiàng)目思想性教育性、表達(dá)的簡潔性清晰性等進(jìn)行分析 定量分析：定量分析：主要指用統(tǒng)計(jì)方法對項(xiàng)目難度、區(qū)分度、備選答案的合適度等進(jìn)行分析。 意義：意義：有助于篩選、修訂項(xiàng)目，從而提高測驗(yàn)信效度，使測驗(yàn)簡潔、實(shí)用、有效、可靠。一、項(xiàng)目難度一、項(xiàng)目難度 1 1、定義：、定義： 題目難難易程度度，在能力測驗(yàn)?zāi)芰y驗(yàn)中稱項(xiàng)目的難度水平，非

2、能力(人格人格)測驗(yàn)中，稱“通俗性通俗性”水平（即取自相同總體的樣本中，能在答案方向上回答該題的人數(shù)） 計(jì)算式定義計(jì)算式定義：難度（p）常以通過率通過率為指標(biāo) p=r/n100% p值大小與難度高低成反比，也稱易度易度。 適用于二值計(jì)分。2、計(jì)算方法、計(jì)算方法 （1 1）二分法計(jì)分）二分法計(jì)分的題目（客觀題，不考慮被試作答是猜測成功的機(jī)遇） 通過率通過率 例：在100個(gè)學(xué)生中，答對某題的人數(shù)為65個(gè)，則該題的難度是多少？ p=r/np=r/n =65/100=0.65 分組法：分組法： 當(dāng)被試人數(shù)較多被試人數(shù)較多，先將被試依照測驗(yàn)總分從高到低排列，分成三組，總分最高的27%被試為高分組（nh）

3、，總分最低的27%被試低分組（nl）。以兩組通過率的平均值作為難度 p=（ph+pl）/2=（ph/nh +pl/nl）/2 例：在370名學(xué)生中，選為高分組與低分組的學(xué)生各有100人，其中高分組有80人答對第一題，低分組有40人答對第一題，則該題的難度是： p=（rh/nh+rl/nl）/2 =（80/100+40/100）/2 =0.60、用于多重選擇題時(shí)用于多重選擇題時(shí)，項(xiàng)目難度受機(jī)遇影響的矯正 cp=（kp-1）/（k-1）檢驗(yàn)實(shí)際難度檢驗(yàn)實(shí)際難度：某題有75%的被試通過，有5個(gè)選項(xiàng)，則校正后的通過率應(yīng)為：cp=（5*0.75）/（5-1）=0.69比較兩個(gè)不同選項(xiàng)數(shù)題目的難度比較兩個(gè)

4、不同選項(xiàng)數(shù)題目的難度：有二道題,一題難度為0.50,五個(gè)選項(xiàng)，另一題難度為0.53,四個(gè)選項(xiàng) x是全體考生在該題的平均分，xmax該題的滿分分?jǐn)?shù) 某測驗(yàn)中某題的滿分為20分，該題考生的平均得分為13.6分，則該題的難度為 p= x/xmax=13.6/20 =0.68（2）非二值計(jì)分）非二值計(jì)分3 3、測驗(yàn)難度水平的確定、測驗(yàn)難度水平的確定 （1）合適的項(xiàng)目難度水平，取決于測驗(yàn)的目的、形式、性質(zhì)。 （2）在教育工作或?qū)嶋H工作教育工作或?qū)嶋H工作（效標(biāo)參照測驗(yàn)、掌握測驗(yàn)）中，若測驗(yàn)?zāi)康氖菫榱肆私獗辉囋谀撤矫娴闹R(shí)技能的掌握情況，可以不必過多考慮難度，只要教育者認(rèn)為重要的內(nèi)容就可以選用，甚至那些10

5、0%100%通通過或通過率為過或通過率為0 0的項(xiàng)目。 （3）用于選拔錄用選拔錄用人員，就應(yīng)該將項(xiàng)目的難度控制在接近錄取率接近錄取率左右。 4）用于診斷，則診斷，則p值高值高，只有少數(shù)不能通過 （5）大多數(shù)測驗(yàn)，都希望能準(zhǔn)確測量過個(gè)體差異。通過率接近0或1，就無辨別力；越接近0.5，越有區(qū)分力。 （6）每道題都是0.5，一方面不太可能做到；一方面，只有項(xiàng)目間相關(guān)為0得分才符合正態(tài)分布，而實(shí)際上個(gè)項(xiàng)目都有某種程度的相關(guān)。一般，一般，把測驗(yàn)的平均難度控制在把測驗(yàn)的平均難度控制在0.50.5，而每道題可在，而每道題可在0.3-0.3-0.70.7中波動(dòng)中波動(dòng)。 （7）選擇題，選擇題，p p值一般應(yīng)大

6、于概率水平值一般應(yīng)大于概率水平。等于概率，說明題目可能過難或題意不清，被試者憑猜測作答；小于概率無意義，說明題目質(zhì)量有問題。二選一，p值0.75最為合適；四選一， p值0.63最為合適。 （8）分?jǐn)?shù)分布是常態(tài)的，測題難度就恰當(dāng)4 4、難度的等距變換、難度的等距變換 （1 1）通過率屬順序變量，不具相等單位）通過率屬順序變量，不具相等單位；樣本量大測驗(yàn)分?jǐn)?shù)近正態(tài)，可據(jù)正態(tài)曲線表可據(jù)正態(tài)曲線表，將p作為正態(tài)曲線下的面積，轉(zhuǎn)換成具有相等單位的等距量數(shù)（轉(zhuǎn)換成具有相等單位的等距量數(shù)（z z分?jǐn)?shù)）。分?jǐn)?shù)）。z(標(biāo)準(zhǔn)差)yp.00.39894.00000.50.35207.191461.00.24197.

7、341341.50.12952.433191.96.05844.475002.00.05399.477252.50.01753.493792.58.01431.495063.00.00443.498653.50.00087.499773.99.00014.49997 p y 0 z p z 0.0013 +3 250.0228 +2 210.1600 +1 170.5000 0 130.9772 -2 50.8400 -1 90.9987 -3 1（3）美國教育測驗(yàn)中心采用美國教育測驗(yàn)中心采用的難度指標(biāo)的難度指標(biāo)=13+4=13+4z z（以消除正負(fù)號(hào)和小數(shù)點(diǎn)） 為常態(tài)化等距難度值，z表示p轉(zhuǎn)

8、換得來的標(biāo)準(zhǔn)分?jǐn)?shù) 并提出標(biāo)準(zhǔn)正態(tài)分?jǐn)?shù)的全并提出標(biāo)準(zhǔn)正態(tài)分?jǐn)?shù)的全距一般包括距一般包括6 6個(gè)標(biāo)準(zhǔn)差，即難個(gè)標(biāo)準(zhǔn)差，即難度指數(shù)的全距由度指數(shù)的全距由1 1至至2525，值，值越大，難度越高。平均數(shù)為越大，難度越高。平均數(shù)為1313，標(biāo)準(zhǔn)差為標(biāo)準(zhǔn)差為4 4ets難度指標(biāo)等距難度指標(biāo)等距變換的部分?jǐn)?shù)值變換的部分?jǐn)?shù)值5 5、難度對測驗(yàn)的影響、難度對測驗(yàn)的影響 （1）難度影響分?jǐn)?shù)的分布形態(tài) 樣具有代表性的被試，接受中等難度測驗(yàn)，其分?jǐn)?shù)呈正態(tài)分布。 測驗(yàn)項(xiàng)目難度普遍較大，被試得分普遍較低，測驗(yàn)分?jǐn)?shù)集中在低段，其分?jǐn)?shù)分布呈正偏態(tài)正偏態(tài)；反之則呈負(fù)偏態(tài)負(fù)偏態(tài)。 一般能力測驗(yàn)的平均難度在0.50 （2）難度影響測

9、驗(yàn)分?jǐn)?shù)的離散程度及信度 一般一般p=0.50p=0.50，測題有最佳的離散程度，測題有最佳的離散程度（分?jǐn)?shù)分布呈正態(tài)，且全距較大）、信度、區(qū)分度信度、區(qū)分度。 在測題中被試之間相互配對的可能性越多，就越在測題中被試之間相互配對的可能性越多，就越有利于準(zhǔn)確地鑒別被試的不同能力有利于準(zhǔn)確地鑒別被試的不同能力。 如，100個(gè)學(xué)生參加考試，若p=0.50的題目，則對錯(cuò)各50，此題有50*50次配對比較 p=0.70 30 70 = 2100 p=0.98 2 98 = 196二、項(xiàng)目的區(qū)分度二、項(xiàng)目的區(qū)分度 1、定義： 項(xiàng)目的區(qū)分度即鑒別力，指測驗(yàn)項(xiàng)目對被試心理品質(zhì)水平差異的區(qū)分能力。 2、意義 （1

10、）具有良好區(qū)分度的項(xiàng)目，能將不同水平的被試區(qū)分開來，實(shí)際水平高的被試的分高。 （2）測量專家把試題的區(qū)分度稱為測驗(yàn)是否具有效度的指示器指示器，并作為評(píng)價(jià)項(xiàng)目質(zhì)量，篩選項(xiàng)目的主要指標(biāo)與依據(jù)。 （3）評(píng)價(jià)測驗(yàn)項(xiàng)目區(qū)分度高低依賴于對被試水平的準(zhǔn)確測量，常稱作準(zhǔn)則分?jǐn)?shù)。測驗(yàn)項(xiàng)目區(qū)分度的準(zhǔn)則分?jǐn)?shù)更多的是用測驗(yàn)總分，稱作內(nèi)部準(zhǔn)則。 （4）區(qū)分度的取值范圍-1.00-+1.00。通常d為正值，稱積極區(qū)分；為負(fù)值為消極區(qū)分；0為無區(qū)分。具有積極區(qū)分作用的項(xiàng)目，d值越大，區(qū)分的效果越好。3 3、區(qū)分度的計(jì)算、區(qū)分度的計(jì)算 （1）鑒別力指數(shù)（index of discrimination，d） 最常用、最簡單。當(dāng)

11、效標(biāo)成績（測驗(yàn)總分）是連續(xù)變量，被試按總分高低排列，可從兩端各取27%的被試，分別計(jì)算出每個(gè)題目上各自的通過率。 d=ph-pl 如，當(dāng)某一個(gè)項(xiàng)目上，高分組和地分組的通過率分別為0.78，0.33，則d為0.45 極端組的劃分：極端組的劃分：樣本大于100或分?jǐn)?shù)分布式正態(tài)，一般按高低分組各取27%,或25-33%均可。 樣本小于100，可取50%分上下兩半鑒別指數(shù)與測題的評(píng)價(jià)鑒別指數(shù)與測題的評(píng)價(jià) （1965，美，艾伯爾） _ d 測題評(píng)價(jià) - 0.40以上 非常優(yōu)良 0.30-0.39 良好,如能修改更好 0.20-0.29 尚可,但必須修改 0.20以下 劣,淘汰 -一般而言，一般而言，d

12、0.30，該題目的該題目的鑒別度是鑒別度是可以接受可以接受的的(2)(2)、方差法、方差法 被試在某一試題上的得分越分散，方差越大，則該題的鑒別力就越大。 s s2 2= =（x xi i-x-x）2 2/n/n x xi i：第i個(gè)被試在該題的得分； 當(dāng)n30（實(shí)際的項(xiàng)目分析不能小于30） s s2 2= =（x xi i-x-x）2 2/ /（n-1n-1）(3)(3)、項(xiàng)目與總分相關(guān)法、項(xiàng)目與總分相關(guān)法 一般以總分來衡量被試能力高低，項(xiàng)目與總分有一致性，項(xiàng)目與總分相關(guān)高則項(xiàng)目的鑒別力高。 、點(diǎn)二列相關(guān)：、點(diǎn)二列相關(guān)： 適用條件：適用條件：項(xiàng)目是二值計(jì)分，總分是連續(xù)變量 公式：公式： =

13、答對該題的被試在總分上的平均分 = 答錯(cuò)該題的被試在總分上的平均分 p = 該題的難度 q = 1-p st = 全體被試的總分標(biāo)準(zhǔn)差 注意：注意：求出rpbi后，需檢驗(yàn)其是否達(dá)到顯著性水平。方法有積差相關(guān)法、t檢驗(yàn)法（比較二分變量對偶的兩組連續(xù)變量的平均數(shù)的差異是否顯著，如平均數(shù)（xp和xq）的差異顯著，則相關(guān)系數(shù)也顯著）學(xué)生123456789101112131415總分90 8180787770696555504942353110某題1011111000101001515個(gè)學(xué)生某測題的得分與總分情況個(gè)學(xué)生某測題的得分與總分情況、二列相關(guān)、二列相關(guān) xp xqpq st yrb = 適用于二

14、列連續(xù)測量變量，其中一個(gè)被人為分成兩類。如項(xiàng)目分?jǐn)?shù)，效標(biāo)或測驗(yàn)總分被人為分成：對、錯(cuò)，高、低，及格、不及格等。4) 因素分析因素分析 分析測題在一個(gè)因素上的負(fù)荷分析測題在一個(gè)因素上的負(fù)荷,負(fù)荷越大說負(fù)荷越大說明越有區(qū)分度明越有區(qū)分度,一般在一般在0.30以上才是可以接受的以上才是可以接受的5) 相關(guān)相關(guān)：不要求二分名義變量成正態(tài)分布，兩個(gè)變量都是二分名義變量 ad-bc (a+b)(c+d)(a+c)(b+d) r= （6）積差相關(guān)法 對于論文題目，得分有連續(xù)性，被試團(tuán)體較大時(shí)，項(xiàng)目分?jǐn)?shù)分布呈正態(tài)分布?？蓪㈨?xiàng)目得分與效標(biāo)分?jǐn)?shù)求積差相關(guān)系數(shù)以得到項(xiàng)目的區(qū)分度。4、區(qū)分度與難度的關(guān)系、區(qū)分度與難度

15、的關(guān)系 （1 1）難度和區(qū)分度是相對的，是針對）難度和區(qū)分度是相對的，是針對一定團(tuán)體而言。一般來說，相應(yīng)難度的項(xiàng)一定團(tuán)體而言。一般來說，相應(yīng)難度的項(xiàng)目對相應(yīng)水平被試區(qū)分度高。較難、中等、目對相應(yīng)水平被試區(qū)分度高。較難、中等、較易的項(xiàng)目分別對高、中、低水平的被試較易的項(xiàng)目分別對高、中、低水平的被試區(qū)分度高。這不與中等難度項(xiàng)目的區(qū)分度區(qū)分度高。這不與中等難度項(xiàng)目的區(qū)分度最高的說法相矛盾。最高的說法相矛盾。 （2 2）由于人的多數(shù)心理特征呈正態(tài)分）由于人的多數(shù)心理特征呈正態(tài)分布，所以當(dāng)需要人作最大程度的區(qū)分時(shí)，布，所以當(dāng)需要人作最大程度的區(qū)分時(shí)，項(xiàng)目難度的分布也以正態(tài)為好（特難、特項(xiàng)目難度的分布也以

16、正態(tài)為好（特難、特易的少，中等的多），且平均水平保持在易的少，中等的多），且平均水平保持在0.500.50左右。但左右。但p p值接近值接近0.500.50并不保證項(xiàng)目并不保證項(xiàng)目有高的鑒別力，只能說在統(tǒng)計(jì)上已經(jīng)沒有有高的鑒別力，只能說在統(tǒng)計(jì)上已經(jīng)沒有限制了限制了通過率pd最大值1.000.000.900.200.700.600.600.800.501.000.400.800.300.600.100.200.000.00難度難度p p與區(qū)分度與區(qū)分度d d的關(guān)系的關(guān)系5 5、區(qū)分度的相對性、區(qū)分度的相對性 （1 1）不同的計(jì)算方法，所得區(qū)分值不同。）不同的計(jì)算方法，所得區(qū)分值不同。在分析同一個(gè)

17、測驗(yàn)時(shí)，各個(gè)項(xiàng)目的區(qū)分度值要采用用一種指標(biāo)，否則不便分析比較。 （2 2）樣本容量大小影響相關(guān)法區(qū)分度值的大小。）樣本容量大小影響相關(guān)法區(qū)分度值的大小。一般樣本量越小，其統(tǒng)計(jì)值越不可靠。應(yīng)進(jìn)一步用顯著性檢驗(yàn)法，來檢驗(yàn)區(qū)分度值是否顯著。 （3 3）分組標(biāo)準(zhǔn)影響鑒別指數(shù)值（）分組標(biāo)準(zhǔn)影響鑒別指數(shù)值（d d）。）。分組越極端越大 （4 4）被試樣本的同質(zhì)性程度影響區(qū)分度值的）被試樣本的同質(zhì)性程度影響區(qū)分度值的大小。大小。被試越同質(zhì)，區(qū)分度越?。槐辉囋疆愘|(zhì)，區(qū)分度越大 （5 5）評(píng)價(jià)項(xiàng)目的有效性時(shí)，應(yīng)考慮到測驗(yàn)的）評(píng)價(jià)項(xiàng)目的有效性時(shí)，應(yīng)考慮到測驗(yàn)的目的、功能以及被試團(tuán)體的總分水平，不能將區(qū)目的、功能以

18、及被試團(tuán)體的總分水平，不能將區(qū)分度值作為篩選試題的絕對標(biāo)準(zhǔn)。分度值作為篩選試題的絕對標(biāo)準(zhǔn)。三、猜測問題與猜測率三、猜測問題與猜測率 （一）客觀測驗(yàn)題中的猜測問題與猜測率 1、被試憑猜測選擇正確答案的機(jī)會(huì)是1/k（k是每題的選項(xiàng)的數(shù)目）。 2、由猜測給測量帶來誤差，叫做猜測誤差。猜測誤差來源有： （1 1）相對于不猜引起的誤差）相對于不猜引起的誤差： 100道4選1，每題1分的考試中，甲乙都只會(huì)做50分的題，甲知之為知之不知為不知50分，乙知其不可而為之，50+50*0.25=50+12.5=62.5分 （2 2）是否猜得對引起的誤差）是否猜得對引起的誤差。猜測過程中因隨機(jī)得分情況不同所引起的誤

19、差。（二）項(xiàng)目難度受猜測影響的校正（二）項(xiàng)目難度受猜測影響的校正 1、全體被試在某項(xiàng)目上通過率的校正難度全體被試在某項(xiàng)目上通過率的校正難度公式 cp=（kp-1）/（k-1） 或cp=p-q/（k-1） 某個(gè)被試參加由多個(gè)項(xiàng)目組成的測驗(yàn)得分校正某個(gè)被試參加由多個(gè)項(xiàng)目組成的測驗(yàn)得分校正 s=r-w/（k-1） s校正分，r答對項(xiàng)目數(shù)，w答錯(cuò)數(shù)，k項(xiàng)目數(shù) 例例，某被試參加由100道四重選擇題組成的測驗(yàn)，測驗(yàn)結(jié)果答對79題，答錯(cuò)21題，該被試的實(shí)得分?jǐn)?shù)為（每題1分） s=r-w/（k-1） =79-21/（4-1） =722、優(yōu)點(diǎn) p88 （1）可避免降低測驗(yàn)的信度：可用答錯(cuò)一題倒扣一定分?jǐn)?shù)，使被試

20、不敢盲目猜測 （2）校正后的得分可反映被試的真正水平和能力。 （3）在教育測驗(yàn)中，可培養(yǎng)被試誠實(shí)的美德 （4）比較公平3、缺點(diǎn) （1）公式基本假設(shè)不成立。多數(shù)情況，被試先舍棄部分誘答，非盲目猜測。答錯(cuò)可能是觀念模糊、記憶錯(cuò)誤、粗心大意 （2）只要被試能答完全部試題，則猜測校正無實(shí)質(zhì)作用。校正只是進(jìn)行線性變換成相對分?jǐn)?shù) （3）不采用猜測校正對信度并無重大影響。據(jù)臺(tái)灣學(xué)者黃國彥研究（1977）：鼓勵(lì)被試猜測，其影響只有4%左右，此項(xiàng)缺點(diǎn)可通過增加試題的數(shù)目來提高測驗(yàn)信度 （4）有時(shí)會(huì)出現(xiàn)無法解釋現(xiàn)象。一個(gè)學(xué)生答對的題數(shù)等于或少于答錯(cuò)的題數(shù)。校正后會(huì)得到零分或負(fù)分。 （5）在實(shí)際生活中，經(jīng)常缺乏充分

21、的證據(jù)與資料，需要憑借部分知識(shí)來判斷，且進(jìn)行合理猜測是值得培養(yǎng)的習(xí)慣。 在答題時(shí)間充裕，備選答案在4個(gè)或4個(gè)以上的選擇題。沒有必須進(jìn)行校正記分。 總結(jié)：項(xiàng)目分析步驟總結(jié)：項(xiàng)目分析步驟1、選取有代表性的樣組實(shí)施測驗(yàn)。2、計(jì)算每個(gè)人的總分,然后按總分分組。3、計(jì)算高分組和低分組通過每一題的比率。4、分別求出每一測題的難度和鑒別指數(shù)。 5 5、選項(xiàng)分析、選項(xiàng)分析：選項(xiàng)設(shè)置不當(dāng)會(huì)降低題目的難度,所以也要對選項(xiàng)作分析,看有無異常情況。 通常判斷選項(xiàng)好壞有以下幾點(diǎn): 1) 正確答案無人選或少于其它選項(xiàng)的人數(shù) 2) 錯(cuò)誤答案選的人太多 3) 正確選項(xiàng)高分組選擇人數(shù)少于低分組 4) 錯(cuò)誤選項(xiàng)上高分組選擇人數(shù)多于低分組 5) 選項(xiàng)無人選擇 6) 未答人數(shù)較多 6 6、備選答案的反應(yīng)模式、備選答案的反應(yīng)模式 1）如正確的選項(xiàng)被所有被試選擇，則說明該題目太容易或者題目中可能提供了某種暗示； 2）如某個(gè)錯(cuò)誤答案沒有一個(gè)被試選擇，說明該項(xiàng)目不具迷惑性，錯(cuò)得過于明顯；一般