第9章測(cè)評(píng)質(zhì)量檢測(cè)

1、 第9章 測(cè)評(píng)質(zhì)量檢測(cè)本講內(nèi)容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質(zhì)量分析及其分析方法第一節(jié) 效度效度的概念 效度是指測(cè)評(píng)結(jié)果對(duì)所測(cè)評(píng)素質(zhì)反映的真實(shí)程度。對(duì)這種真實(shí)性的考評(píng)，常見的方法有三種：從內(nèi)容性質(zhì)方面分析其內(nèi)容效度從效標(biāo)相關(guān)性方面分析其關(guān)聯(lián)效度從實(shí)證方面分析其結(jié)構(gòu)效度一、內(nèi)容效度定義 是指實(shí)際測(cè)評(píng)到的內(nèi)容與期望測(cè)評(píng)的內(nèi)容的一致性程度。當(dāng)實(shí)際測(cè)評(píng)到的內(nèi)容與我們事先所想測(cè)評(píng)到的內(nèi)容越一致時(shí)，則說(shuō)明測(cè)評(píng)結(jié)果的內(nèi)容效度越高，測(cè)評(píng)結(jié)果就越有效。分析方法 內(nèi)容效度在實(shí)際操作中的鑒定主要采用定性分析的方法, 有藍(lán)圖對(duì)照分析法(看實(shí)際測(cè)評(píng)內(nèi)容與藍(lán)圖的適合性）與專家比較

2、判斷法。（ -1 C 1,C越大說(shuō)明內(nèi)容效度越高）持肯定判斷的人數(shù)判斷總?cè)藬?shù)二、結(jié)構(gòu)效度結(jié)構(gòu)效度又稱作構(gòu)想效度、構(gòu)思效度、構(gòu)念效度、構(gòu)建效度等。結(jié)構(gòu)效度是指實(shí)際所測(cè)評(píng)的結(jié)果與想測(cè)評(píng)素質(zhì)的同構(gòu)程度。它表明了在多大程度上，實(shí)際測(cè)評(píng)結(jié)果能夠被看作是所要測(cè)評(píng)的素質(zhì)在結(jié)構(gòu)上的替代物。在素質(zhì)測(cè)評(píng)中，它是人們最關(guān)心的一種效度。這是由素質(zhì)測(cè)評(píng)的間接性所決定的。人們總是通過(guò)選取一些具體的行為測(cè)評(píng)來(lái)判斷實(shí)際的素質(zhì)水平。二、結(jié)構(gòu)效度結(jié)構(gòu)效度與檢驗(yàn)效度的人對(duì)素質(zhì)結(jié)構(gòu)的理解有直接關(guān)系。如果李某認(rèn)為忠誠(chéng)這一素質(zhì)即對(duì)本企業(yè)的忠誠(chéng)，張某認(rèn)為忠誠(chéng)這一素質(zhì)表現(xiàn)為實(shí)事求是的態(tài)度，那么對(duì)于向其他企業(yè)說(shuō)明本企業(yè)產(chǎn)品所存在的問(wèn)題這一行為

3、，顯然李某與張某會(huì)把它歸類到不同的素質(zhì)成分中給與不同的素質(zhì)成分中并給與不同的評(píng)價(jià)。因此結(jié)構(gòu)效度的檢驗(yàn)分析也是一種定性的主觀判斷。在分析考評(píng)過(guò)程中，要采取有力措施把主觀影響控制在最低點(diǎn)上。二、結(jié)構(gòu)效度結(jié)構(gòu)效度的分析可按一下幾步進(jìn)行：1.給所要測(cè)評(píng)的素質(zhì)的結(jié)構(gòu)模式下一個(gè)操作化的定義 “我們所要測(cè)評(píng)的素質(zhì)是對(duì)xx的態(tài)度、有關(guān)xx的品質(zhì)、有關(guān)xx的技能?！毕襁@樣一些表述所測(cè)評(píng)素質(zhì)的具體形象是什么，結(jié)構(gòu)是什么，我們并不清楚，它仍然是從具體行為概括出某種意識(shí)或觀念，因此對(duì)結(jié)構(gòu)效度的分析沒有多大意義。這里的構(gòu)建不是從行為向觀念構(gòu)建，而是相反，由觀念向具體行為的構(gòu)建。不是簡(jiǎn)單還原，而是在更高的水平上抓住所測(cè)素

4、質(zhì)的本質(zhì)特征，確定一個(gè)可感覺可操作的結(jié)構(gòu)模式，由這種具體的結(jié)構(gòu)模式作為抽象觀念建構(gòu)的替代物。這種替代物的成分顯然應(yīng)該是我們世紀(jì)能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應(yīng)等。素質(zhì)測(cè)評(píng)的目標(biāo)體系實(shí)際上就是所測(cè)素質(zhì)的一個(gè)行為構(gòu)建模型，這種結(jié)構(gòu)模型分別由項(xiàng)目、指標(biāo)、權(quán)重、標(biāo)度等組成。這種模型的建構(gòu)，在很大程度上取決于所測(cè)素質(zhì)本身的特征及其抽象程度等組成。要定義或建構(gòu)一個(gè)素質(zhì)的結(jié)構(gòu)模型，可以從以下幾方面著手：首先，采取工作分析方法，對(duì)所想測(cè)評(píng)的素質(zhì)進(jìn)行結(jié)構(gòu)分析與行為分析，確定各種素質(zhì)結(jié)構(gòu)及其代表的行為。其次，用圖表的形式逐一列出工作分析得到的素質(zhì)因素及其特征行為。除此之外，還可以通

5、過(guò)查找歷史上或現(xiàn)在人們對(duì)所測(cè)評(píng)素質(zhì)的模型的現(xiàn)成資料，豐富已有分析的結(jié)果。再次，還要另外準(zhǔn)備一份與已經(jīng)建構(gòu)的模型可能混淆的但關(guān)系密切的其他模型圖表。要反問(wèn)自己并向人說(shuō)明為什么所測(cè)素質(zhì)是你所定義的結(jié)構(gòu)模型而不是其他別的結(jié)構(gòu)模型。2.收集事實(shí)資料，評(píng)判結(jié)構(gòu)效度，具體方法有：當(dāng)心多選排除法 如果測(cè)評(píng)結(jié)果能明確的排除它所對(duì)應(yīng)素質(zhì)結(jié)構(gòu)模型的其他解釋，那就表明所獲得的測(cè)評(píng)結(jié)果具有較好的結(jié)構(gòu)效度。咨詢法 可以請(qǐng)一些有經(jīng)驗(yàn)的專家就你所獲得的測(cè)評(píng)結(jié)果、所對(duì)應(yīng)的素質(zhì)結(jié)構(gòu)進(jìn)行判斷或推斷，問(wèn)他們?cè)摐y(cè)評(píng)結(jié)果實(shí)際測(cè)評(píng)的素質(zhì)是什么。如果大家的回答與你所想測(cè)評(píng)的素質(zhì)結(jié)構(gòu)幾乎一致，那么說(shuō)明你的測(cè)評(píng)有較好的結(jié)構(gòu)效度。相關(guān)法 找一個(gè)

6、具有較高結(jié)構(gòu)效度的測(cè)評(píng)工具或結(jié)果，與你所獲得的測(cè)評(píng)結(jié)果進(jìn)行相關(guān)性分析，如果相關(guān)性很高，說(shuō)明你的測(cè)評(píng)結(jié)果具有較高的結(jié)構(gòu)效度。 邏輯分析法 當(dāng)大家對(duì)所測(cè)素質(zhì)的結(jié)構(gòu)模型具有比較一致的認(rèn)識(shí)時(shí)，只要能判定測(cè)評(píng)內(nèi)容（工具）選擇正確，且整個(gè)測(cè)評(píng)過(guò)程除了一切外來(lái)干擾因素，就可以說(shuō)測(cè)評(píng)結(jié)果具有較好的結(jié)構(gòu)效度。 例如：測(cè)評(píng)時(shí)間足以保證被測(cè)評(píng)者完成所有的工作，被測(cè)評(píng)者沒有受到催促因素的影響；測(cè)評(píng)工具的指導(dǎo)十分明確，被測(cè)操作準(zhǔn)確。多元分析 多元分析就是采取聚類分析與主成分分析等數(shù)學(xué)手段，對(duì)測(cè)評(píng)結(jié)果進(jìn)行分析，看分析的結(jié)果。 例如：所找出的主要因素與分類結(jié)果，與所想測(cè)評(píng)素質(zhì)的結(jié)構(gòu)是否一致，如果一致，則說(shuō)明所獲得的測(cè)評(píng)結(jié)果

7、具有較好的結(jié)構(gòu)效度。 主成分分析也稱主分量分析，旨在利用降維的思想，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)。群分析，是根據(jù)“物以類聚”的道理，對(duì)樣品或指標(biāo)進(jìn)行分類的一種多元統(tǒng)計(jì)分析方法，它們討論的對(duì)象是大量的樣品，要求能合理地按各自的特性來(lái)進(jìn)行合理的分類，沒有任何模式可供參考或依循，即是在沒有先驗(yàn)知識(shí)的情況下進(jìn)行的 三、關(guān)聯(lián)效度又稱實(shí)證效度、效標(biāo)效度、效標(biāo)關(guān)聯(lián)效度，是指測(cè)評(píng)結(jié)果與效標(biāo)（標(biāo)準(zhǔn)結(jié)果）的一致性程度。效標(biāo)是一種用來(lái)衡測(cè)評(píng)有效性的外在參照標(biāo)準(zhǔn), 它可以是一種測(cè)評(píng)的結(jié)果, 也可以是標(biāo)準(zhǔn)測(cè)評(píng)分?jǐn)?shù)。根據(jù)效標(biāo)是否可以同時(shí)獲得, 可將關(guān)聯(lián)效度分為同時(shí)效度與預(yù)測(cè)效度。作為效標(biāo)的結(jié)果與預(yù)測(cè)結(jié)果同時(shí)獲得, 這種

8、效度稱之為同時(shí)效度。當(dāng)作為效標(biāo)的結(jié)果是后來(lái)測(cè)評(píng)中獲得, 這種效度稱為預(yù)測(cè)效度，它反映了現(xiàn)在的測(cè)評(píng)結(jié)果對(duì)未來(lái)素質(zhì)發(fā)展的預(yù)測(cè)程度。 例如：兩個(gè)人同時(shí)采用觀察評(píng)定與問(wèn)卷測(cè)驗(yàn)測(cè)評(píng)同一個(gè)人的工作態(tài)度，兩個(gè)測(cè)評(píng)結(jié)果相關(guān)系數(shù)很高，例如0.80，那么以后在類似的情況下，可以用問(wèn)卷測(cè)驗(yàn)代替花時(shí)太多的行為觀察法?？垂絇259考過(guò)關(guān)聯(lián)效度 關(guān)聯(lián)效標(biāo)的分析關(guān)鍵在于效標(biāo)的選擇。效標(biāo)作為衡量測(cè)評(píng)結(jié)果有效性的參照標(biāo)準(zhǔn)，應(yīng)該是可以測(cè)評(píng)到且獨(dú)立于所分析的測(cè)評(píng)結(jié)果的行為結(jié)果。效標(biāo)可以分為行為效標(biāo)與觀念效標(biāo)。 行為效標(biāo)的選擇以客觀性為依據(jù)。常見的行為效標(biāo)有以下幾種：考過(guò)學(xué)術(shù)成就：作品的數(shù)量、質(zhì)量、發(fā)行量（教材有誤）特殊訓(xùn)練成績(jī)實(shí)

9、際工作表現(xiàn)與成績(jī)團(tuán)體特征等級(jí)評(píng)定結(jié)果先前被證明是有效的測(cè)評(píng)結(jié)果第二節(jié) 信度信度的概念 信度是指測(cè)評(píng)結(jié)果所反映所測(cè)素質(zhì)的準(zhǔn)確性。一個(gè)人的高度在同一天測(cè)量了兩次,一次是162厘米,一次是159厘米. 一個(gè)學(xué)生，參加研究生入學(xué)考試春季考了300分,秋季考了390分.一個(gè)人參加兩個(gè)不同形式的智力測(cè)驗(yàn),一個(gè)測(cè)驗(yàn)獲得智商是100,另一個(gè)測(cè)驗(yàn)上的智商是114.信度(Reliability):測(cè)驗(yàn)是否精確(Precision)效度(Validity) :測(cè)驗(yàn)是否正確(Accuracy)信度和效度的意義第二節(jié) 信度準(zhǔn)確性的考量，目前大致有穩(wěn)定系數(shù)分析、等值系數(shù)分析、分半系數(shù)分析、內(nèi)部一致系數(shù)分析、評(píng)分一致性系數(shù)

10、分析等。注意一下 以上幾種信度都是針對(duì)常模參照測(cè)驗(yàn)而言的，標(biāo)準(zhǔn)參照測(cè)驗(yàn)中的信度計(jì)算通常使用分類一致性信度，這種信度的的常用估計(jì)方法是考察同一批被測(cè)者在兩次是冊(cè)或者復(fù)本測(cè)驗(yàn)中的分類是否一致。標(biāo)準(zhǔn)參照測(cè)驗(yàn)中的信度也可以使用K系數(shù)計(jì)算，較分類一致性信度在統(tǒng)計(jì)上更合理（Cohen,1968;Aiken,1988）。一、再測(cè)信度指以同樣的測(cè)評(píng)工具, 按照同樣的方法, 對(duì)于相同的對(duì)象再次進(jìn)行測(cè)評(píng), 所得先后結(jié)果的一致性程度。（教材有誤）再測(cè)信度的計(jì)算一般采用皮爾遜積差相關(guān)系數(shù)。（測(cè)評(píng)結(jié)果前后兩次出現(xiàn)的穩(wěn)定度（一致性）個(gè)體的素質(zhì)測(cè)評(píng)在測(cè)評(píng)過(guò)程中會(huì)涉及許多因素的影響，素質(zhì)本身有時(shí)也無(wú)法精確定義。我們常常把對(duì)個(gè)

11、體測(cè)評(píng)結(jié)果的準(zhǔn)確性檢驗(yàn)，置于群體測(cè)評(píng)結(jié)果的相互關(guān)系中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對(duì)象的測(cè)評(píng)結(jié)果以同樣的測(cè)評(píng)方式再次獲得后，其順序位置關(guān)系變異很小時(shí)，則說(shuō)明測(cè)評(píng)結(jié)果比較準(zhǔn)確。例如：在技能測(cè)評(píng)中李某的分?jǐn)?shù)是，在全體被測(cè)者中排名第一，這到底準(zhǔn)不準(zhǔn)呢？我們?cè)僦貜?fù)測(cè)評(píng)一次，結(jié)果李某的分?jǐn)?shù)是，還是排名第一，而且其他被測(cè)的位置順序變化很小，我們就可以說(shuō)第一次的技能測(cè)評(píng)結(jié)果很可靠。教材積差相關(guān)性分析。P263二、復(fù)本信度 復(fù)本信度測(cè)評(píng)結(jié)果相對(duì)另一個(gè)非常相同的測(cè)評(píng)結(jié)果的變異程度?！胺浅Ｏ嗤币话阋缘戎到忉?。所謂等值, 是指在測(cè)評(píng)內(nèi)容、效度、要求、形式上都與原測(cè)評(píng)一樣, 其中一個(gè)測(cè)評(píng)可以看作是另一個(gè)測(cè)

12、評(píng)的近似復(fù)寫, 即復(fù)本?！白儺惓潭取币话阋运姆戳x詞“一致性”解釋。因此復(fù)本信度實(shí)際上是一種用等值系數(shù)揭示的信度。等值系數(shù)即為兩組測(cè)評(píng)結(jié)果的相關(guān)系數(shù)。計(jì)算公式見教材P264,考過(guò)。 三、一致性信度一致性信度又稱同質(zhì)性信度，是指相同測(cè)評(píng)項(xiàng)目分?jǐn)?shù)間的一致性程度。反映了測(cè)驗(yàn)題目與所測(cè)量?jī)?nèi)容的一致性程度。如果被測(cè)在第一個(gè)項(xiàng)目上比其他人分?jǐn)?shù)高，在第二個(gè)項(xiàng)目上又比其他人高，在第三個(gè)項(xiàng)目上也比其他人高相反另一個(gè)人在第一個(gè)項(xiàng)目上比其他人分?jǐn)?shù)低，在第二個(gè)項(xiàng)目上又比其他人低，在第三個(gè)項(xiàng)目上也比其他人低那么毫無(wú)疑問(wèn)，我們會(huì)認(rèn)為測(cè)評(píng)結(jié)果比較可靠。信度的這種分析常見的兩種方法：項(xiàng)目半折分析，另一種是系數(shù)分析。項(xiàng)目半折分

13、析是把測(cè)評(píng)結(jié)果分成2半，一半是偶數(shù)號(hào)項(xiàng)目的得分的總和，一半是奇數(shù)號(hào)項(xiàng)目得分總和，計(jì)算他們相關(guān)性。求出相關(guān)性系數(shù)再帶入公式求一致性系數(shù)。四、評(píng)分者信度評(píng)分者信度指多個(gè)測(cè)評(píng)者給同一組被測(cè)樣組進(jìn)行評(píng)分的一致性程度。測(cè)評(píng)與選拔結(jié)果的差異程度來(lái)自兩方面一是被測(cè)評(píng)者自身, 二是測(cè)評(píng)者及其測(cè)評(píng)。信度主要是對(duì)后者為依據(jù), 測(cè)評(píng)者及其測(cè)評(píng)的無(wú)關(guān)差異越小, 測(cè)評(píng)與選拔結(jié)果就越可靠。評(píng)分者信度主要用于通過(guò)面試與觀察評(píng)定等主觀性測(cè)評(píng)方法獲得的結(jié)果的可靠性分析。測(cè)評(píng)者的評(píng)分是引起主觀性測(cè)評(píng)結(jié)果差異的主要原因。客觀性測(cè)評(píng)是利用計(jì)算機(jī)評(píng)分, 不受主觀因素影響, 不存在評(píng)分誤差。評(píng)分者信度主要采用肯德爾和諧系數(shù)計(jì)算。評(píng)分者信

14、度與測(cè)評(píng)方法信度對(duì)測(cè)評(píng)結(jié)果的影響。P266(考過(guò)）提高測(cè)評(píng)可靠性的方法。P267(考過(guò)）項(xiàng)目分析項(xiàng)目質(zhì)量的考評(píng)指標(biāo)。 考過(guò)適合度 在素質(zhì)測(cè)評(píng)中，項(xiàng)目不僅僅是試題，更多的是一些咨詢問(wèn)題或觀察評(píng)定點(diǎn)（指標(biāo)），它們無(wú)難易之分，適合度指的是被測(cè)者行為(回答及實(shí)際表現(xiàn)）符合項(xiàng)目測(cè)評(píng)標(biāo)準(zhǔn)的程度。當(dāng)項(xiàng)目為試題時(shí)，適合度即難度；當(dāng)項(xiàng)目是問(wèn)卷中的問(wèn)題時(shí)，符合度即所有選對(duì)的被測(cè)者人數(shù)與總?cè)藬?shù)之比（計(jì)算，考過(guò)）；當(dāng)項(xiàng)目為觀察評(píng)定量表中的指標(biāo)時(shí)，符合程度即所有被測(cè)得分平均值與指標(biāo)滿分值之比。（適合度計(jì)算考過(guò)）P268區(qū)分度 又稱鑒別力，指項(xiàng)目得分對(duì)被試實(shí)際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項(xiàng)目得分的高低與被試

15、實(shí)際能力或心理特質(zhì)水平高低的一致性程度。區(qū)分度高的項(xiàng)目很容易把優(yōu)秀者也一般者區(qū)分開來(lái)。項(xiàng)目區(qū)分度的計(jì)算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點(diǎn)二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法獨(dú)立性 在能力測(cè)評(píng)中，常常需要項(xiàng)目之間有一定的獨(dú)立性。所謂獨(dú)立性即非相關(guān)性或低相關(guān)性。獨(dú)立性的分析一般采用項(xiàng)目間分?jǐn)?shù)的相關(guān)系數(shù)揭示，根據(jù)實(shí)際得分分布是否均勻，可以分別采用r系數(shù)法和列聯(lián)表檢驗(yàn)法。 項(xiàng)目分析選項(xiàng)率指被測(cè)者對(duì)是非正確答案的選擇比例。它是反映項(xiàng)目選項(xiàng)質(zhì)量的一個(gè)指標(biāo)。誘答或正答擬定的好壞決定整個(gè)試題的質(zhì)量及分?jǐn)?shù)可信性。對(duì)于誘答或正答質(zhì)量的分析方法有兩種：誘惑力分析法 這種方法是采

16、用表格形式，分別統(tǒng)計(jì)高分組與低分組中的被測(cè)者對(duì)同一項(xiàng)目各選項(xiàng)的選擇次數(shù)。“白智”試測(cè)法 這種方法是找一些對(duì)測(cè)驗(yàn)內(nèi)容一無(wú)所知或十分陌生的人作為被測(cè)者進(jìn)行測(cè)試，通過(guò)分析這些人對(duì)每個(gè)誘答選擇的人次來(lái)分析選項(xiàng)的質(zhì)量。3種情形。見教材P272其他指標(biāo)的分析客觀性 測(cè)評(píng)的客觀性由測(cè)評(píng)方法的客觀性與測(cè)評(píng)者的客觀性兩方面構(gòu)成.見教材P274誤差 誤差是指通過(guò)測(cè)評(píng)結(jié)果的定性定量分析，判斷測(cè)評(píng)結(jié)果是否受到心理效應(yīng)的嚴(yán)重影響。分析的主要內(nèi)容是心理誤差、標(biāo)準(zhǔn)誤差以及單個(gè)測(cè)評(píng)結(jié)果的致信區(qū)間。見教材P274(考過(guò)）其他指標(biāo)的分析見教材P274(考過(guò)）哈羅效應(yīng)誤差哈羅效應(yīng)又稱暈輪效應(yīng)，是指測(cè)評(píng)者往往會(huì)因?yàn)閷?duì)被測(cè)評(píng)者整體印象

17、的好壞從而影響他對(duì)每個(gè)素質(zhì)的測(cè)評(píng)。例如因看到一個(gè)人相貌端莊、嚴(yán)肅，就容易產(chǎn)生此人責(zé)任感很強(qiáng)的看法。由哈羅效應(yīng)引起的誤差叫哈羅效應(yīng)誤差。哈羅效應(yīng)還表現(xiàn)為因?qū)δ硞€(gè)重要因素的印象好壞而對(duì)整體評(píng)價(jià)產(chǎn)生影響，所謂一好百好，一丑白丑。雖然這是一種泛化影響，而前者是一種演繹影響。趨中心理誤差趨中心理誤差是指因?yàn)闇y(cè)評(píng)者既不愿把被測(cè)評(píng)得過(guò)好，也不愿把被測(cè)評(píng)的過(guò)差而過(guò)于集中在中間段而產(chǎn)生的誤差。這種誤差使有差異的被測(cè)得到相同或相近的分?jǐn)?shù)，缺乏區(qū)分性?？梢酝ㄟ^(guò)測(cè)量結(jié)果的分布及差異量分析來(lái)揭示這種誤差的情況。寬大心理誤差寬大心理誤差指因測(cè)評(píng)者不堅(jiān)持測(cè)評(píng)的標(biāo)準(zhǔn)要求就高不就低的測(cè)評(píng)而產(chǎn)生的誤差。這種誤差表現(xiàn)為皆大歡喜，高分低能。另一種負(fù)向?qū)挻笮睦碚`差，則是過(guò)于嚴(yán)格，以一些脫離實(shí)際的高標(biāo)準(zhǔn)去測(cè)評(píng)人的