【招】第五章++人才測評的信度和ppt課件

1、第五章 人才測評的信度和效度本章要點：1.信度和效度的含義及其作用2.信度、效度評定的方法3.影響信度、效度的要素本章要求：1.充分認識信度、效度在人事丈量中的重要性2.了解和掌握人事丈量量表信度、效度的評價方法第二節(jié) 人事丈量的信度一、信度的定義1.信度指丈量結(jié)果的可靠性或一致性。檢驗量表或問卷必需具有較高的信度。例如：才干與學(xué)習(xí)成果檢驗：0.90以上。性格、興趣、價值觀檢驗：0.80以上。2.誤差1抽樣誤差：由抽樣變動而呵斥的誤差。信度估計時抽樣誤差可以忽略不計。2)系統(tǒng)誤差：與檢驗?zāi)康臒o關(guān)的因子所引起的恒定的、系統(tǒng)的、有規(guī)律變化，存在于每次檢驗中的誤差。系統(tǒng)誤差與效度有關(guān)，與信度無關(guān)。3

2、隨機誤差：運用丈量工具進展心思丈量時所呵斥的誤差，無規(guī)律性。丈量誤差與信度、效度都有關(guān)，信度那么完全受丈量誤差的影響。3.信度思索的問題1穩(wěn)定性問題檢驗分數(shù)一致性的程度。一個人的獲得分數(shù)與“真實分數(shù)之間的接近程度。檢驗的丈量一致性能否可以到達實踐運用的程度。2影響穩(wěn)定性的緣由什么要素呵斥了這種誤差？這些效應(yīng)的相對作用如何？二、信度的作用1.信度的表示信度系數(shù)信度系數(shù)普通指同一樣本所得的兩組資料的相關(guān)。信度系數(shù)的實際公式：rxx=rxr2=ST2/SX2其中，ST是真實分數(shù)規(guī)范差，SX是實得分數(shù)規(guī)范差。 rxr=ST/SX也稱為信度指數(shù)。2闡明可以接受的信度水準(zhǔn)普通的才干檢驗與成就檢驗，信度系數(shù)

3、應(yīng)該在0.90以上；人格、興趣等檢驗的信度系數(shù)通常應(yīng)該在0.800.85之間。當(dāng)rxx 0.7時，可用于團體間的比較；當(dāng)rxx 0.85時，可用于鑒別個人。1解釋真實分數(shù)與實得分數(shù)的相關(guān)信度可以解釋總方差中有多少比例是由真實分數(shù)的方差決議的。信度系數(shù)通知我們丈量的誤差比例是多少。2.信度的作用三、信度的評定方法1.重測信度1定義：重測信度又稱為穩(wěn)定性系數(shù)，用同一檢驗，在不同時間對同一群體施測兩次，這兩次丈量分數(shù)的相關(guān)系數(shù)(采用積差相關(guān)系數(shù))即為重測系數(shù)。2重測信度所調(diào)查的誤差來源：時間的變化所帶來的隨機影響。例如由氣候、偶爾的噪音或其他干擾，以及引起被試本身身心形狀變化的要素，如疾病、疲勞、心

4、情動搖、焦慮等緣由呵斥的對丈量結(jié)果的影響。3留意問題重測間隔的時間。重測信度普通只反映由隨機要素導(dǎo)致的變化，而不反映被試行為的長久變化。不同的行為受隨機誤差影響不同。4適用范圍處理問題型檢驗不適宜運用。不大容易受反復(fù)影響的檢驗，如覺得一運動檢驗或人格檢驗，比較適宜用重測法計算信度系數(shù)。2.復(fù)本信度1定義：復(fù)本信度又稱等值性系數(shù)，它是以兩個檢驗復(fù)本(功能等值但標(biāo)題內(nèi)容不同)來丈量同一群體，然后求得應(yīng)試 者在這兩個檢驗上得分的相關(guān)系數(shù)(積差相關(guān))。2檢驗?zāi)康模赫{(diào)查兩個檢驗復(fù)本的標(biāo)題取樣或內(nèi)容取樣能否等值。3檢驗方式同時施測：實際中，一半被試先做其中的一個復(fù)本，另一半被試先做另一個復(fù)本。不同時施測：

5、所測得的是重測復(fù)本信度，更為嚴厲。4優(yōu)缺陷優(yōu)點：可以防止重測信度的一些問題，如記憶效果、練習(xí)效應(yīng)等；適用于進展長期追蹤研討或調(diào)查某些干涉變量對檢驗成果影響；減少了輔導(dǎo)或作弊的能夠性。 局限性：只能減少而不能消除練習(xí)的影響；有些檢驗的性質(zhì)會由于反復(fù)而發(fā)生改動。有些檢驗很難找到適宜的復(fù)本。3.內(nèi)部一致性信度(1)定義：主要反映檢驗內(nèi)部標(biāo)題之間的關(guān)系，調(diào)查檢驗的各個標(biāo)題能否丈量了一樣的內(nèi)容或特質(zhì)。內(nèi)部一致性信度分為分半信度和同質(zhì)性信度。2同質(zhì)性信度定義：一切檢驗標(biāo)題丈量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為一切檢驗標(biāo)題得分的一致性。3分半信度定義：經(jīng)過將檢驗分成兩半，計算這兩半檢驗之間的相關(guān)性而獲得的信度系數(shù)

6、。方法：在檢驗實施后將檢驗分為等值的兩半，并分別計算每位被試在兩半檢驗上的得分，再求出這兩個分數(shù)的相關(guān)系數(shù)。普通采用奇偶分半的方法，即將檢驗按奇數(shù)題和偶數(shù)題分成兩半。4.評分者信度1定義：不同評分者對同樣對象進展評定時的一致性。2方法：最簡單的估計方法就是隨機抽取假設(shè)干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關(guān)系數(shù)。3計算方法： 積差相關(guān)法斯皮爾曼等級相關(guān)法肯德爾調(diào)和系數(shù)評分者在三人以上，而且又采用等級記分四、影響信度的要素1.樣本團體的性質(zhì)樣本團體的性質(zhì)對信度的影響主要有以下三個方面：(1)樣本團體的分數(shù)分布任何以相關(guān)系數(shù)表示的信度系數(shù)都會受樣本團體分數(shù)分布的影響。分數(shù)分

7、布越廣，信度系數(shù)就相對越高，分數(shù)分布越窄，信度系數(shù)就會越低。(2)樣本團體的異質(zhì)性普通來說，取樣團體的異質(zhì)性越大，信度系數(shù)就相對越高。(3)不同團體間才干程度的差別2.檢驗的長度(標(biāo)題的多少)普通來說，檢驗越長，信度值越高。一方面，檢驗越長，標(biāo)題取樣或內(nèi)容取樣就越充分，結(jié)果就越可靠。另一方面，較長的檢驗也不容易遭到猜測的影響。3.檢驗的難度天花板效應(yīng)一個檢驗的難度太低，檢驗分數(shù)會非常集中并聚在高分端。地板效應(yīng)檢驗難度太大，一切分數(shù)都集中在低分端。它們都會使丈量到的分數(shù)分布太窄，導(dǎo)致信度降低。只需當(dāng)檢驗的難度程度可以使檢驗分數(shù)分布范圍最大時，檢驗的信度才會比較理想。普通來說，當(dāng)一切被試的平均分為

8、檢驗總分的一半，并且分數(shù)從零分到總分值分布時，丈量的信度最高。第三節(jié) 人事丈量的效度一、效度的定義1.實際定義：效度指與丈量目的有關(guān)的真實分數(shù)方差即由丈量目的變量所產(chǎn)生的方差與總分方差的比率。rXY=Sv2/SX2 ，Sv其中是有效方差，SX是總方差。而SX2=ST2+SE2=SV2+SI2+SE2可見，呵斥檢驗分數(shù)變化的緣由出自三大來源：丈量對象本身的變化，量具的精度呵斥的系統(tǒng)誤差，量具運用中呵斥的隨機誤差。2.信度和效度的關(guān)系1信度思索的是隨機誤差的影響，而效度的誤差還包括系統(tǒng)誤差。例：游標(biāo)卡尺，鋼琴2信度是效度的必要條件。效度高必然信度高，但信度高并不保證效度必然會高。效度的最大值是信度

9、系數(shù)的平方根。例：磅秤丈量身高；南轅北轍3.效度的性質(zhì)1“檢驗的效度指的是“丈量結(jié)果的效度，即丈量結(jié)果的準(zhǔn)確性程度。2效度是延續(xù)的，只需高低差別，而非“全有或“全無變量。3效度的高低是針對丈量目的而言的。4效度并非直接丈量得到的，而是從已有的證據(jù)推理而得的。二、效度評定的方法一內(nèi)容效度1.定義：檢查檢驗內(nèi)容能否是所要丈量的行為領(lǐng)域的代表性取樣的目的。內(nèi)容效度分析時要留意兩方面的問題：1)應(yīng)防止將檢驗取樣的行為領(lǐng)域過于泛化。2)要留意檢驗分數(shù)中無關(guān)要素的影響。2內(nèi)容效度的評價方法1沒有可用的數(shù)量化目的，只能靠推理和判別評價。2依賴條件： 檢驗內(nèi)容范圍明確； 檢驗內(nèi)容的取樣有代表性。3確定方法：通

10、常是由專家根據(jù)檢驗標(biāo)題和假設(shè)的內(nèi)容范圍作系統(tǒng)的比較判別。也可間接借用其他統(tǒng)計目的闡明，如評分者信度，復(fù)本信度等。確定內(nèi)容效度的步驟1)確定總體范圍，即描畫有關(guān)的知識與技藝及所用資料的來源；2)編制雙向細目表，確定內(nèi)容和技藝各自所占的比例，并由檢驗編制者確定各題所測的是何種內(nèi)容與技藝；3)制定評定量表來丈量檢驗的整個效度及其他特點。3.內(nèi)容效度的運用(1) 最適宜于評價教育和職業(yè)成就檢驗。內(nèi)容效度的評價可以回答以下兩個問題：樣本的代表性；無關(guān)要素的影響程度。(2) 評價某些用于選拔和分類的人事檢驗。(3) 不適用于才干傾向檢驗和人格檢驗。二效標(biāo)關(guān)聯(lián)效度(效標(biāo)效度)1.定義：反映檢驗分數(shù)與外在規(guī)范

11、(效標(biāo))的相關(guān)程度，即檢驗分數(shù)對個體的效標(biāo)行為表現(xiàn)進展預(yù)測的有效性程度。效標(biāo)關(guān)聯(lián)效度往往用于預(yù)測性檢驗。這種檢驗中，根據(jù)檢驗分數(shù)作出的預(yù)測普通用于甄選決策。2.效標(biāo)關(guān)聯(lián)效度的類型1預(yù)測效度定義：反映由檢驗分數(shù)對任一段時間間隔后被試行為表現(xiàn)的預(yù)測程度。適用范圍：對人員進展選拔、分類和安頓的人事檢驗。2同時效度含義：效標(biāo)資料和檢驗分數(shù)同時搜集。運用范圍：由于同時效度的評價不需求長期追蹤，所以運用比較普遍。3 同時效度和預(yù)測效度的差別檢驗?zāi)康牟煌Ｇ罢叨嘤糜谠\斷如今的形狀，后者多預(yù)測未來的結(jié)果。3.效標(biāo)和效標(biāo)丈量(1)效標(biāo):衡量檢驗有效性的參照規(guī)范。(2)效標(biāo)丈量:可操作的丈量目的。(3)效標(biāo)分類：

12、觀念效標(biāo)：效標(biāo)的本質(zhì)概念內(nèi)容。效標(biāo)丈量：即效標(biāo)的詳細度量方法。(4)保證效標(biāo)丈量客觀性的要點：防止偏見的影響(特別是等級評定)。防止效標(biāo)污染。效標(biāo)污染由于評定者知道檢驗分數(shù)而影響個人的效標(biāo)成果的情形。 4.常用的效標(biāo)(1)學(xué)術(shù)成就。這種目的常作為智力檢驗的效標(biāo)，其邏輯假定是：智力高(以高IQ分數(shù)為標(biāo)志)的人，其學(xué)術(shù)成就也該當(dāng)越大。相應(yīng)的常見的效標(biāo)丈量有：在校成果、學(xué)歷、規(guī)范成就檢驗分數(shù)、教師對學(xué)生智力的評定、任務(wù)中的研討成果、有關(guān)的獎勵和榮譽等。也可以作為某些多重才干傾向檢驗和人格檢驗的效標(biāo)。(2)特殊訓(xùn)練成果。才干傾向檢驗：被試在未來某種特殊訓(xùn)練中所獲得的成果。多重才干傾向檢驗：學(xué)校中類似課

13、程的成果。(3)實踐任務(wù)表現(xiàn)。這種效標(biāo)可用于起選拔作用的普通智力檢驗、人格檢驗及才干傾向檢驗等。(4)團體對照。方法：用兩個在效標(biāo)表現(xiàn)上有差別的團體，比較他們在預(yù)測源分數(shù)上的差別。運用范圍：學(xué)業(yè)成果或任務(wù)業(yè)績。人格檢驗團體對比法。 (5)等級評定。這種評定往往由應(yīng)試者的教師、同窗、上級、同事等察看者作出。這種評定不局限于對應(yīng)試者某種成就(如任務(wù)績效)的評定，也可以包括察看者根據(jù)檢驗所欲丈量的心思特質(zhì)在被評定者身上的表現(xiàn)而作出的一種個人判別。評定可以作為任何檢驗的效標(biāo)，尤其適宜人格檢驗，由于人格檢驗的客觀效標(biāo)很難找到。(6)先前有效的檢驗。一個新檢驗和先前有效檢驗的相關(guān)也經(jīng)常作為 效度的證據(jù)。當(dāng)

14、新檢驗只是現(xiàn)有有效檢驗的簡式時，后者的成果完全可以作為一種效標(biāo)丈量。紙筆檢驗可以用效度知的操作檢驗成果作效 標(biāo)丈量；團體檢驗可用個體檢驗作為效標(biāo)。只需當(dāng)新檢驗比先前公認的有效檢驗更簡單、更省時、更經(jīng)濟時，才干用后者作為效標(biāo)。三想象效度1.定義： 檢驗的想象效度是指檢驗可以丈量到實際上的 想象或特質(zhì)的程度。所謂想象通常指一些籠統(tǒng)的、假設(shè)性的概念或特質(zhì)，如智力、發(fā)明力、言語流暢性、焦慮等。這些想象往往無法直接察看，但是每個想象都有其心思上的實際根底和客觀現(xiàn)實性，都可以經(jīng)過各種可察看的資料加以確定。想象效度關(guān)注的問題是：檢驗?zāi)芊衲苷_反映實際想象的特性。2.確定想象效度的步驟(1)建立實際框架，以解

15、釋被試在檢驗上的表現(xiàn)；(2)根據(jù)實際框架，推上演各種有關(guān)檢驗成果的假設(shè)；(3)以邏輯和實證的方法來驗證假設(shè)，根據(jù)這些累積資料決議這種實際 能否能恰當(dāng)?shù)亟忉尙F(xiàn)有資料，假設(shè)不能作出恰當(dāng)解釋，那么應(yīng)該修正上述假設(shè)，直到能作出恰當(dāng)?shù)慕忉尀橹埂?.確定想象效度的普通方法(1)檢驗內(nèi)部的方法:如檢驗內(nèi)容效度、內(nèi)部一致性等目的；(2)檢驗間的方法:如相容效度、要素分析、會聚效度和區(qū)分效度等目的；(3)效標(biāo)效度的研討:如開展變化等目的；(4)實驗和察看方法:檢驗?zāi)芊裼邢胂笮Ф取?.確定想象效度的目的1)開展變化。智力檢驗中最常用的規(guī)范是年齡差別。通常是調(diào)查實踐年齡來察看檢驗分數(shù)能否逐年添加。2)與其他檢驗的相

16、關(guān)。3)要素分析。要素分析是分析行為資料內(nèi)部關(guān)系、構(gòu)造特性的一種統(tǒng)計技術(shù)，比較適宜于對想象效度的研討。經(jīng)過要素分析可以找出檢驗中所包含的特質(zhì)。4)內(nèi)部一致性用來考驗內(nèi)部一致性的方法主要有三種：(i)調(diào)查總分數(shù)較高和較低兩類人在各標(biāo)題上經(jīng)過率的大小，比較每個標(biāo)題上總分最高的27的被試與總分最低的27的被試，假設(shè)前者在該題上的經(jīng)過率顯著大于后者(普通要求在30一40以上)，那么以為標(biāo)題是有效的，否那么應(yīng)淘汰或修正。(ii)計算標(biāo)題與總分的相關(guān)，如未達顯著水準(zhǔn)，應(yīng)予淘汰。(iii)求分檢驗與總分的相關(guān)。在編制這種檢驗時，常要求各分測 驗與總分有顯著相關(guān)，假設(shè)這一相關(guān)未達顯著程度，那么應(yīng)予刪除。 5)

17、會聚效度和區(qū)分效度坎貝爾(DTCampbell)和費斯克(DWFiske)1959年提出的想象效度的一種考驗方法。會聚效度：一個檢驗與丈量一樣特質(zhì)或想象等實際上有關(guān)的變量有高的相關(guān)。區(qū)分效度：一個檢驗與丈量不同特質(zhì)或想象等實際上不同的變量有低的相關(guān)。三、影響效度的要素一檢驗的要素1測題中所用詞匯和句型不能過于困難。2試題的意思應(yīng)該清楚。3所編制的測題應(yīng)該適宜所要丈量的學(xué)習(xí)結(jié)果。4測題中不能提供額外線索。5測題的編制要合理。6選擇題的正確答案不能有明顯的組型。7測題數(shù)目添加測題的數(shù)目8測題的難度要適當(dāng)。 (1)常模參照檢驗測題平均難度應(yīng)在0.5左右，并有適當(dāng)?shù)碾y度分布。 (2)規(guī)范參照檢驗測題難

18、度應(yīng)該與教學(xué)目的的要求相一致，不需求區(qū)分學(xué)生的優(yōu)劣，二檢驗實施和計分方面1.檢驗情境，如場地的布置、資料的預(yù)備等。2.能否遵照檢驗運用手冊的各項規(guī)定進展標(biāo)淮化的施測。3.指點語能否已將答題方式闡明清楚；4.能否按要求進展時間限制。(三)被試的客觀方面被試的興趣、動機、心情、態(tài)度和身體安康情況以及能否充分協(xié)作與盡力而為等，都會影響到檢驗結(jié)果的可靠性和正確性，即效度和信度。四樣組方面1樣本的代表性2樣本規(guī)模：樣本的規(guī)模越大，丈量誤差就越小。3樣本的異質(zhì)性假設(shè)一個團體的檢驗分數(shù)完全一樣，即樣本具有同質(zhì)性，那么這個團體檢驗分數(shù)與準(zhǔn)那么分數(shù)的相關(guān)為0，也就是效度系數(shù)為0。因此，假設(shè)其他條件相等，樣組分數(shù)全距越大，那么效度系數(shù)越高。附：確定干涉變量的方法吉謝利(EEGhiselli)用回歸方程求得每個人的預(yù)測效標(biāo)分數(shù)，將他們與實踐效標(biāo)分數(shù)相比較，可以得到差數(shù)D，如D的絕對值很大，闡明檢驗中能夠存在干涉變量。根據(jù)樣本團體的構(gòu)成分析，選擇不同的對照組，分別計算效度，從而找