第十一章人員素質(zhì)測(cè)評(píng)質(zhì)量分析

第十一章人員素質(zhì)測(cè)評(píng)質(zhì)量分析第一頁，共三十六頁，編輯于2023年，星期一目錄效度信度項(xiàng)目分析其他分析方法第二頁，共三十六頁，編輯于2023年，星期一第一節(jié)效度測(cè)評(píng)的效度就是指測(cè)評(píng)的有效性，即能測(cè)評(píng)到所要測(cè)評(píng)目標(biāo)的程度。效度是評(píng)價(jià)測(cè)評(píng)好壞、選擇測(cè)評(píng)的重要標(biāo)準(zhǔn)之一。效度的作用比信度的作用更為重要。強(qiáng)調(diào)測(cè)評(píng)目標(biāo)、工具與測(cè)評(píng)對(duì)象的統(tǒng)一。一、人員測(cè)評(píng)的有效性效度的理論定義：與測(cè)評(píng)目標(biāo)有關(guān)的真實(shí)分?jǐn)?shù)方差與總分方差的比率。公式：其中，為測(cè)評(píng)效度；為有效方差；為總分方差。第三頁，共三十六頁，編輯于2023年，星期一效度的性質(zhì)實(shí)際上效度指的是“測(cè)評(píng)結(jié)果的效度”，是指測(cè)評(píng)結(jié)果的準(zhǔn)確性程度，而并不是指測(cè)評(píng)本身。也反映了測(cè)評(píng)結(jié)果對(duì)測(cè)評(píng)目標(biāo)的體現(xiàn)程度。二、如何評(píng)估人員測(cè)評(píng)的效度（一）內(nèi)容效度

1、內(nèi)容效度是指測(cè)評(píng)內(nèi)容取樣是否反映測(cè)評(píng)的目標(biāo)，適用于測(cè)評(píng)對(duì)象。第四頁，共三十六頁，編輯于2023年，星期一2．內(nèi)容效度的評(píng)估方法

·測(cè)評(píng)內(nèi)容范圍明確；

·測(cè)評(píng)內(nèi)容的取樣有代表性。采用如下步驟：

1）確定總體范圍；

2）編制雙向細(xì)目表；

3）制定評(píng)定量表。還可采用經(jīng)驗(yàn)的方法、統(tǒng)計(jì)分析方法。3．內(nèi)容效度的應(yīng)用內(nèi)容效度最適合于評(píng)估教育和職業(yè)成就測(cè)評(píng)。也適合于某些用于人員選拔和分類的測(cè)評(píng)。第五頁，共三十六頁，編輯于2023年，星期一（二）效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度，也稱效標(biāo)效度，它反映的是測(cè)評(píng)分?jǐn)?shù)與外在標(biāo)準(zhǔn)（效標(biāo)）的相關(guān)程度，即測(cè)評(píng)分?jǐn)?shù)對(duì)個(gè)體的效標(biāo)行為表現(xiàn)進(jìn)行預(yù)測(cè)的有效性程度。效標(biāo)是考察測(cè)評(píng)效用的外在參照標(biāo)準(zhǔn)。效標(biāo)關(guān)聯(lián)效度往往用于預(yù)測(cè)性測(cè)評(píng)。1．預(yù)測(cè)效度和同時(shí)效度預(yù)測(cè)效度的效標(biāo)資料往往是測(cè)評(píng)結(jié)束后隔一段時(shí)間才獲得，它反映被試行為表現(xiàn)的預(yù)測(cè)程度。同時(shí)效度的效標(biāo)材料可以和測(cè)評(píng)分?jǐn)?shù)差不多同時(shí)搜集。第六頁，共三十六頁，編輯于2023年，星期一

同時(shí)效度多用于診斷現(xiàn)在的狀態(tài)，預(yù)測(cè)效度多預(yù)測(cè)未來的結(jié)果。如：1）“某人成功了嗎？”

2）“某人會(huì)成功嗎？”2．效標(biāo)和效標(biāo)測(cè)評(píng)效標(biāo)是衡量測(cè)評(píng)有效性的參照標(biāo)準(zhǔn)。把效標(biāo)轉(zhuǎn)化為某種可以操作的測(cè)評(píng)指標(biāo)，稱為效標(biāo)測(cè)評(píng)。效標(biāo)可以細(xì)分為觀念效標(biāo)（即效標(biāo)的實(shí)質(zhì)概念內(nèi)容）和效標(biāo)測(cè)評(píng)（即效標(biāo)的具體度量方法）。例如，對(duì)于篩選銷售人員的觀念效標(biāo)是“銷售工作的成功”，而效標(biāo)測(cè)評(píng)是“年銷售量”。第七頁，共三十六頁，編輯于2023年，星期一3．常用的效標(biāo)（1）學(xué)術(shù)成就（2）特殊訓(xùn)練成績(jī)（3）實(shí)際工作表現(xiàn)（4）團(tuán)體對(duì)照（5）等級(jí)評(píng)定（6）先前有效的測(cè)評(píng)（三）構(gòu)想效度構(gòu)想效度是指測(cè)評(píng)能夠測(cè)評(píng)到理論上的構(gòu)想或特質(zhì)的程度。所謂構(gòu)想通常指一些抽象的、假設(shè)性的概念或特質(zhì)，如智力、創(chuàng)造力、言語流暢性、焦慮等。第八頁，共三十六頁，編輯于2023年，星期一1．確定構(gòu)想效度的步驟

·建立理論框架，以解釋被試在測(cè)評(píng)上的表現(xiàn)；

·依據(jù)理論框架，推演出各種有關(guān)測(cè)評(píng)成績(jī)的假設(shè)；

·以邏輯和實(shí)證的方法來驗(yàn)證假設(shè)，根據(jù)累積材料決定這種理論是否能恰當(dāng)?shù)亟忉尙F(xiàn)有材料；如果不能做出恰當(dāng)解釋，則應(yīng)該修正上述假設(shè)，直到能做出恰當(dāng)?shù)慕忉尀橹?。如：?chuàng)造力測(cè)評(píng)構(gòu)想效度。以測(cè)評(píng)分?jǐn)?shù)與根據(jù)創(chuàng)造力的心理學(xué)理論觀察被試行為所做出的判斷做相關(guān)分析。第九頁，共三十六頁，編輯于2023年，星期一2．常見的確定構(gòu)想效度的指標(biāo)（1）發(fā)展變化（2）與其他測(cè)評(píng)的相關(guān)（3）因素分析因素分析是分析行為資料內(nèi)部關(guān)系、結(jié)構(gòu)特性的一種統(tǒng)計(jì)技術(shù)。（4）內(nèi)部一致性如果測(cè)評(píng)的所有題目被驗(yàn)證為具有很高的內(nèi)部一致性，說明它們都是關(guān)于同一內(nèi)容的，屬于同一種構(gòu)想。用來考察內(nèi)部一致性的方法主要有三種：

1）考察總分?jǐn)?shù)較高和較低兩類人在各第十頁，共三十六頁，編輯于2023年，星期一

題目上通過率的大小，如果通過率低，應(yīng)淘汰或修改。

2）計(jì)算題目與總分的相關(guān)，如未達(dá)顯著水準(zhǔn)，應(yīng)予淘汰。

3）求分測(cè)評(píng)與總分的相關(guān)。各分測(cè)評(píng)與總分有顯著相關(guān)，如果不是，則應(yīng)予刪除。（5）會(huì)聚效度和區(qū)分效度會(huì)聚效度：測(cè)評(píng)與測(cè)評(píng)相同特質(zhì)或構(gòu)想等理論上有關(guān)的變量高相關(guān)；區(qū)分效度：測(cè)評(píng)與測(cè)評(píng)不同特質(zhì)或構(gòu)想等理論上無關(guān)的變量低相關(guān)。如，一個(gè)數(shù)學(xué)推理能力測(cè)評(píng)與數(shù)學(xué)課成績(jī)的相關(guān)就是會(huì)聚效度；而該測(cè)評(píng)與閱讀理解能力測(cè)評(píng)的相關(guān)顯著低，就是區(qū)分效度。第十一頁，共三十六頁，編輯于2023年，星期一三、影響效度的因素測(cè)評(píng)本身帶來的影響因素

1．測(cè)評(píng)題目的質(zhì)量

2．實(shí)施測(cè)評(píng)時(shí)的于擾因素

3．被試的影響因素

4．測(cè)評(píng)的長(zhǎng)度樣本團(tuán)體的性質(zhì)效標(biāo)的性質(zhì)如果其他條件相同，所測(cè)評(píng)的行為或心理特質(zhì)與效標(biāo)行為或特質(zhì)越相似，效度系數(shù)就越高。第十二頁，共三十六頁，編輯于2023年，星期一第二節(jié)信度

一、信度的定義信度主要是指測(cè)評(píng)結(jié)果的可靠性或一致性。由測(cè)評(píng)工具否精確引起的誤差叫系統(tǒng)誤差。由操作是否到位引起的誤差叫隨機(jī)誤差。信度考慮兩方面的問題。一是穩(wěn)定性：不同時(shí)間、不同測(cè)評(píng)條件下所得分?jǐn)?shù)之間的一致性有多大；一個(gè)人的所得分?jǐn)?shù)與“真實(shí)分?jǐn)?shù)”之間接近程度有多大；是否可以達(dá)到實(shí)際應(yīng)用的程度等。二是影響穩(wěn)定性的原因：什么因素造成了這種差異；這些影響的相對(duì)作用有多大。第十三頁，共三十六頁，編輯于2023年，星期一二、信度的作用信度高低的指標(biāo)通常以相關(guān)系數(shù)表示，稱為信度系數(shù)。信度系數(shù)一般是同一樣本所得的兩組資料的相關(guān)，在理論上表示為實(shí)得分?jǐn)?shù)與真實(shí)分?jǐn)?shù)相關(guān)的平方。信度系數(shù)公式：它是其中：真實(shí)分?jǐn)?shù)標(biāo)準(zhǔn)差與實(shí)得分?jǐn)?shù)標(biāo)準(zhǔn)差的比率。其中，rxr

有時(shí)也稱為信度指數(shù)，它是真實(shí)分?jǐn)?shù)標(biāo)準(zhǔn)差與實(shí)得分?jǐn)?shù)標(biāo)準(zhǔn)差的比率。第十四頁，共三十六頁，編輯于2023年，星期一

還可通過分析個(gè)人分?jǐn)?shù)再測(cè)時(shí)的變化（誤差）來考察信度。兩次測(cè)評(píng)分?jǐn)?shù)的差異越大，信度就越低。在人員測(cè)評(píng)中，對(duì)信度系數(shù)進(jìn)行確定通常有以下兩方面的作用：

方差：即每個(gè)被測(cè)評(píng)者得分與其算術(shù)平均數(shù)差的平方和與總個(gè)數(shù)之商。公式：標(biāo)準(zhǔn)差公式：第十五頁，共三十六頁，編輯于2023年，星期一1．解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)性總的方差（即標(biāo)準(zhǔn)差的平方的縮略語）中有多少比例是由真實(shí)分?jǐn)?shù)的方差決定的。

2．說明可以接受的信度水準(zhǔn)一般的能力與成就測(cè)評(píng)的信度系數(shù)在0．90以上；人格、興趣等測(cè)評(píng)的信度系數(shù)通常在0．80－0.85之間。rxx＜0．70時(shí)，不能用測(cè)評(píng)對(duì)個(gè)人作評(píng)價(jià)，也不能在團(tuán)體間作比較；當(dāng)rxx＞0．70時(shí)，可用于團(tuán)體間比較；rxx＞0．85時(shí)，可用于鑒別個(gè)人情況。三、如何評(píng)估人員測(cè)評(píng)的信度

1.重測(cè)信度又稱為穩(wěn)定性系數(shù)用同一測(cè)評(píng)，在不同時(shí)間對(duì)同一群體施測(cè)第十六頁，共三十六頁，編輯于2023年，星期一N為兩次測(cè)評(píng)結(jié)果數(shù)據(jù)配對(duì)總數(shù)；x被分析的測(cè)評(píng)結(jié)果；y為重復(fù)測(cè)評(píng)得到的結(jié)果。在進(jìn)行重測(cè)信度的評(píng)估時(shí)，還應(yīng)注意以下兩個(gè)重要問題：

1）重測(cè)信度一般只反映由隨機(jī)因素導(dǎo)致的變化，而不反映被試行為的長(zhǎng)久變化。2）不同行為受隨機(jī)誤差的影響不同。兩次，這兩次測(cè)評(píng)分?jǐn)?shù)的相關(guān)系數(shù)即為重測(cè)系數(shù)。一個(gè)測(cè)評(píng)的重測(cè)信度越高，說明測(cè)評(píng)的結(jié)果越一致、越可靠。積差相關(guān)公式：第十七頁，共三十六頁，編輯于2023年，星期一2.復(fù)本信度又稱等值性系數(shù)。它是以兩個(gè)測(cè)評(píng)復(fù)本（功能等值但題目?jī)?nèi)容不同）來測(cè)評(píng)同一群體，然后求得應(yīng)試者在這兩個(gè)測(cè)評(píng)上得分的相關(guān)系數(shù)（積差相關(guān)）。復(fù)本信度的高低反映了這兩個(gè)測(cè)評(píng)復(fù)本在內(nèi)容上的等值性程度。兩個(gè)等值的測(cè)評(píng)互為復(fù)本。3．內(nèi)部一致性信度內(nèi)部一致性信度主要反映的是測(cè)評(píng)內(nèi)部題目之間的關(guān)系，考察測(cè)評(píng)的各個(gè)題目是否測(cè)評(píng)了相同的內(nèi)容或特質(zhì)。1）分半信度分半信度系數(shù)是通過將測(cè)評(píng)分成兩半，計(jì)算這兩半測(cè)評(píng)之間的相關(guān)性而獲得的信度系數(shù)。第十八頁，共三十六頁，編輯于2023年，星期一

分半法經(jīng)常會(huì)低估信度，必須進(jìn)行修正。斯皮爾曼一布朗公式可以估計(jì)增長(zhǎng)或縮短一個(gè)測(cè)評(píng)對(duì)其信度系數(shù)的影響，用這個(gè)公式進(jìn)行修正的前提條件為：兩半測(cè)評(píng)的方差相等。分半法中的斯皮爾曼一布朗修正公式為：其中，rhh為兩半測(cè)評(píng)的相關(guān)系數(shù)，rxx為估計(jì)或修正后的信度。

當(dāng)兩半測(cè)評(píng)的方差不同時(shí)，應(yīng)采用盧倫公式或弗拉納根公式進(jìn)行修正。第十九頁，共三十六頁，編輯于2023年，星期一

盧倫公式只要求將被試在兩半測(cè)評(píng)的分?jǐn)?shù)之差的方差（Sd2）和測(cè)評(píng)總分的方差(Sx2)代入如下公式即可直接計(jì)算分半信度：

其中Sd2為兩測(cè)評(píng)分?jǐn)?shù)之差的方差；Sx2為測(cè)評(píng)總分的方差。也可以采用弗拉納根公式直接計(jì)算分半信度：

Sa2與Sb2為兩個(gè)分測(cè)評(píng)分?jǐn)?shù)的方差；Sx2為總分方差。第二十頁，共三十六頁，編輯于2023年，星期一2）同質(zhì)性信度同質(zhì)性是指所有測(cè)評(píng)題目測(cè)評(píng)的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為所有測(cè)評(píng)題目得分的一致性。樂觀情緒特質(zhì)和外向特質(zhì)、預(yù)測(cè)和決策、監(jiān)督與控制等都是不太容易區(qū)分的。如果需要在一個(gè)測(cè)評(píng)中測(cè)評(píng)不同的內(nèi)容，就應(yīng)該將測(cè)評(píng)設(shè)計(jì)為幾個(gè)分測(cè)評(píng)，每個(gè)分測(cè)評(píng)測(cè)評(píng)一種內(nèi)容。例如，16PF人格測(cè)評(píng)就是包含16個(gè)分量表的測(cè)評(píng)，每個(gè)分量表只對(duì)一種人格特質(zhì)進(jìn)行測(cè)評(píng)。常用的同質(zhì)性信度計(jì)算方法是庫德—理查遜估計(jì)方法。計(jì)算公式有庫德—理查遜20號(hào)公式（簡(jiǎn)稱（KR20）和21號(hào)公式（KR21）。第二十一頁，共三十六頁，編輯于2023年，星期一下面是KR20公式：

其中n為測(cè)評(píng)題目數(shù)，

為通過題的人數(shù)比例；qi為未通過該題的人數(shù)比例；=1;為所有題目答對(duì)與答錯(cuò)人數(shù)百分比乘積的總和。

第二十二頁，共三十六頁，編輯于2023年，星期一四、評(píng)分者信度在有些測(cè)評(píng)中，評(píng)分者的評(píng)判也是誤差的來源之一。評(píng)分者信度是指不同評(píng)分者對(duì)同樣對(duì)象進(jìn)行評(píng)定時(shí)的一致性。最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽取若干份答卷，由兩個(gè)獨(dú)立的評(píng)分者打分，再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法。如果評(píng)分者在三人以上，而且又采用等級(jí)記分時(shí)，就需要用肯德爾和諧系數(shù)來求評(píng)分者信度。其公式為：第二十三頁，共三十六頁，編輯于2023年，星期一

其中，K為評(píng)分者人數(shù)，N為被評(píng)定的人數(shù)或答卷數(shù)；Ri為評(píng)分者給某人（或某一答卷）評(píng)分之和。為每一個(gè)對(duì)象被評(píng)等級(jí)。

第二十四頁，共三十六頁，編輯于2023年，星期一評(píng)分者答卷編號(hào)一二三四五六甲431256乙532146丙412356丁641235Ri1911681723例如，有4名評(píng)分者，對(duì)6份答卷進(jìn)行評(píng)分，所評(píng)等級(jí)如下：第二十五頁，共三十六頁，編輯于2023年，星期一五、影響信度的因素1．樣本團(tuán)體的性質(zhì)1)樣本團(tuán)體的分?jǐn)?shù)分布分?jǐn)?shù)分布越廣，信度系數(shù)就相對(duì)越高，分?jǐn)?shù)分布越窄，信度系數(shù)就會(huì)越低。第二十六頁，共三十六頁，編輯于2023年，星期一2)樣本團(tuán)體的異質(zhì)性一般來說，取樣團(tuán)體的異質(zhì)性越大，信度系數(shù)就相對(duì)越高。但是在測(cè)評(píng)中,往往會(huì)因?yàn)閳F(tuán)體過于同質(zhì)或過于異質(zhì)而出現(xiàn)信度被低估或高估的情況。這種情況下，可以采用下面的公式對(duì)求出的信度進(jìn)行修正：其中,為估計(jì)的信度；為取樣的信度；SX為取樣團(tuán)體的標(biāo)準(zhǔn)差；為估計(jì)團(tuán)體（取樣的總體）的標(biāo)準(zhǔn)差。

第二十七頁，共三十六頁，編輯于2023年，星期一3)不同團(tuán)體間能力水平的差異2.測(cè)評(píng)的長(zhǎng)度信度還會(huì)受測(cè)評(píng)長(zhǎng)度（即題目的多少）的影響。一般來說，測(cè)評(píng)越長(zhǎng)，信度值越高。3.測(cè)評(píng)的難度測(cè)評(píng)的難度也會(huì)對(duì)信度產(chǎn)生影響。如果一個(gè)測(cè)評(píng)的難度太低，出現(xiàn)天花板效應(yīng)；如果難度太大，出現(xiàn)地板效應(yīng)，第二十八頁，共三十六頁，編輯于2023年，星期一第三節(jié)項(xiàng)目分析項(xiàng)目適合度在素質(zhì)測(cè)評(píng)中，項(xiàng)目不僅僅是試題，更多的是一些咨詢問題或觀察評(píng)定點(diǎn)（指標(biāo)），它們無難易之分，適合度指的是被測(cè)者行為符合項(xiàng)目測(cè)評(píng)標(biāo)準(zhǔn)的程度。當(dāng)項(xiàng)目為試題時(shí)，適合度即難度；當(dāng)項(xiàng)目是問卷中的問題時(shí)，適合度即所有選對(duì)的被測(cè)者人數(shù)與總?cè)藬?shù)之比；當(dāng)項(xiàng)目為觀察評(píng)定量表中的指標(biāo)時(shí)，適合度即所有被測(cè)得分平均值與指標(biāo)滿分值之比。第二十九頁，共三十六頁，編輯于2023年，星期一項(xiàng)目區(qū)分度

又稱鑒別力，指項(xiàng)目得分對(duì)被試實(shí)際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項(xiàng)目得分的高低與被試實(shí)際能力或心理特質(zhì)水平高低的一致性程度。項(xiàng)目區(qū)分度的計(jì)算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點(diǎn)二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法第三十頁，共三十六頁，編輯于2023年，星期一項(xiàng)目獨(dú)立性

在能力測(cè)評(píng)中，常常需要項(xiàng)目之間有一定的獨(dú)立性。所謂獨(dú)立性即非相關(guān)性或低相關(guān)性。獨(dú)立性的分析一般采用項(xiàng)目間分?jǐn)?shù)的相關(guān)系數(shù)揭示，根據(jù)實(shí)際得分分布是否均勻，可以分別采用rφ系數(shù)法和列聯(lián)表χ2檢驗(yàn)法。第三十一頁，共三十六頁，編輯于2023年，星期一第四節(jié)其他指標(biāo)的分析客觀性測(cè)評(píng)的客觀性由測(cè)評(píng)方法的客觀性與測(cè)評(píng)者的客觀性兩方面構(gòu)成總體分布與水平總體分布指測(cè)評(píng)結(jié)果在各水平層次上的分布情況，總體水平一般指對(duì)測(cè)評(píng)結(jié)果集中量的分析。第三十二頁，共三十六頁，編輯于2023年，星期一區(qū)分性與差異性

測(cè)評(píng)工具的區(qū)分