人才測評的信度與效度綜述

1、第十章、人才測評的信度與效度人才測評的核心價(jià)值在于預(yù)測的有效性預(yù)測好預(yù)測不好實(shí)際好實(shí)際不好 在進(jìn)行測量時(shí)，誤差是難免的，這就使得真實(shí)值和測量值之間是不可能完全一致。我們可以這樣來表示真實(shí)值和測量值之間的關(guān)系。 X=T+B+E T表示真實(shí)值，B表示偏差即系統(tǒng)誤差，E表示測量誤差即隨機(jī)誤差。 一、信度 測試信度(test reliability)也叫測試的可靠性，指測驗(yàn)結(jié)果的一致性、穩(wěn)定性及可靠性，一般多以內(nèi)部一致性來加以表示該測驗(yàn)信度的高低。 信度系數(shù)愈高即表示該測驗(yàn)的結(jié)果愈一致、穩(wěn)定與可靠。 系統(tǒng)誤差對信度沒什么影響，因?yàn)橄到y(tǒng)誤差總是以相同的方式影響測量值的，因此不會(huì)造成不一致性。反之，隨機(jī)誤

2、差可能導(dǎo)致不致性，從而降低信度。 信度可以定義為隨機(jī)誤差R影響測量值的程度。如果R=0，就認(rèn)為測量是完全可信的，信度最高。 信度評估的方法 （一）重測信度重測信度，又稱為穩(wěn)定性系數(shù)，它的計(jì)量方法是采用重測法：用同一測驗(yàn)，在不同時(shí)間對同一群體施測兩次，這兩次測量分?jǐn)?shù)的相關(guān)系數(shù)即為重測系數(shù)。 重測信度所考察的誤差來源是時(shí)間的變化所帶來的隨機(jī)影響。在評估重測信度時(shí)，必須注意重測間隔的時(shí)間。對于人格測驗(yàn)，重測間隔在兩周到6個(gè)月之間比較合適。 在進(jìn)行重測信度的評估時(shí)，還應(yīng)注意以下兩個(gè)重要問題：重測信度一般只反映由隨機(jī)因素導(dǎo)致的變化，而不反映被試行為的長久變化。不同的行為受隨機(jī)誤差影響不同。 （二）復(fù)本信

3、度復(fù)本信度，是以兩個(gè)測驗(yàn)復(fù)本來測量同一群體，然后求得應(yīng)試者在這兩個(gè)測驗(yàn)上得分的相關(guān)系數(shù)。復(fù)本信度的高低反映了這兩個(gè)測驗(yàn)復(fù)本在內(nèi)容上的等值性程度。兩個(gè)等值的測驗(yàn)互為復(fù)本。 計(jì)算復(fù)本信度的主要目的在于考察兩個(gè)測驗(yàn)復(fù)本的題目取樣或內(nèi)容取樣是否等值。復(fù)本信度也考慮兩個(gè)復(fù)本實(shí)施的時(shí)間間隔。 復(fù)本信度的主要優(yōu)點(diǎn)在于：能夠避免重測信度的一些問題，如記憶效果、練習(xí)效應(yīng)等；適用于進(jìn)行長期追蹤研究或調(diào)查某些干涉變量對測驗(yàn)成績影響；減少了輔導(dǎo)或作弊的可能性。 復(fù)本信度的局限性在于：如果測量的行為易受練習(xí)的影響，則復(fù)本信度只能減少而不能消除這種影響；有些測驗(yàn)的性質(zhì)會(huì)由于重復(fù)而發(fā)生改變；有些測驗(yàn)很難找到合適的復(fù)本。 （

4、三）內(nèi)部一致性信度內(nèi)部一致性信度，主要反映的是測驗(yàn)內(nèi)部題目之間的關(guān)系，考察測驗(yàn)的各個(gè)題目是否測量了相同的內(nèi)容或特質(zhì)。內(nèi)部一致性信度又分為分半信度和同質(zhì)性信度。 分半信度系數(shù)是通過將測驗(yàn)分成兩半，計(jì)算這兩半測驗(yàn)之間的相關(guān)性而獲得的信度系數(shù)。測驗(yàn)愈長，信度系數(shù)愈高。 同質(zhì)性信度是指測驗(yàn)內(nèi)部的各題目在多大程度上考察了同一內(nèi)容。同質(zhì)性信度低時(shí)，即使各個(gè)測試題看起來似乎是測量同一特質(zhì)，但測驗(yàn)實(shí)際上是異質(zhì)的，即測驗(yàn)測量了不止一種特質(zhì)。同質(zhì)性分析與項(xiàng)目分析中的內(nèi)部一致性分析相類似。 （四）評分者信度評分者信度，是指不同評分者對同樣對象進(jìn)行評定時(shí)的一致性。最簡單的估計(jì)方法就是隨機(jī)抽取若干份答卷，由兩個(gè)獨(dú)立的評

5、分者打分，再求每份答卷兩個(gè)評判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級相關(guān)方法。 提高測驗(yàn)信度的方法 影響測驗(yàn)信度的誤差歸納起來主要有 :(1) 抽樣誤差 : 簡單說 , 這是在抽樣過程中由于被試間的差異所造成的誤差。被試間的差異可以用全距和方差大小來表示。全距是指某一心理量最大值與最小值之差。全距大說明被試間差異大 , 全距小說明被試間差異小。被試間在某一心理量上參差不齊 , 差別懸殊 , 則該心理量的方差大 ; 反之 , 方差小。對于方差小的樣本 , 被試間在某一心理特征上相差較小 , 則前后兩次測驗(yàn)結(jié)果的一致性較低 , 即降低了信度。 因?yàn)楸辉囍g的差

6、別越小其同質(zhì)性越高 , 被試的分?jǐn)?shù)只要發(fā)生小的變化 , 其名次就可能改變 , 從而降低信度。(2) 隨機(jī)誤差 : 由于各種偶然因素的影響而產(chǎn)生的誤差 , 表現(xiàn)為用同一方法多次測量同一對象時(shí)結(jié)果上不一致。隨機(jī)誤差是由許多因素造成的 , 如量標(biāo)的質(zhì)量 , 測量的程序 , 被試的身心狀態(tài) , 測量的環(huán)境等。 根據(jù)影響測驗(yàn)信度的因素 , 可從以下幾方面來提高測驗(yàn)的信度 : 一是從測驗(yàn)本身考慮 , 如測驗(yàn)的長度、難度、區(qū)分度、速度、程序、環(huán)境條件與計(jì)分方法等 ; 一是從被試自身考慮 , 如被試在被測心理特征上的差異大小 , 參加測驗(yàn)的動(dòng)機(jī)水平 , 對測驗(yàn)的態(tài)度和積極性等。在此主要介紹如下幾種提高測驗(yàn)信度

7、的方法 :（ 1 ）適當(dāng)延長測驗(yàn)的長度 : 測驗(yàn)的長度主要指量表所包含的題目多少。對一個(gè)測驗(yàn)來說 , 測驗(yàn)的題目越少 , 得分越容易受偶然因素的影響 , 故測驗(yàn)的信度越低。反之如果測驗(yàn)題目較多 , 即測驗(yàn)長度延長 , 擴(kuò)大了被試得分范圍 , 可在一定程度上排除偶然因素的影響 , 從而提高測驗(yàn)信度。但是測驗(yàn)信度的增加并不是等比例提高信度系數(shù)。當(dāng)信度系數(shù)較小時(shí) , 延長測驗(yàn)長度信度系數(shù)增加較大 ; 當(dāng)信度系數(shù)已經(jīng)較大時(shí) , 延長測驗(yàn)長度對信度系數(shù)的影響就較小了。而且 , 在延長測驗(yàn)長度時(shí) , 還需考慮其他因素的影響 , 如被試在回答問題時(shí)是否疲倦或產(chǎn)生厭煩情緒 , 是否節(jié)省時(shí)間、物力和財(cái)力 , 測

8、題是否附合測驗(yàn)?zāi)康牡取?（ 2 ）測驗(yàn)的難度要適中 : 難度即測驗(yàn)的難易程度 , 當(dāng)測驗(yàn)難度太大時(shí) , 被試得分普遍太低 , 呈負(fù)偏態(tài)分布 ; 當(dāng)測驗(yàn)難度太小時(shí) , 被試得分普遍較高 , 呈正偏態(tài)分布。太難太易的測驗(yàn)都使被試得分差異減小 , 使實(shí)得分?jǐn)?shù)方差減小 , 從而降低測驗(yàn)信度。 （ 3 ）測驗(yàn)的內(nèi)容盡量同質(zhì) : 性質(zhì)相同的測驗(yàn)內(nèi)容 , 對被試也要求相同的能力、知識和技能 ; 而內(nèi)容不同質(zhì)的測驗(yàn) , 則要求被試不同的能力、 知識和技能。因而為了提高測驗(yàn)信度 , 測驗(yàn)內(nèi)容應(yīng)盡量同質(zhì)。（ 4 ）測驗(yàn)的時(shí)間要充分 : 對某一測驗(yàn)而言 , 應(yīng)保證絕大多數(shù)被試在規(guī)定時(shí)間內(nèi)完成測驗(yàn) ; 否則 , 如果

9、被試不能從容回答所有問題 , 就不能反映被試的真實(shí)水平。 （ 5 ）測驗(yàn)的程序要統(tǒng)一 : 包括測驗(yàn)的題目統(tǒng)一 , 指導(dǎo)語、回答問題的方式、分收試卷的方法、測驗(yàn)時(shí)間等都要統(tǒng)一。（ 6 ）評分要客觀 : 評分是否客觀對測驗(yàn)信度有直接的影響。對于客觀性題目 , 評分標(biāo)準(zhǔn)明確 , 評分容易做到客觀 ; 但對于主觀性題目 , 受評分者影響較大 , 不易做到客觀。為了盡可能客觀評分 , 應(yīng)制定明確而易掌握的評分標(biāo)準(zhǔn) , 盡量做到一卷多評 , 或一人只評一題等。二、效度 效度（Validity）即有效性，它是指測量工具或手段能夠準(zhǔn)確測出所需測量的事物的程度。效度是指所測量到的結(jié)果反映所想要考察內(nèi)容的程度，測

10、量結(jié)果與要考察的內(nèi)容越吻合，則效度越高；反之，則效度越低。效度分為三種類型：內(nèi)容效度、準(zhǔn)則效度和結(jié)構(gòu)效度。 從內(nèi)容效度到準(zhǔn)則效度再到構(gòu)念效度可視為一種累進(jìn)即構(gòu)念效度需要比準(zhǔn)則效度更多的信息準(zhǔn)則效度需要比內(nèi)容效度更多的信息。 效度比信度有更高的要求信度是效度的必要條件沒有信度的測量工具就談不上具有效度但信度高的測量工具未必具有高的效度。 測試維度測試維度 1）表面效度（face validity）。指測試應(yīng)達(dá)到的卷面標(biāo)準(zhǔn)，即一套測試題從表面看來是否是合適的。例如，若一次閱讀理解力的測試包括許多受試者沒有學(xué)過的方言詞匯，則可認(rèn)為這次測試缺乏表面效度。表面效度是測試出受試者正常水平的一種保證因素。

11、2）內(nèi)容效度（content validity）。指一套測試題是否測試了應(yīng)該測試的內(nèi)容或者說所測試的內(nèi)容是否反映了測試的要求，即測試的代表性和覆蓋面的程度。例如，如果某一套發(fā)音技能測試題僅僅考查發(fā)音所必須具備的某些技能，如只考單一音素的發(fā)音，而不考查重讀、語調(diào)或音素在詞語中的發(fā)音，那么，該測試的內(nèi)容效度就很低。 3）編制效度（construct validity）。指一套測試題的諸項(xiàng)目對編制該測試所依據(jù)的理論的各個(gè)基本方面的反映程度。例如，以結(jié)構(gòu)主義語言理論為基礎(chǔ)，認(rèn)為系統(tǒng)的語言習(xí)慣是通過句型而獲得的，那么，強(qiáng)調(diào)詞匯和語法環(huán)境的測試題目就失去了編制效度。 4）經(jīng)驗(yàn)效度（empirical va

12、lidity）。經(jīng)驗(yàn)效度是一種衡量測試有效性的量度，通過把一次測試與一個(gè)或多個(gè)標(biāo)準(zhǔn)尺度相對照而得出。經(jīng)驗(yàn)效度可分為兩種：一是共時(shí)效度（concurrent validity），即將一次測試的結(jié)果同另一次時(shí)間相近的有效測試的結(jié)果相比較，或同教師的鑒定相比較而得出的系數(shù)；二是預(yù)測效度（predictive validity），即將一次測試的結(jié)果同后來的語言能力相比較，或是同教師后來對學(xué)生的鑒定相比較而得出的系數(shù)。 提高測驗(yàn)效度的方法 （ 1）控制系統(tǒng)誤差 : 系統(tǒng)誤差是影響測驗(yàn)效度的主要因素。它主要包括儀器不準(zhǔn) , 題目和指導(dǎo)語有暗示性 , 答案按排不當(dāng) ( 被試可以猜測 ) 等 , 控制這些因素

13、可以降低系統(tǒng)誤差 , 提高效度。 (2) 精心編制測題和測驗(yàn)量表 : 首先測題內(nèi)容要適合測驗(yàn)?zāi)康?, 如知識性測題就不能全面反映被試的智力水平 , 它主要測量其知識水平。其次 , 測題要清楚明了 , 用語要讓被試?yán)斫?, 排列由易到難。第三 , 測題的難度和區(qū)分度要合適。 (3) 嚴(yán)格按照測驗(yàn)程序進(jìn)行測量 , 防止測量誤差 : 要嚴(yán)格按照測驗(yàn)手冊進(jìn)行測量 , 不能作過多的解釋 , 按標(biāo)準(zhǔn)評分 , 兩次測驗(yàn)間隔要適當(dāng)。 (4) 樣本容量要適當(dāng) : 當(dāng)樣本容量增大時(shí) , 樣本對總體的代表性提高 , 樣本大 , 被試的內(nèi)部差異增大 , 擴(kuò)大了真分?jǐn)?shù)的方差 , 使效度提高。樣本容量一般不應(yīng)低于 30

14、。另外 , 抽樣方法也很重要 , 一般用隨機(jī)抽樣 , 當(dāng)群體很大時(shí) , 可分層抽樣 , 樣本容量擴(kuò)大時(shí) , 其代表性才隨之增大。 (5) 正確處理好信度與效度的關(guān)系 : 信度是效度的必要條件 , 但信度高的測驗(yàn) , 效度不一定高 ; 而效度高的測驗(yàn) , 信度卻比較高。但是 , 既要有高效度 , 又要有高信度是不容易做到的?！白畲罂煽慷龋ㄐ哦龋┮鬁y驗(yàn)項(xiàng)目之間有高度的組間相關(guān)；最大預(yù)測有效度卻要求低度的組間相關(guān)。最大可靠度（信度）要求項(xiàng)目等同的難度；最大預(yù)測有效度卻要求項(xiàng)目的難度有所區(qū)別。中等程度的組間相關(guān)（ 0.10 0.60), 通?？僧a(chǎn)生良好的效度 (0.30 0.80), 并且產(chǎn)生滿意的

15、信度 (0.90) 。” (6) 適當(dāng)增加測驗(yàn)的長度 : 增加測驗(yàn)的長度可提高測驗(yàn)的信度 , 也可以提高效度 , 但增加測驗(yàn)的長度對信度的影響大于對效度的影響。三、測評手段有效度切忌以點(diǎn)代面，比如：韓復(fù)榘的選任方法過分依賴一個(gè)情景也會(huì)降低面試效度比如：某商場老總招聘員工的方法員員 工工 未未 來來 工工 作作 績績 效效 預(yù)預(yù) 測測 方方 法法 的的 有有 效效 性性 系系 數(shù)數(shù)招 聘 新 雇 員 并 進(jìn) 行 培 訓(xùn) 時(shí) 的 預(yù) 測 方 法根 據(jù) 當(dāng) 前 績 效 預(yù) 測 未 來 績 效 時(shí) 的 方 法智 力 測 驗(yàn) 0.53工 作 試 用 0.44個(gè) 人 簡 歷 0.37背 景 調(diào) 查 0.26實(shí) 際 工 作 0.18面 試 0.14培 訓(xùn) 和 實(shí) 際 工 作 成 績 0.13學(xué) 術(shù) 成 果 0.11教 育 背 景 0.10興 趣 0.10年 齡 0.01工 作 實(shí) 例 測 試 0.54智 力 測 驗(yàn) 0.53同 事 評 價(jià) 0.49以 往 工