人才測評的信度與效度綜述

1、第十章、人才測評的信度與效度人才測評的核心價值在于預(yù)測的有效性預(yù)測好預(yù)測不好實際好實際不好 在進行測量時，誤差是難免的，這就使得真實值和測量值之間是不可能完全一致。我們可以這樣來表示真實值和測量值之間的關(guān)系。 X=T+B+E T表示真實值，B表示偏差即系統(tǒng)誤差，E表示測量誤差即隨機誤差。 一、信度 測試信度(test reliability)也叫測試的可靠性，指測驗結(jié)果的一致性、穩(wěn)定性及可靠性，一般多以內(nèi)部一致性來加以表示該測驗信度的高低。 信度系數(shù)愈高即表示該測驗的結(jié)果愈一致、穩(wěn)定與可靠。 系統(tǒng)誤差對信度沒什么影響，因為系統(tǒng)誤差總是以相同的方式影響測量值的，因此不會造成不一致性。反之，隨機誤

2、差可能導(dǎo)致不致性，從而降低信度。 信度可以定義為隨機誤差R影響測量值的程度。如果R=0，就認(rèn)為測量是完全可信的，信度最高。 信度評估的方法 （一）重測信度重測信度，又稱為穩(wěn)定性系數(shù)，它的計量方法是采用重測法：用同一測驗，在不同時間對同一群體施測兩次，這兩次測量分?jǐn)?shù)的相關(guān)系數(shù)即為重測系數(shù)。 重測信度所考察的誤差來源是時間的變化所帶來的隨機影響。在評估重測信度時，必須注意重測間隔的時間。對于人格測驗，重測間隔在兩周到6個月之間比較合適。 在進行重測信度的評估時，還應(yīng)注意以下兩個重要問題：重測信度一般只反映由隨機因素導(dǎo)致的變化，而不反映被試行為的長久變化。不同的行為受隨機誤差影響不同。 （二）復(fù)本信

3、度復(fù)本信度，是以兩個測驗復(fù)本來測量同一群體，然后求得應(yīng)試者在這兩個測驗上得分的相關(guān)系數(shù)。復(fù)本信度的高低反映了這兩個測驗復(fù)本在內(nèi)容上的等值性程度。兩個等值的測驗互為復(fù)本。 計算復(fù)本信度的主要目的在于考察兩個測驗復(fù)本的題目取樣或內(nèi)容取樣是否等值。復(fù)本信度也考慮兩個復(fù)本實施的時間間隔。 復(fù)本信度的主要優(yōu)點在于：能夠避免重測信度的一些問題，如記憶效果、練習(xí)效應(yīng)等；適用于進行長期追蹤研究或調(diào)查某些干涉變量對測驗成績影響；減少了輔導(dǎo)或作弊的可能性。 復(fù)本信度的局限性在于：如果測量的行為易受練習(xí)的影響，則復(fù)本信度只能減少而不能消除這種影響；有些測驗的性質(zhì)會由于重復(fù)而發(fā)生改變；有些測驗很難找到合適的復(fù)本。 （

4、三）內(nèi)部一致性信度內(nèi)部一致性信度，主要反映的是測驗內(nèi)部題目之間的關(guān)系，考察測驗的各個題目是否測量了相同的內(nèi)容或特質(zhì)。內(nèi)部一致性信度又分為分半信度和同質(zhì)性信度。 分半信度系數(shù)是通過將測驗分成兩半，計算這兩半測驗之間的相關(guān)性而獲得的信度系數(shù)。測驗愈長，信度系數(shù)愈高。 同質(zhì)性信度是指測驗內(nèi)部的各題目在多大程度上考察了同一內(nèi)容。同質(zhì)性信度低時，即使各個測試題看起來似乎是測量同一特質(zhì)，但測驗實際上是異質(zhì)的，即測驗測量了不止一種特質(zhì)。同質(zhì)性分析與項目分析中的內(nèi)部一致性分析相類似。 （四）評分者信度評分者信度，是指不同評分者對同樣對象進行評定時的一致性。最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評

5、分者打分，再求每份答卷兩個評判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級相關(guān)方法。 提高測驗信度的方法 影響測驗信度的誤差歸納起來主要有 :(1) 抽樣誤差 : 簡單說 , 這是在抽樣過程中由于被試間的差異所造成的誤差。被試間的差異可以用全距和方差大小來表示。全距是指某一心理量最大值與最小值之差。全距大說明被試間差異大 , 全距小說明被試間差異小。被試間在某一心理量上參差不齊 , 差別懸殊 , 則該心理量的方差大 ; 反之 , 方差小。對于方差小的樣本 , 被試間在某一心理特征上相差較小 , 則前后兩次測驗結(jié)果的一致性較低 , 即降低了信度。 因為被試之間的差

6、別越小其同質(zhì)性越高 , 被試的分?jǐn)?shù)只要發(fā)生小的變化 , 其名次就可能改變 , 從而降低信度。(2) 隨機誤差 : 由于各種偶然因素的影響而產(chǎn)生的誤差 , 表現(xiàn)為用同一方法多次測量同一對象時結(jié)果上不一致。隨機誤差是由許多因素造成的 , 如量標(biāo)的質(zhì)量 , 測量的程序 , 被試的身心狀態(tài) , 測量的環(huán)境等。 根據(jù)影響測驗信度的因素 , 可從以下幾方面來提高測驗的信度 : 一是從測驗本身考慮 , 如測驗的長度、難度、區(qū)分度、速度、程序、環(huán)境條件與計分方法等 ; 一是從被試自身考慮 , 如被試在被測心理特征上的差異大小 , 參加測驗的動機水平 , 對測驗的態(tài)度和積極性等。在此主要介紹如下幾種提高測驗信度

7、的方法 :（ 1 ）適當(dāng)延長測驗的長度 : 測驗的長度主要指量表所包含的題目多少。對一個測驗來說 , 測驗的題目越少 , 得分越容易受偶然因素的影響 , 故測驗的信度越低。反之如果測驗題目較多 , 即測驗長度延長 , 擴大了被試得分范圍 , 可在一定程度上排除偶然因素的影響 , 從而提高測驗信度。但是測驗信度的增加并不是等比例提高信度系數(shù)。當(dāng)信度系數(shù)較小時 , 延長測驗長度信度系數(shù)增加較大 ; 當(dāng)信度系數(shù)已經(jīng)較大時 , 延長測驗長度對信度系數(shù)的影響就較小了。而且 , 在延長測驗長度時 , 還需考慮其他因素的影響 , 如被試在回答問題時是否疲倦或產(chǎn)生厭煩情緒 , 是否節(jié)省時間、物力和財力 , 測

8、題是否附合測驗?zāi)康牡取?（ 2 ）測驗的難度要適中 : 難度即測驗的難易程度 , 當(dāng)測驗難度太大時 , 被試得分普遍太低 , 呈負(fù)偏態(tài)分布 ; 當(dāng)測驗難度太小時 , 被試得分普遍較高 , 呈正偏態(tài)分布。太難太易的測驗都使被試得分差異減小 , 使實得分?jǐn)?shù)方差減小 , 從而降低測驗信度。 （ 3 ）測驗的內(nèi)容盡量同質(zhì) : 性質(zhì)相同的測驗內(nèi)容 , 對被試也要求相同的能力、知識和技能 ; 而內(nèi)容不同質(zhì)的測驗 , 則要求被試不同的能力、 知識和技能。因而為了提高測驗信度 , 測驗內(nèi)容應(yīng)盡量同質(zhì)。（ 4 ）測驗的時間要充分 : 對某一測驗而言 , 應(yīng)保證絕大多數(shù)被試在規(guī)定時間內(nèi)完成測驗 ; 否則 , 如果

9、被試不能從容回答所有問題 , 就不能反映被試的真實水平。 （ 5 ）測驗的程序要統(tǒng)一 : 包括測驗的題目統(tǒng)一 , 指導(dǎo)語、回答問題的方式、分收試卷的方法、測驗時間等都要統(tǒng)一。（ 6 ）評分要客觀 : 評分是否客觀對測驗信度有直接的影響。對于客觀性題目 , 評分標(biāo)準(zhǔn)明確 , 評分容易做到客觀 ; 但對于主觀性題目 , 受評分者影響較大 , 不易做到客觀。為了盡可能客觀評分 , 應(yīng)制定明確而易掌握的評分標(biāo)準(zhǔn) , 盡量做到一卷多評 , 或一人只評一題等。二、效度 效度（Validity）即有效性，它是指測量工具或手段能夠準(zhǔn)確測出所需測量的事物的程度。效度是指所測量到的結(jié)果反映所想要考察內(nèi)容的程度，測

10、量結(jié)果與要考察的內(nèi)容越吻合，則效度越高；反之，則效度越低。效度分為三種類型：內(nèi)容效度、準(zhǔn)則效度和結(jié)構(gòu)效度。 從內(nèi)容效度到準(zhǔn)則效度再到構(gòu)念效度可視為一種累進即構(gòu)念效度需要比準(zhǔn)則效度更多的信息準(zhǔn)則效度需要比內(nèi)容效度更多的信息。 效度比信度有更高的要求信度是效度的必要條件沒有信度的測量工具就談不上具有效度但信度高的測量工具未必具有高的效度。 測試維度測試維度 1）表面效度（face validity）。指測試應(yīng)達(dá)到的卷面標(biāo)準(zhǔn)，即一套測試題從表面看來是否是合適的。例如，若一次閱讀理解力的測試包括許多受試者沒有學(xué)過的方言詞匯，則可認(rèn)為這次測試缺乏表面效度。表面效度是測試出受試者正常水平的一種保證因素。

11、2）內(nèi)容效度（content validity）。指一套測試題是否測試了應(yīng)該測試的內(nèi)容或者說所測試的內(nèi)容是否反映了測試的要求，即測試的代表性和覆蓋面的程度。例如，如果某一套發(fā)音技能測試題僅僅考查發(fā)音所必須具備的某些技能，如只考單一音素的發(fā)音，而不考查重讀、語調(diào)或音素在詞語中的發(fā)音，那么，該測試的內(nèi)容效度就很低。 3）編制效度（construct validity）。指一套測試題的諸項目對編制該測試所依據(jù)的理論的各個基本方面的反映程度。例如，以結(jié)構(gòu)主義語言理論為基礎(chǔ)，認(rèn)為系統(tǒng)的語言習(xí)慣是通過句型而獲得的，那么，強調(diào)詞匯和語法環(huán)境的測試題目就失去了編制效度。 4）經(jīng)驗效度（empirical va

12、lidity）。經(jīng)驗效度是一種衡量測試有效性的量度，通過把一次測試與一個或多個標(biāo)準(zhǔn)尺度相對照而得出。經(jīng)驗效度可分為兩種：一是共時效度（concurrent validity），即將一次測試的結(jié)果同另一次時間相近的有效測試的結(jié)果相比較，或同教師的鑒定相比較而得出的系數(shù)；二是預(yù)測效度（predictive validity），即將一次測試的結(jié)果同后來的語言能力相比較，或是同教師后來對學(xué)生的鑒定相比較而得出的系數(shù)。 提高測驗效度的方法 （ 1）控制系統(tǒng)誤差 : 系統(tǒng)誤差是影響測驗效度的主要因素。它主要包括儀器不準(zhǔn) , 題目和指導(dǎo)語有暗示性 , 答案按排不當(dāng) ( 被試可以猜測 ) 等 , 控制這些因素

13、可以降低系統(tǒng)誤差 , 提高效度。 (2) 精心編制測題和測驗量表 : 首先測題內(nèi)容要適合測驗?zāi)康?, 如知識性測題就不能全面反映被試的智力水平 , 它主要測量其知識水平。其次 , 測題要清楚明了 , 用語要讓被試?yán)斫?, 排列由易到難。第三 , 測題的難度和區(qū)分度要合適。 (3) 嚴(yán)格按照測驗程序進行測量 , 防止測量誤差 : 要嚴(yán)格按照測驗手冊進行測量 , 不能作過多的解釋 , 按標(biāo)準(zhǔn)評分 , 兩次測驗間隔要適當(dāng)。 (4) 樣本容量要適當(dāng) : 當(dāng)樣本容量增大時 , 樣本對總體的代表性提高 , 樣本大 , 被試的內(nèi)部差異增大 , 擴大了真分?jǐn)?shù)的方差 , 使效度提高。樣本容量一般不應(yīng)低于 30

14、。另外 , 抽樣方法也很重要 , 一般用隨機抽樣 , 當(dāng)群體很大時 , 可分層抽樣 , 樣本容量擴大時 , 其代表性才隨之增大。 (5) 正確處理好信度與效度的關(guān)系 : 信度是效度的必要條件 , 但信度高的測驗 , 效度不一定高 ; 而效度高的測驗 , 信度卻比較高。但是 , 既要有高效度 , 又要有高信度是不容易做到的。“最大可靠度（信度）要求測驗項目之間有高度的組間相關(guān)；最大預(yù)測有效度卻要求低度的組間相關(guān)。最大可靠度（信度）要求項目等同的難度；最大預(yù)測有效度卻要求項目的難度有所區(qū)別。中等程度的組間相關(guān)（ 0.10 0.60), 通?？僧a(chǎn)生良好的效度 (0.30 0.80), 并且產(chǎn)生滿意的

15、信度 (0.90) 。” (6) 適當(dāng)增加測驗的長度 : 增加測驗的長度可提高測驗的信度 , 也可以提高效度 , 但增加測驗的長度對信度的影響大于對效度的影響。三、測評手段有效度切忌以點代面，比如：韓復(fù)榘的選任方法過分依賴一個情景也會降低面試效度比如：某商場老總招聘員工的方法員員 工工 未未 來來 工工 作作 績績 效效 預(yù)預(yù) 測測 方方 法法 的的 有有 效效 性性 系系 數(shù)數(shù)招 聘 新 雇 員 并 進 行 培 訓(xùn) 時 的 預(yù) 測 方 法根 據(jù) 當(dāng) 前 績 效 預(yù) 測 未 來 績 效 時 的 方 法智 力 測 驗 0.53工 作 試 用 0.44個 人 簡 歷 0.37背 景 調(diào) 查 0.26實 際 工 作 0.18面 試 0.14培 訓(xùn) 和 實 際 工 作 成 績 0.13學(xué) 術(shù) 成 果 0.11教 育 背 景 0.10興 趣 0.10年 齡 0.01工 作 實 例 測 試 0.54智 力 測 驗 0.53同 事 評 價 0.49以 往 工