第四章人員測評系統(tǒng)的構建與效度信度檢驗

第四章人員測評系統(tǒng)的構建與效度信度檢驗本章內(nèi)容人員測評系統(tǒng)的構建與效度信度檢驗1、測評系統(tǒng)的構成2、測評的效度3、測評的信度4、信度與效度的關系及提升策略一、測評系統(tǒng)的構成人員測評過程：測評考官根據(jù)崗位需要，運用測評工具對被測人員施以刺激，被測人員對此刺激做出反應，測評考官對被測人員的反應情況進行度量與評價。測評考官測評工具被測人員測評考官測評體系的主體，是決定人員測評能否成功的關鍵要素。在我國，測評考官分三類：具有人員測評專門知識的專門人士（咨詢師、高校教師、研究人員）從事人力資源管理實務的專業(yè)人士（HR）人員使用部門的資深人士（主管或骨干）測評考官應具備的基本素質(zhì)：良好的個人品格和道德修養(yǎng)測評組織方面的知識（程序公平）和與測評內(nèi)容相關的知識（評分公平）測評技巧（無領導小組討論中的座位擺放，面試中隨機場景的設置等）工作經(jīng)驗和社會經(jīng)驗（經(jīng)驗直覺判斷）測評工具與方法能力測驗（一般能力、特殊能力）成就測驗（知識測驗、工作樣本測試）人格量表（自陳式量表）面試（結構化、非結構化）評價中心（針對管理者）書面信息分析（申請表、履歷表、人事檔案、推薦信）測評客體——被測人員測評焦慮測評前訓練：針對測評的項目做大量的強化練習適應性訓練認識技能訓練要實現(xiàn)人-職匹配，就要對其全過程進行監(jiān)控，監(jiān)控的依據(jù)和標準主要是測評的效度和信度二、測量的信度一、信度(reliability)（一）信度的概念：是測量結果的一致性(consistency)或者穩(wěn)定性(sta-bility)程度，也就是研究者對相同或者相似的測量對象進行不同形式或不同時間的測量所得結果的一致性程度。在測量理論中，信度是指一組測驗分數(shù)的真變異數(shù)與總變異數(shù)的比率。在實際應用中，它通常以同一樣本所得的兩組資料的相關作為測量一致性的指標。

信度能夠回答測量工具是否穩(wěn)定;測量結果是否可以推論，也就是概化能力，即從一次測量來推論總體的正確程度。我們可以舉例說明信度的問題：如果想知道某人的體重，我們可以叫兩個人來估計，一個人的估計為150鎊，另一個人的估計為300鎊，那么我們就可以認為，叫別人來估計體重是非常不可信的方法。如果用磅秤，連續(xù)測量兩次的結果都是相同的，因而我們可以說，在測量體重方面，用磅秤的方法要比叫人來估計更可信。例:如果想知道一個人的智商，首先我們請對這個人熟悉的兩個老師來估計，一個人的估計為110，另一個人的估計為150，顯然，這種巨大的差距說明叫人來估計智商是非常不可信的方法。但是，用智力測量量表，連續(xù)測量兩次的結果差別卻很小。因而我們可以說，在測量智商方面，用智力測量量表的方法要比叫人來估計具有更高的信度。在人員測評的過程中，應該選擇具有較高信度的測量工具，這樣才能保證測量結果的可靠性。信度---就是對隨機誤差的一種測量，隨機誤差決定了信度的高低。（二）信度的種類由于誤差來源的不同，對信度的測量也有不同的方法。具體有以下三種不同的信度類型和相應的評估方法。1.再測信度(test-retestreliability)（與時間有關）又稱為穩(wěn)定性系數(shù)，它是指對同樣的一個測驗在不同的時間對相同的群體測量兩次，這兩次測量的分數(shù)的相關系數(shù)就是再測信度。我們通過再測信度的相關系數(shù)可以了解測量結果在經(jīng)過一段時間后的穩(wěn)定程度。再測信度的兩次測評使用的是同一個測評工具，同一種測評方式，但較難把握的是兩次測評間隔的時間長短。時間間隔過長，被測者特征將隨時間的增加而發(fā)展變化，由此計算的穩(wěn)定系數(shù)將失去意義；若時間間隔過短，又可能產(chǎn)生記憶與練習效應，這也將影響穩(wěn)定系數(shù)。

2.與測評內(nèi)容有關的信度

單個項目的信度組成信度內(nèi)部一致性信度（主要關注的是測驗內(nèi)部題目之間的關系。它所考慮的問題是一個測量工具所有的維度測量的均一性）折半信度（將一份測驗按照一定的方法分成盡可能平行的兩個半份測驗(例如按照奇偶分半)，然后計算兩半之間的相關，得到的相關系數(shù)即為折半信度系數(shù)）復本信度

3.與評分者有關的評分者信度相關系數(shù)法（隨機抽取若干份答卷，有兩個以上獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關系數(shù)）概化系數(shù)和可靠性系數(shù)（相對誤差-概化系數(shù)-常模參照測評，絕對誤差-可靠性系數(shù)-標準參照測評）（三）影響信度的因素1.被試者的特征被試者的特征對信度的影響主要表現(xiàn)在被試者在測量屬性方面的個體差異上。如果一種測量工具對某種屬性的測量得分的差別幅度越大，那么該測量工具能區(qū)別開被測量的個體，因而我們說該測量工具有較好的信度;個體之間被測量的特征或者屬性差別差異很小，那么很難進行可靠的測量，測驗信度可能會很低。

2.測驗的長度和難度一般來說，測量分數(shù)分布越廣，信度系數(shù)就相對越高。這就好比讓你來速記一組數(shù)字，隨著讓你觀察這組數(shù)字的時間的延長，你會發(fā)現(xiàn)你能夠描述的數(shù)字的準確性和詳細程度也在不斷提高。一個給定的測驗，當增加測驗的長度并且相應地延長測驗的時間的時候，也會發(fā)生上述類似的效果。

3.不同信度測驗方法的選擇

前面我們可以看到，不同的信度測量方法處理測量誤差的方式都不同，這樣在我們估計信度的過程中對不同方法的選擇就會產(chǎn)生不同的估計值。有些方法傾向于對信度范圍做上限估計，有些傾向于做下限估計，這樣針對不同特點的測驗我們要學會選擇估計方法。

4.測驗過程中的誤差

測試現(xiàn)場因為照明、背景音樂、溫度、噪聲、通風、桌椅和空間不符合人體工程學等原因?qū)е卤辉嚲窈蜕眢w狀況的不適，或者被試由于不熟悉答題的樣式，答題經(jīng)驗的不足或者生病等突發(fā)狀況的發(fā)生，都會導致測量的誤差。三、測量的效度（一）效度的含義和特性

效度（Validity）即有效性，它是指測量工具或手段能夠準確測出所需測量的某素質(zhì)特征的程度。效度是指所測量到的結果反映所想要考察內(nèi)容的程度，測量結果與要考察的內(nèi)容越吻合，則效度越高；反之，則效度越低。或者簡單地說是指一個測驗的準確性、有用性。如果我們用體重秤來測身高，顯然這種測量工具的選擇是不正確的，所以說這個測量工具沒有效度。測評過程：測評工具的研制、計分和指導語的標準化、被試作答反應、主試或評分者、測驗的實施、數(shù)據(jù)整理、統(tǒng)計分析、結果的解釋。每一步都要保證其科學性和準確性，這樣才能保證測量的結果和結論是有效而正確的。

效度的性質(zhì)

1.效度具有相對性

任何測驗的效度是對一定的目標來說的，或者說測驗只有用于與測驗目標一致的目的和場合才會有效。所以，在評價測驗的效度時，必須考慮效度測驗的目的與功能。

2.效度具有連續(xù)性

測驗效度通常用相關系數(shù)表示，它只有程度上的不同，而沒有“全有”或“全無”的區(qū)別。效度是針對測驗結果的。

效標和效標測量

效標，即衡量測驗有效性的參照標準，指的是可以直接而且獨立測量的我們感興趣的行為。我們感興趣的行為，就是要預測的行為，這是一個總的觀念，故必須以可操作的測量來確定才有實際意義。因此有必要把效標細分為兩個層次，其一是理論水平的“觀念效標”，其二是操作定義水平的“效標測量”。常用的效標有：

1、學業(yè)成就：如在校成績、學歷、有關的獎勵和榮譽、教師對學生智力的評定等，常作為智力測驗的效標，也可作為某些多重能力傾向測驗和人格測驗的效標。2、實際工作表現(xiàn)：是最滿意的效標測量，為一般智力測驗、人格測驗和一些能力傾向測驗的效標；3、特殊訓練成績；4、精神病診斷；5、等級評定：是觀察者根據(jù)測驗欲測量的心理特質(zhì)在被試身上的表現(xiàn)而作出的一種個人判斷；6、效標團體的比較：即找出兩個在效標表現(xiàn)上有差別的團體，比較他們在測驗分數(shù)上的差別；7、先前有效的測驗：一個新測驗與先前有效的測驗的相關也經(jīng)常作為效度檢驗的證據(jù)。（二）效度的類型根據(jù)效度評估方法不同，效度可以從六個角度來劃分：內(nèi)容、反應過程、內(nèi)部結構、與其他變量的關系、測驗結果。1.內(nèi)容效度(contentvalidity)內(nèi)容效度就是檢驗測驗的內(nèi)容對所要考核范圍的代表性程度。例如面試的時候?qū)σ粋€技術人員所掌握的技術水平的測驗可以通過選取不同水平的具有代表性的技術問題來測量，這樣就能大致推斷技術人員的技術水平。

內(nèi)容效度指的是測驗題目對有關內(nèi)容或行為取樣的適用性，從而確定測驗是否是所欲測量的行為領域的代表性取樣。目的→“構念”→“構念”具體化→確定測評內(nèi)容不同于其他幾種效度，內(nèi)容效度首先重點是強調(diào)新測量工具的建構而不是己有測量工具的效度。設計并采用這種方法的目的是幫助確保測量工具的建構是針對所要測量的內(nèi)容。這種方法主要是依靠專家根據(jù)經(jīng)驗來判斷一個測量工具的效度，而不是依靠相關系數(shù)。因此，內(nèi)容效度被稱作一種"描述性"效度。

為了確保內(nèi)容效度的客觀，可以通過以下的流程來保證:1.對所測量的內(nèi)容進行全面的分析，盡可能地搜索到最齊全的資料。2.挑選參與內(nèi)容效度研究的專家，這些專家應該能夠承擔相關測量范圍的職責并且具有這些職責所具備的知識、技術和能力。3.瓢選測量內(nèi)容。4.評估顫選測量工具與被測量內(nèi)容的相關性。2.基于反應過程的效度

3.基于內(nèi)部結構的效度——建構效度建構效度：指測驗能夠測量到理論上的構想或特質(zhì)的程度，即測驗的結果是否能證實或解釋某一理論的假設、術語或構想，解釋的程度如何。

例如我捫根據(jù)理論的假設結構來編制一份心理測量量表或者測驗，如果實際測量結果所測得的實際分數(shù)經(jīng)過統(tǒng)計檢驗能夠有效地解釋受試者的心理特質(zhì)，那么我們說這個量表或者測驗具有良好的建構效度。

3.基于與其他變量的關系的效度—效標關聯(lián)效度

(criterion-relatedvalidity)

（1）效標與效標測量

效標是衡量一個測驗有效性的參照標準。效標測量就是將效標轉(zhuǎn)化為某種可以操作的測量指標。效標具有四個特性:多樣性、復雜性、特殊性、時間性。（2）效標關聯(lián)效度

效標關聯(lián)效度是指測驗與外在效標間關聯(lián)的程度。即一個測驗對處于特定情境中的個體行為進行預測時的有效性(準確性)。效標效度主要考慮的是測驗分數(shù)與效標之間的關系。

效標關聯(lián)效度根據(jù)使用時間間隔的長短又分為同時效度與預測效度。同時效度(concurrentvalidity)是指收集效標材料與測驗分數(shù)差不多同時進行，多用于對現(xiàn)有員工的測評。例如，有兩個智力測驗A和B，A實施起來很費時間，而B測驗時間短。如果B的成績與A的成績有很高的相關，則B可以作為A的替代測驗。預測效度(predictivevalidity)是指收集效標材料在實際測量結束后隔一段時間再獲得，多用于人員選拔和配置等工作。區(qū)分同時效度與預測效度的標準不是時間，而是測驗的目的。前者主要用于測量現(xiàn)在的狀態(tài)，后者主要用于預測未來的情況。例如，入學考試成績?nèi)裟軌蚝芎玫仡A測入學后的學習成績的話，這個入學考試的預測效度就高。

（3）確定效標關聯(lián)效度的方法

A.相關法

相關法是指計算測驗結果分數(shù)與效標之間的相關，得到的結果為效度系數(shù)。計算效度系數(shù)常用的相關方法是積差相關又叫皮爾森(Pearson)相關。

要使用積差相關必須同時具備如下兩個條件:①兩個變量都是由測量獲得的連續(xù)性數(shù)據(jù)，即等距或等比數(shù)據(jù)。②兩個變量的總體都呈正態(tài)分布，或接近正態(tài)分布。一般來說，相關系數(shù)必須達到統(tǒng)計上的顯著水平。如果其他情況己定，那么效度系數(shù)越高越好。

B.區(qū)分度

區(qū)分度是指預測源分數(shù)是否能區(qū)分由效標測量所定義的群體。操作方法是選取兩種效標A和B，先根據(jù)A將群體區(qū)分開來，再用B將群體區(qū)分開來，根據(jù)兩種效標區(qū)分的結果來判斷，如果A和B區(qū)分的結果一致，那么說明效度較高。C.命中率

命中率是根據(jù)測驗所做的正確決定的比率。它主要用作取舍決策。某種測量工具的效度高不高，主要是看做的決定是否與實際一致，這就是命中率的高低。命中率包括有：總命中率、正命中率、負命中率。

對于測驗的效果，從圖2-2中可以更直觀地理解。在左下角的正確拒絕區(qū)域中，我們可以看出，這部分的被試是屬于工作成績和測驗分數(shù)都很低的被試群體，所以拒絕這些被試是正確的;左上角的區(qū)域是工作成績高但是測驗分數(shù)卻相對較低的被試群體，這里如果拒絕了，顯然是錯誤的;右下角的區(qū)域是屬于工作成績低但是測驗分數(shù)卻相對較高的被試群體，如果錄取了他們，顯然是錯誤的;右上角的區(qū)域是工作成績高而且測驗分數(shù)也高的被試群體，錄取他們顯然是正確的。

5.基于測評結果的效度統(tǒng)計結論效度（衡量對測評數(shù)據(jù)進行分析時所用程序與方法的有效性的指標）重點是測評本身的質(zhì)量和統(tǒng)計方法的恰當性內(nèi)部效度（目的：找出導致績效的原因）外部效度（測評結果能一般化和普遍適用于樣本所在的總體以及其他同類總體）內(nèi)部效度是外部效度的必要條件，但不是充分條件(三)影晌效度的因素效度的大小主要受以下幾方面因素影響:1.測量工具本身因素

如果一個測量工具本身存在誤差，那么就是不可靠的。這些誤差越多，不可靠性就越大，效度也隨之降低。具體表現(xiàn)在測量內(nèi)容的難度不適當、區(qū)分度不高、試題題目描述內(nèi)容或選項設置存在迷惑性問題、題目太多、測量內(nèi)容的范圍太廣等。這些測量工具本身的因素對效度的影響是很大的，如果不注意控制，那么就無法保證測量的較高效度。2.樣本的因素人是復雜的，參加測試的人會受到各方面因素的影響，有可能一頓油膩的早飯就能讓一個參加測試的人臨場發(fā)揮表現(xiàn)不佳。被試者的情緒、動機、興趣、身體健康、態(tài)度等方面的因素都會影響測試的效度。

在其他條件相同的情況下，被測者異質(zhì)性越高，效度越高，因為效度受到被試團體分數(shù)分布的影響3.效標污染效標污染(contenoncontamination)是指效標受到預測變量以外的變量的影響，偏見結果導致效度下降。例如當我們想考核一個員工的工作績效的時候，如果評價者帶有個人的種族、性別偏見或者個人恩怨來考核下屬的時候，那么效標就被污染了。顯然，這樣的考核結果肯定與實際情況相差甚遠，效度也隨之下降。而且上述行為對效度的影響程度也是無法預知的。

研究者可以通過以下的方法來控制效標污染:一是改變效度研究本身的設計;二是采用部分相關的統(tǒng)計方法。只有盡可能地控制效標污染，才能更準確地了解測量工具和效標間的真實關系。四、信度和效度之間的關系根據(jù)前面所論述的信度和效度的定義和作用可以看出，信度和效度所解決的是不同類型的誤差問題。信度——一致性、穩(wěn)定性效度——有效性信度是一致性的函數(shù)，不管它是否射在靶心上，只要是一種密集點狀態(tài)就可以。效度是準確性的函數(shù)，在這里就是射中靶心周圍點的函數(shù)。失敗的信度可以看作是一種隨機誤差，失敗的效度可以看作是一種系統(tǒng)誤差。缺乏信度或者效度的測量都是沒有用的。

可見，效度是測量的首要條件，信度是效度的必要條件而非充分條件。

如果信度很低，那么效度也不可能高，因為如果測量的數(shù)據(jù)不準確，就不能有效地說明所研究的對象。即使信度很高，效度也未必高。

例如，如果我們想測量一個人的數(shù)學能力，但是測驗是用文言文出題，而這個人的文言文能力很差，那么測量出來的結果是零分。因為測量的方法不得當，所以我們不能說這個人的數(shù)學能力很差。這說明信度很高，但是測量選擇的方法是錯誤的，所以效度不高。

信度與效度的提升策略測評考官測評工具被測者施測場景每一次的加油，每一次的努力都是為了下一次更好的自己。3月-233月-23Friday,March10,2023天生我材必有用，