人員素質(zhì)測評 第2版 課件 第03章 人員素質(zhì)測評的原理

人員素質(zhì)測評（第2版）人員素質(zhì)測評的原理03理解人員素質(zhì)測評的三大基礎(chǔ)理論。運(yùn)用人員素質(zhì)測評中有關(guān)統(tǒng)計(jì)學(xué)的基本知識。掌握信度、效度與項(xiàng)目區(qū)分度等知識。了解對測評分?jǐn)?shù)進(jìn)行解釋的思路與方法。學(xué)習(xí)目標(biāo)人員素質(zhì)測評中的項(xiàng)目分析人員素質(zhì)測評的三大基礎(chǔ)理論統(tǒng)計(jì)學(xué)的基礎(chǔ)知識信度效度0102030405對測評分?jǐn)?shù)的解釋06第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論一、經(jīng)典測驗(yàn)理論（一）簡介真分?jǐn)?shù)的操作定義是無限多次測量結(jié)果的平均值。相應(yīng)地，每次施測得到的實(shí)際數(shù)值稱為觀測分?jǐn)?shù)。觀測分?jǐn)?shù)與真分?jǐn)?shù)之間的差異越小，則認(rèn)為測驗(yàn)的準(zhǔn)確度越高。真分?jǐn)?shù)是一個理論上構(gòu)想的概念，在實(shí)際測量中是無法得到的，我們只能通過不斷改進(jìn)測量工具、完善操作方法來使觀測分?jǐn)?shù)盡可能地接近真分?jǐn)?shù)。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論一、經(jīng)典測驗(yàn)理論（二）理論模型及假設(shè)如果用X表示觀測分?jǐn)?shù)，T表示真分?jǐn)?shù)，E表示測驗(yàn)誤差，那么經(jīng)典測驗(yàn)理論的基本數(shù)學(xué)模型可用公式表示如下：X=T+EE

～(-∞，+∞)第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論一、經(jīng)典測驗(yàn)理論（二）理論模型及假設(shè)根據(jù)以上公式，可以推導(dǎo)出三個相互關(guān)聯(lián)的假設(shè)公理：（1）N次誤差的平均數(shù)為0。（2）真分?jǐn)?shù)和測驗(yàn)誤差之間相互獨(dú)立。（3）各平行測驗(yàn)的誤差之間相互獨(dú)立。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論一、經(jīng)典測驗(yàn)理論（三）評價(jià)經(jīng)典測驗(yàn)理論建立了一個包含觀測分?jǐn)?shù)、真分?jǐn)?shù)和測驗(yàn)誤差三個變量的線性模型，第一次將數(shù)學(xué)公式引入測評領(lǐng)域，并且該模型計(jì)算簡單，易于理解和接受，容易推廣。經(jīng)典測驗(yàn)理論的另一大貢獻(xiàn)在于給出了測驗(yàn)信度的概念。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論一、經(jīng)典測驗(yàn)理論（三）評價(jià)經(jīng)典測驗(yàn)理論也存在一些缺陷。第一，它給出的線性模型是粗糙的。第二，線性模型的假設(shè)可能存在問題。第三，經(jīng)典測驗(yàn)理論對平行測驗(yàn)的假設(shè)受到很大質(zhì)疑。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論二、項(xiàng)目反應(yīng)理論（一）項(xiàng)目反應(yīng)理論簡介及其假設(shè)與模型項(xiàng)目反應(yīng)理論是用來分析考試成績或者問卷調(diào)查數(shù)據(jù)的數(shù)學(xué)模型，這些模型的目標(biāo)是確定潛在特質(zhì)是否可以通過測試題反映出來，以及測試題和被試之間的互動關(guān)系。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論二、項(xiàng)目反應(yīng)理論（一）項(xiàng)目反應(yīng)理論簡介及其假設(shè)與模型項(xiàng)目反應(yīng)理論提出了以下四個基本假設(shè)：（1）能力單維性假設(shè)。（2）局部獨(dú)立性假設(shè)。（3）項(xiàng)目特征曲線假設(shè)。（4）非速度限制假設(shè)。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論二、項(xiàng)目反應(yīng)理論（二）評價(jià)項(xiàng)目反應(yīng)理論最大的優(yōu)點(diǎn)是項(xiàng)目參數(shù)的不變性，即項(xiàng)目參數(shù)的估計(jì)獨(dú)立于被試組（局部獨(dú)立性假設(shè)）。由于被試在某一試題上的成績不受他在測驗(yàn)中其他試題成績的影響，各個被試的作答也是彼此獨(dú)立的，因此能夠通過答題結(jié)果對被試的潛在特質(zhì)做出準(zhǔn)確的估計(jì)。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論二、項(xiàng)目反應(yīng)理論（二）評價(jià)嚴(yán)格來講，項(xiàng)目反應(yīng)理論仍然是有缺陷的。第一，項(xiàng)目參數(shù)估計(jì)的不變性在實(shí)踐中是難以達(dá)到的。第二，項(xiàng)目反應(yīng)理論的假設(shè)條件比較苛刻，必須有大樣本進(jìn)行配合，且要對假設(shè)條件進(jìn)行驗(yàn)證。第三，在實(shí)際應(yīng)用上，由于項(xiàng)目反應(yīng)理論建立在比較深奧的數(shù)學(xué)理論基礎(chǔ)之上，其接受度和推廣度均受到一定限制。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論三、概化理論（一）概化理論簡介及其假設(shè)概化理論建立在對誤差的分解之上。它結(jié)合測量的情境關(guān)系對真分?jǐn)?shù)理論中的籠統(tǒng)誤差進(jìn)行探查和分解，辨明誤差的不同來源，并且在一定范圍內(nèi)變動測量的情境，考察這種變動引起的誤差的相對變化，從而達(dá)到對誤差方差進(jìn)行控制、提高測驗(yàn)信度的目的。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論三、概化理論（一）概化理論簡介及其假設(shè)該理論提出了三個基本概念。（1）測量目標(biāo)。（2）測量側(cè)面。（3）測量情境。

第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論三、概化理論（二）評價(jià)——優(yōu)勢第一，概化理論以隨機(jī)平行測驗(yàn)為基礎(chǔ)，使?jié)M足平行的條件更容易達(dá)到，實(shí)際上隨機(jī)平行測驗(yàn)更符合測量實(shí)踐的要求。第二，通過方差分析等統(tǒng)計(jì)工具，能夠?qū)傮w測驗(yàn)誤差進(jìn)行分解，使每個部分對應(yīng)于特定的誤差來源，從而更便于控制測驗(yàn)誤差。第三，概化理論中所涉及的信度概念，既能估計(jì)出主效應(yīng)，又能估計(jì)出交互作用效應(yīng)，還能對各估計(jì)值的大小進(jìn)行直接比較。第1節(jié)人員素質(zhì)測評的三大基礎(chǔ)理論三、概化理論（二）評價(jià)——不足第一，概化理論將所測量的心理特征看作單維度的、穩(wěn)定的。因此，在實(shí)際應(yīng)用中同樣要強(qiáng)調(diào)保持試題樣組的同質(zhì)性。第二，在計(jì)量方法上，概化理論以方差分析為基本的分析工具，但在數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性方差分量估計(jì)中，有時(shí)會出現(xiàn)負(fù)值，這是一個很難解釋的結(jié)果。第三，在測量應(yīng)用上，由于隨機(jī)抽樣的易變性，概化理論適用于實(shí)測數(shù)據(jù)的事后分析，而難以作為事前預(yù)測的工具。人員素質(zhì)測評中的項(xiàng)目分析人員素質(zhì)測評的三大基礎(chǔ)理論統(tǒng)計(jì)學(xué)的基礎(chǔ)知識信度效度0102030405對測評分?jǐn)?shù)的解釋06第2節(jié)統(tǒng)計(jì)學(xué)的基礎(chǔ)知識一、幾個基本的統(tǒng)計(jì)指標(biāo)（一）平均數(shù)平均數(shù)反映總體一般水平或分布的集中趨勢。統(tǒng)計(jì)學(xué)中常用樣本平均數(shù)作為總體平均數(shù)的估計(jì)量，并已證明樣本平均數(shù)是總體平均數(shù)的無偏估計(jì)量。計(jì)算公式為：

第2節(jié)統(tǒng)計(jì)學(xué)的基礎(chǔ)知識一、幾個基本的統(tǒng)計(jì)指標(biāo)（二）標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差是總體各單位標(biāo)準(zhǔn)值與其平均數(shù)離差平方的算術(shù)平均數(shù)的平方根，反映組內(nèi)個體間的離散程度.計(jì)算公式為：

第2節(jié)統(tǒng)計(jì)學(xué)的基礎(chǔ)知識一、幾個基本的統(tǒng)計(jì)指標(biāo)（三）方差方差是各個數(shù)據(jù)與平均數(shù)之差的平方和的平均數(shù)，反映隨機(jī)變量與其數(shù)學(xué)期望（即均值）之間的偏離程度。與標(biāo)準(zhǔn)差相同，方差度量個體間的離散程度，計(jì)算公式為：

第2節(jié)統(tǒng)計(jì)學(xué)的基礎(chǔ)知識二、利用Excel計(jì)算基本的統(tǒng)計(jì)指標(biāo)第2節(jié)統(tǒng)計(jì)學(xué)的基礎(chǔ)知識三、利用SPSS計(jì)算基本的統(tǒng)計(jì)指標(biāo)人員素質(zhì)測評中的項(xiàng)目分析人員素質(zhì)測評的三大基礎(chǔ)理論統(tǒng)計(jì)學(xué)的基礎(chǔ)知識信度效度0102030405對測評分?jǐn)?shù)的解釋06第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析一、項(xiàng)目分析的含義項(xiàng)目分析就是以測驗(yàn)結(jié)果為依據(jù)，對組成測驗(yàn)的各個題目（項(xiàng)目）進(jìn)行分析，評價(jià)題目的難易和好壞程度，進(jìn)而對題目進(jìn)行篩選和優(yōu)化。通過項(xiàng)目分析，可以檢驗(yàn)測評工具的質(zhì)量，并有針對性地對各個項(xiàng)目進(jìn)行篩選，必要時(shí)也可以進(jìn)行補(bǔ)充，從而優(yōu)化題目，最終達(dá)到提高測驗(yàn)信度和效度的目的。第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析二、項(xiàng)目分析的具體方法（一）難度分析難度是指答對某個題目的人數(shù)占總?cè)藬?shù)的百分比。項(xiàng)目的難度分析是對所有題目難易程度的分析。難度系數(shù)可以根據(jù)測量的目標(biāo)進(jìn)行浮動。一般認(rèn)為，難度系數(shù)保持在0.35～0.65之間即可。第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析二、項(xiàng)目分析的具體方法（一）難度分析1.通過率估計(jì)法

第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析二、項(xiàng)目分析的具體方法（一）難度分析2.多項(xiàng)選擇題的難度校正如果試題以多項(xiàng)選擇題的形式出現(xiàn)，則存在一個相對較大的猜對概率，被試的得分很可能會偏高。為了準(zhǔn)確反映試題的難度和被試的能力，需要對多項(xiàng)選擇題的難度進(jìn)行校正。

第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析二、項(xiàng)目分析的具體方法（二）區(qū)分度分析項(xiàng)目的區(qū)分度又稱項(xiàng)目的鑒別力，主要是指項(xiàng)目能否準(zhǔn)確區(qū)分和鑒別不同水平的被試。高區(qū)分度的項(xiàng)目能夠有效地將能力高與能力低的被試區(qū)分開來，前者在測驗(yàn)中會得到較高的分?jǐn)?shù)，后者的分?jǐn)?shù)相對來說則低很多。第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析二、項(xiàng)目分析的具體方法（二）區(qū)分度分析1.效度分析（1）相關(guān)系數(shù)。（2）鑒別指數(shù)。第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析二、項(xiàng)目分析的具體方法（二）區(qū)分度分析2.每個項(xiàng)目和總分的相關(guān)分析（1）點(diǎn)二列相關(guān)。（2）二列相關(guān)。（3）積差相關(guān)。（4）因素分析。第3節(jié)人員素質(zhì)測評中的項(xiàng)目分析三、項(xiàng)目分析的步驟（1）選取有代表性的被試實(shí)施測驗(yàn)。（2）計(jì)算每個被試的總分，然后按總分分組。（3）計(jì)算高分組和低分組通過每一題的比例。（4）分別求出每一測試題目的難度和鑒別指數(shù)。（5）進(jìn)行選項(xiàng)分析。（6）修改或刪減測試題目或選項(xiàng)。人員素質(zhì)測評中的項(xiàng)目分析人員素質(zhì)測評的三大基礎(chǔ)理論統(tǒng)計(jì)學(xué)的基礎(chǔ)知識信度效度0102030405對測評分?jǐn)?shù)的解釋06第4節(jié)信度一、信度概述（一）信度的產(chǎn)生信度這一概念產(chǎn)生于對誤差的分解。誤差是指測量值與真實(shí)值之間的差異。根據(jù)其產(chǎn)生的原因及性質(zhì)，可以分為系統(tǒng)誤差和隨機(jī)誤差。

第4節(jié)信度一、信度概述（二）信度的定義信度是指測量結(jié)果的可靠性、一致性和穩(wěn)定性。信度高低的量化指標(biāo)稱為信度系數(shù)。信度系數(shù)是指測量的總變異中真分?jǐn)?shù)造成的變異所占的比例。用公式表示如下：

第4節(jié)信度二、信度的測量方法（一）重測信度重測信度又稱再測信度，是指以同樣的測評與選拔工具，按照同樣的方法，對于相同的對象再次進(jìn)行測評和選拔，所得先后結(jié)果間的一致性程度。計(jì)算公式如下：

第4節(jié)信度二、信度的測量方法（二）復(fù)本信度復(fù)本信度又稱等值性系數(shù)，是指以兩個等值但題目不同的測驗(yàn)（復(fù)本）來測量同一群體，然后求得的被試在兩個測驗(yàn)上得分的相關(guān)系數(shù)。計(jì)算公式如下：

第4節(jié)信度二、信度的測量方法（三）同質(zhì)性信度同質(zhì)性信度是指測驗(yàn)內(nèi)部的各個題目在多大程度上考察的是同一內(nèi)容，表現(xiàn)為所有測驗(yàn)題目得分的一致性。為了保證測驗(yàn)只測量一種特質(zhì)或內(nèi)容，必須滿足同質(zhì)性條件。第4節(jié)信度二、信度的測量方法（三）同質(zhì)性信度（1）庫德-理查森公式。

第4節(jié)信度二、信度的測量方法（三）同質(zhì)性信度（2）克倫巴赫α系數(shù)。

第4節(jié)信度二、信度的測量方法（四）評分者信度評分者信度是指數(shù)名不同評分者采用同一套量表對相同被試進(jìn)行評分，對所得結(jié)果進(jìn)行一致性檢驗(yàn)，以估計(jì)量表的評分客觀性。公式如下：

第4節(jié)信度二、信度的測量方法（四）評分者信度第4節(jié)信度三、信度的影響因素（一）樣本特征首先是樣本團(tuán)體的異質(zhì)程度。如果樣本團(tuán)體同質(zhì)性較高，則分?jǐn)?shù)分布范圍較小，所得的信度系數(shù)就很??；反之，如果團(tuán)體異質(zhì)性較高，則會得出很大的信度系數(shù)，造成假性高相關(guān)。除了受到團(tuán)體異質(zhì)程度的影響，信度系數(shù)也受樣本團(tuán)體平均水平的影響。第4節(jié)信度三、信度的影響因素（二）測驗(yàn)的長度一般來說，測驗(yàn)越長，信度越高。這是因?yàn)椋菏紫龋S著測驗(yàn)的加長，可能改進(jìn)項(xiàng)目取樣的代表性，從而能更好地反映被試的真實(shí)水平；其次，測驗(yàn)的項(xiàng)目越多，每個項(xiàng)目的隨機(jī)誤差越可以互相抵消。

第4節(jié)信度三、信度的影響因素（三）測驗(yàn)的難度測驗(yàn)的難度與信度沒有直接對應(yīng)關(guān)系。只有當(dāng)測驗(yàn)難度水平可以使測驗(yàn)分?jǐn)?shù)的分布范圍最大時(shí)，測驗(yàn)的信度才會最高，通常這個難度水平為0.50。各類選擇題和判斷題的理想平均難度為：五個選項(xiàng)的選擇題：0.70。四個選項(xiàng)的選擇題：0.74。三個選項(xiàng)的選擇題：0.77。判斷題：0.85。人員素質(zhì)測評中的項(xiàng)目分析人員素質(zhì)測評的三大基礎(chǔ)理論統(tǒng)計(jì)學(xué)的基礎(chǔ)知識信度效度0102030405對測評分?jǐn)?shù)的解釋06第5節(jié)效度一、效度概述（一）效度的定義效度是測驗(yàn)的有效性程度，即測評工具能夠準(zhǔn)確測出其所要測量特質(zhì)的程度。用公式表示如下：

第5節(jié)效度一、效度概述（一）效度的定義效度具有以下特征：第一，相對性。第二，連續(xù)性。第三，影響因素的復(fù)雜性。第5節(jié)效度一、效度概述（二）信度與效度的關(guān)系信度與效度共同構(gòu)成選擇和評價(jià)測評工具的重要標(biāo)準(zhǔn)，二者在人員素質(zhì)測評中都具有重要作用。簡單來說，信度考察的是測驗(yàn)的準(zhǔn)確性和可信程度，而效度考察的是測驗(yàn)的有效性。二者既相互區(qū)別又相互聯(lián)系。第5節(jié)效度一、效度概述（二）信度與效度的關(guān)系二者的關(guān)系可以總結(jié)如下：首先，信度低，效度不可能高。其次，信度高，效度未必高。最后，效度高，信度必然高。第5節(jié)效度二、效度的分類及評估方法（一）內(nèi)容效度內(nèi)容效度指的是測題取樣的適用性，是確定測量內(nèi)容是不是想要測量的行為領(lǐng)域的代表性取樣指標(biāo)。分析內(nèi)容效度需要注意三個方面的問題。第一，應(yīng)該明確內(nèi)容的范圍。第二，測題應(yīng)是所確定內(nèi)容范圍的代表性取樣。第三，要注意區(qū)分測驗(yàn)分?jǐn)?shù)中無關(guān)因素的影響，即明確地辨別客觀和主觀的因素。第5節(jié)效度二、效度的分類及評估方法（一）內(nèi)容效度內(nèi)容效度的評估方法有以下幾種。1.經(jīng)驗(yàn)推斷法2.專家判斷法3.統(tǒng)計(jì)分析方法第5節(jié)效度二、效度的分類及評估方法（二）構(gòu)念效度構(gòu)念效度是指測驗(yàn)?zāi)軌驕y量到理論的特質(zhì)或者概念的程度。構(gòu)念效度的檢驗(yàn)步驟通常包括：（1）根據(jù)已有的文獻(xiàn)、研究結(jié)果、實(shí)際經(jīng)驗(yàn)等建立構(gòu)念的假設(shè)性理論。（2）根據(jù)構(gòu)念的假設(shè)性理論，進(jìn)行測評工具的編制。（3）選取適當(dāng)?shù)臉颖臼y。（4）以科學(xué)的統(tǒng)計(jì)方法來檢驗(yàn)測評工具是否可以有效解釋構(gòu)念的理論。第5節(jié)效度二、效度的分類及評估方法（三）效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度又稱為效標(biāo)效度，是指測驗(yàn)分?jǐn)?shù)與外在標(biāo)準(zhǔn)（效標(biāo)）之間的相關(guān)程度，這個相關(guān)系數(shù)也就是效標(biāo)效度系數(shù)。按照效標(biāo)測量材料獲得的時(shí)間，可以將效標(biāo)效度細(xì)分為同時(shí)效度和預(yù)測效度。第5節(jié)效度二、效度的分類及評估方法（三）效標(biāo)關(guān)聯(lián)效度下面列舉部分常用效標(biāo)，以作為參考。（1）學(xué)業(yè)成就。（2）實(shí)際工作表現(xiàn)。（3）特殊訓(xùn)練成績。（4）等級評定。（5）效標(biāo)團(tuán)體的比較。（6）先前有效的測驗(yàn)。第5節(jié)效度三、效度的影響因素（一）測驗(yàn)本身效度的高低與隨機(jī)誤差和系統(tǒng)誤差有關(guān)，因此，凡是能造成測驗(yàn)結(jié)果誤差的因素，都會影響效度，包括測驗(yàn)項(xiàng)目的質(zhì)量、測驗(yàn)的長度等。（1）測驗(yàn)項(xiàng)目的質(zhì)量。（2）測驗(yàn)的長度。

第5節(jié)效度三、效度的影響因素（二）樣本團(tuán)體效度受到樣本團(tuán)體以下特征的影響：（1）團(tuán)體的外部性質(zhì)，主要是指團(tuán)體的類型，包括所從事的工作、背景等各方面的特點(diǎn)。（2）團(tuán)體內(nèi)部的異質(zhì)性。（3）樣本容量。第5節(jié)效度三、效度的影響因素（三）實(shí)施過程測驗(yàn)實(shí)施過程中的干擾因素可能來自多方面：（1）客觀環(huán)境。（2）施測者。（3）被試。第5節(jié)效度三、效度的影響因素（四）效標(biāo)一個好的效標(biāo)應(yīng)該滿足以下標(biāo)準(zhǔn)：（1）效標(biāo)必須能最有效地反映測量目標(biāo)，即效標(biāo)測量本身必須有效。（2）效標(biāo)必須具有較高的信度，穩(wěn)定可靠，不隨時(shí)間等因素而變化。（3）效標(biāo)可以客觀地測量，用數(shù)據(jù)或等級來表示。（4）效標(biāo)測量的方法簡單，省時(shí)省力，經(jīng)濟(jì)實(shí)用。人員素質(zhì)測評中的項(xiàng)目分析人員素質(zhì)測評的三大基礎(chǔ)理論統(tǒng)計(jì)學(xué)的基礎(chǔ)知識信度效度0102030405對測評分?jǐn)?shù)的解釋06第6節(jié)對測評分?jǐn)?shù)的解釋一、基于常模的解釋常模是一組具有代表性的被測樣本的測評結(jié)果的分布結(jié)構(gòu)，包括集中趨勢（通常用平均數(shù)表明）和離散度（通常用標(biāo)準(zhǔn)差表示）。常模參照解釋通常將被試的分?jǐn)?shù)與某個參照團(tuán)體的分?jǐn)?shù)進(jìn)行比較，并以該分?jǐn)?shù)在這個團(tuán)體中的相對等級或相對位置來描述被試的素質(zhì)或特征。第6節(jié)對測評分?jǐn)?shù)的解釋一、基于常模的解釋（一）常模樣本的選擇在確定和選擇常模樣本時(shí)，要注意下列要求：（1）常模樣本的構(gòu)成必須明確。（2）常模樣本必須是所測群體的代表性樣本。（3）樣本大小要適當(dāng)。（4）注意常模的時(shí)效性。第6節(jié)對測評分?jǐn)?shù)的解釋一、基于常模的解釋（二）常模的類型1.百分位常模（1）百分等級。（2）四分位數(shù)和十分位數(shù)。2.標(biāo)準(zhǔn)分?jǐn)?shù)常模第6節(jié)對測評分?jǐn)?shù)的解釋