《人才素質(zhì)測(cè)評(píng)》課件第09章

1、2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院1第九章 人才素質(zhì)測(cè)評(píng)的質(zhì)量保障體系【學(xué)習(xí)目標(biāo)】2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院2本章將闡釋人才素質(zhì)測(cè)評(píng)的質(zhì)量保障體系，具體包括信度分析和效度分析兩方面內(nèi)容。信度是指測(cè)量結(jié)果的一致性、穩(wěn)定性及可靠性，而效度是指測(cè)評(píng)結(jié)果對(duì)于所測(cè)素質(zhì)反映的真實(shí)程度，這兩者可以幫助我們確保人才素質(zhì)測(cè)評(píng)的質(zhì)量。通過(guò)本章學(xué)習(xí)，要求理解信度和效度的概念、信度分析和效度分析的方法、影響信度和效度的因素、以及提高人才素質(zhì)測(cè)評(píng)中信度和效度的方法?！颈菊轮R(shí)結(jié)構(gòu)圖】2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院3第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析一、信度分析的概述（一）信度

2、的概念信度是指測(cè)量結(jié)果的一致性、穩(wěn)定性及可靠性。通俗地講，如果能用同一測(cè)量工具反復(fù)測(cè)量某人的同一種特質(zhì)，則其多次測(cè)量結(jié)果間的一致性程度就叫做信度，即測(cè)量的可靠性。2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院4第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析一、信度分析的概述（一）信度的概念有關(guān)信度的定義：2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院5第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析一、信度分析的概述（二）信度的意義1.信度是測(cè)量過(guò)程中所存在的隨機(jī)誤差大小的反映2.信度可以用來(lái)解釋個(gè)人測(cè)驗(yàn)分?jǐn)?shù)的意義3.信度可以幫助進(jìn)行不同測(cè)驗(yàn)分?jǐn)?shù)的比較2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院6第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分

3、析二、信度分析的方法（一）重測(cè)信度1.概念： 重測(cè)信度是指用同一個(gè)測(cè)量工具對(duì)同一組被試施測(cè)兩次所得結(jié)果的一致性程度。公式如下：2.特點(diǎn)： 用同一測(cè)量工具對(duì)同一批人測(cè)了兩次，所以它只能在允許重測(cè)的情況下進(jìn)行計(jì)算2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院7第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析二、信度分析的方法（一）重測(cè)信度3.滿足的條件： （1）所測(cè)量的特質(zhì)必須是穩(wěn)定的 （2）遺忘和練習(xí)的效果基本上是相互抵消 （3）在兩次施測(cè)的間隔期內(nèi)，被試所要測(cè)查的特質(zhì)沒(méi)有獲得更多的學(xué)習(xí)和訓(xùn)練2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院8第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析二、信度分析的方法（二）復(fù)本信度1.概念：

4、復(fù)本信度是指兩個(gè)平行的測(cè)驗(yàn)測(cè)量同一批被試所得結(jié)果的一致性程度。公式如下：2.滿足的條件： （1）構(gòu)造出兩份或兩份以上真正平行的測(cè)驗(yàn)（即A、B卷） （2）被試要有條件接受兩個(gè)測(cè)驗(yàn)，這種條件主要取決于時(shí)間、經(jīng)費(fèi)等幾個(gè)方面2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院9第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析二、信度分析的方法（三）分半信度1.概念： 分半信度是指將一個(gè)測(cè)驗(yàn)分成對(duì)等的兩半后，所有被試在這兩半上所得分?jǐn)?shù)的一致性程度。公式如下：2.滿足的條件： （1）在只能施測(cè)一次或沒(méi)有復(fù)本的情況下使用 （2）使用公式時(shí)，要求全體被試在兩半測(cè)驗(yàn)上得分的變異數(shù)要相等2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院10

5、第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析二、信度分析的方法（四）同質(zhì)性信度1.概念： 同質(zhì)性信度也稱為內(nèi)部一致性信度，是指測(cè)驗(yàn)內(nèi)部所有題目間的一致性程度。公式如下：（五）評(píng)分者信度1.概念： 評(píng)分者信度指的是多個(gè)評(píng)分者給同一批的答卷進(jìn)行評(píng)分的一致性程度。公式如下：2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院11第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析三、影響信度的因素（一）被試方面（二）主試者方面（三）施測(cè)情景方面（四）測(cè)量工具方面（五）兩次施測(cè)的間隔時(shí)間2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院12第一節(jié) 人才素質(zhì)測(cè)評(píng)的信度分析四、提高信度的方法（一）適當(dāng)增加測(cè)驗(yàn)的長(zhǎng)度（二）使測(cè)驗(yàn)中所有試題的難度接近正態(tài)

6、分布，并控制在中等水平（三）努力提高測(cè)驗(yàn)試題的區(qū)分度（四）選取恰當(dāng)?shù)谋辉噲F(tuán)體，提高測(cè)驗(yàn)在各同質(zhì)性較強(qiáng)的亞團(tuán)體的信度2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院13第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析一、效度分析的概述（一）效度的概念1.概念： 效度是指測(cè)評(píng)結(jié)果對(duì)于所測(cè)素質(zhì)反映的真實(shí)程度，也就是被測(cè)者所能達(dá)到期望目標(biāo)的程度有多高。2.需要注意的地方： （1）效度的相對(duì)性 （2）效度的程度性 （3）效度受誤差的影響 （4）效度評(píng)價(jià)要從多方面搜集證據(jù)2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院14第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析一、效度分析的概述（二）效度的類型1.內(nèi)容效度 概念： 內(nèi)容效度是指實(shí)際測(cè)評(píng)

7、的結(jié)果與我們想要測(cè)評(píng)的內(nèi)容的吻合度。 內(nèi)容效度的兩個(gè)方面： （1）測(cè)評(píng)是否涵蓋了欲測(cè)內(nèi)容的所有范圍 （2）范圍內(nèi)各個(gè)內(nèi)容掌握的程度 代表性考察的兩個(gè)要點(diǎn)： （1）全面性 （2）適度性2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院15第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析一、效度分析的概述（二）效度的類型2.結(jié)構(gòu)效度 概念： 結(jié)構(gòu)效度也叫建構(gòu)效度、構(gòu)念效度，它是指實(shí)際的測(cè)評(píng)結(jié)果與欲測(cè)素質(zhì)的同構(gòu)程度，也就是實(shí)際測(cè)評(píng)的結(jié)果在多大程度上可以替代我們所想測(cè)評(píng)的素質(zhì)。 結(jié)構(gòu)效度的特點(diǎn)： （1）結(jié)構(gòu)效度首先取決于事先假定的素質(zhì)理論 （2）當(dāng)實(shí)際測(cè)評(píng)的結(jié)果無(wú)法證實(shí)我們的理論假設(shè)時(shí)，并不一定就表明該測(cè)評(píng)的結(jié)構(gòu)效度不高。

8、2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院16第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析一、效度分析的概述（二）效度的類型3.關(guān)聯(lián)效度 概念： 關(guān)聯(lián)效度是指測(cè)評(píng)結(jié)果與效標(biāo)的一致性程度。效標(biāo)是用來(lái)衡量測(cè)評(píng)有效性的參照標(biāo)準(zhǔn)。 關(guān)聯(lián)效度的劃分： （1）同時(shí)效度 （2）預(yù)測(cè)效度2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院17第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析二、效度分析的方法（一）內(nèi)容效度分析法1.藍(lán)圖對(duì)照分析法2.專家比較判斷法 具體步驟： （1）明確欲測(cè)內(nèi)容的范圍，包括知識(shí)范圍和能力要求兩個(gè)方面 （2）明確每個(gè)題目的欲測(cè)內(nèi)容是什么 （3）制定評(píng)價(jià)量表并對(duì)整個(gè)測(cè)驗(yàn)的有效性做出總評(píng)價(jià)3.再測(cè)法2022/7/16

9、中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院18第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析二、效度分析的方法（二）結(jié)構(gòu)效度分析法1.對(duì)欲測(cè)素質(zhì)的結(jié)構(gòu)界定一個(gè)操作化定義2.根據(jù)事實(shí)資料對(duì)結(jié)構(gòu)效度進(jìn)行評(píng)判 具體方法：（1）排除法 （2）咨詢法 （3）相關(guān)法 （4）邏輯分析法 （5）多元分析法2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院19第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析二、效度分析的方法（三）關(guān)聯(lián)效度分析法1.相關(guān)法 優(yōu)點(diǎn)：（1）提供預(yù)測(cè)源與效標(biāo)間的數(shù)量關(guān)系 （2）利用回歸方程式來(lái)預(yù)測(cè)每個(gè)人的效標(biāo)分?jǐn)?shù) 缺點(diǎn)：（1）如果預(yù)測(cè)源與效標(biāo)之間不是直線關(guān)系， 便會(huì)低估測(cè)驗(yàn)的效度 （2）不能提供關(guān)于取舍正確性的指標(biāo) 2022/7/16中

10、南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院20第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析二、效度分析的方法（三）關(guān)聯(lián)效度分析法2.分組法 常用的效標(biāo)：（1）學(xué)術(shù)成果 （2）工作績(jī)效 （3）團(tuán)隊(duì)特征 （4）評(píng)定結(jié)果 （5）已被證實(shí)有效的測(cè)評(píng)結(jié)果 效度的標(biāo)準(zhǔn)：（1）高效度：效度系數(shù)應(yīng)高于0.70 （2）中等效度：效度系數(shù)在0.30-0.70之間 （3）低效度：效度系數(shù)低于0.302022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院21第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析三、影響效度的因素 （一）測(cè)評(píng)本身 1.測(cè)評(píng)質(zhì)量 2.測(cè)評(píng)長(zhǎng)度 測(cè)評(píng)長(zhǎng)度與效度的關(guān)系可以總結(jié)為如下公式： （二）測(cè)評(píng)過(guò)程 測(cè)評(píng)過(guò)程實(shí)際上也會(huì)影響到測(cè)評(píng)效度，如測(cè)驗(yàn)的環(huán)境太

11、差、在施測(cè)時(shí)不遵照指導(dǎo)語(yǔ)、被試者作弊、測(cè)驗(yàn)環(huán)境太差、評(píng)分標(biāo)準(zhǔn)不客觀，記分錯(cuò)誤等。2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院22第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析三、影響效度的因素 （三）被測(cè)評(píng)者 首先，被測(cè)評(píng)者的興趣、動(dòng)機(jī)、情緒、態(tài)度、反應(yīng)心向和身體狀況等都會(huì)影響被試的反應(yīng)，從而影響測(cè)評(píng)效度。 其次，測(cè)評(píng)效度與樣本特點(diǎn)具有很大的關(guān)系。 （四）效標(biāo)因素 首先，效標(biāo)本身是需要具有效度的； 其次，測(cè)評(píng)的時(shí)間和效標(biāo)獲得的時(shí)間之間的間隔長(zhǎng)短也在很大程度上影響效度的大小，時(shí)間間隔過(guò)長(zhǎng)會(huì)導(dǎo)致效度比較低。2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院23第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析三、影響效度的因素 （五）

12、測(cè)評(píng)信度 測(cè)評(píng)的信度是測(cè)評(píng)隨機(jī)誤差的反映，而任何誤差的增加都會(huì)降低測(cè)評(píng)的效度。 所以在考察測(cè)評(píng)效度時(shí)，一定要注意測(cè)評(píng)的信度。 信度不高的測(cè)評(píng)一定不可能具有很高的效度。2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院24第二節(jié) 人才素質(zhì)測(cè)評(píng)的效度分析四、提高效度的方法 （一）精心編制量表 （二）妥善組織測(cè)評(píng) （三）創(chuàng)造標(biāo)準(zhǔn)情境 （四）選擇正確效標(biāo)2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院25【本章小結(jié)】2022/7/16中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院26本章系統(tǒng)論述了人才素質(zhì)測(cè)評(píng)質(zhì)量保障體系的兩大基礎(chǔ)內(nèi)容，即信度分析和效度分析。其中，重點(diǎn)要求掌握信度分析和效度分析的概念、方法、影響因素和提升方法。難點(diǎn)