人員素質(zhì)測(cè)評(píng)質(zhì)量分析課件

1、 第11章 素質(zhì)測(cè)評(píng)的質(zhì)量分析人員素質(zhì)測(cè)評(píng)質(zhì)量分析本講內(nèi)容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質(zhì)量分析及其分析方法人員素質(zhì)測(cè)評(píng)質(zhì)量分析第一節(jié) 效度效度的概念 效度是指測(cè)評(píng)結(jié)果對(duì)所測(cè)評(píng)素質(zhì)反映的真實(shí)程度。對(duì)這種真實(shí)性的考評(píng)，常見的方法有三種：從內(nèi)容性質(zhì)方面分析其內(nèi)容效度從效標(biāo)相關(guān)性方面分析其關(guān)聯(lián)效度從實(shí)證方面分析其結(jié)構(gòu)效度人員素質(zhì)測(cè)評(píng)質(zhì)量分析一、內(nèi)容效度定義 是指實(shí)際測(cè)評(píng)到的內(nèi)容與期望測(cè)評(píng)的內(nèi)容的一致性程度。當(dāng)實(shí)際測(cè)評(píng)到的內(nèi)容與我們事先所想測(cè)評(píng)到的內(nèi)容越一致時(shí)，則說明測(cè)評(píng)結(jié)果的內(nèi)容效度越高，測(cè)評(píng)結(jié)果就越有效。分析方法 內(nèi)容效度在實(shí)際操作中的鑒定主要采用定性分析

2、的方法, 有藍(lán)圖對(duì)照分析法與專家比較判斷法。持肯定判斷的人數(shù)判斷總?cè)藬?shù)人員素質(zhì)測(cè)評(píng)質(zhì)量分析二、結(jié)構(gòu)效度結(jié)構(gòu)效度又稱作構(gòu)想效度、構(gòu)思效度、構(gòu)念效度、構(gòu)建效度等。結(jié)構(gòu)效度是指實(shí)際所測(cè)評(píng)的結(jié)果與想測(cè)評(píng)素質(zhì)的同構(gòu)程度。它表明了在多大程度上，實(shí)際測(cè)評(píng)結(jié)果能夠被看作是所要測(cè)評(píng)的素質(zhì)在結(jié)構(gòu)上的替代物。在素質(zhì)測(cè)評(píng)中，它是人們最關(guān)心的一種效度。這是由素質(zhì)測(cè)評(píng)的間接性所決定的。人們總是通過選取一些具體的行為測(cè)評(píng)來判斷實(shí)際的素質(zhì)水平。人員素質(zhì)測(cè)評(píng)質(zhì)量分析二、結(jié)構(gòu)效度結(jié)構(gòu)效度與檢驗(yàn)效度的人對(duì)素質(zhì)結(jié)構(gòu)的理解有直接關(guān)系。如果李某認(rèn)為忠誠這一素質(zhì)即對(duì)本企業(yè)的忠誠，張某認(rèn)為忠誠這一素質(zhì)表現(xiàn)為實(shí)事求是的態(tài)度，那么對(duì)于向其他企業(yè)

3、說明本企業(yè)產(chǎn)品所存在的問題這一行為，顯然李某與張某會(huì)把它歸類到不同的素質(zhì)成分中給與不同的素質(zhì)成分中并給與不同的評(píng)價(jià)。因此結(jié)構(gòu)效度的檢驗(yàn)分析也是一種定性的主觀判斷。在分析考評(píng)過程中，要采取有力措施把主觀影響控制在最低點(diǎn)上。人員素質(zhì)測(cè)評(píng)質(zhì)量分析二、結(jié)構(gòu)效度結(jié)構(gòu)效度的分析可按一下幾步進(jìn)行：1.給所要測(cè)評(píng)的素質(zhì)的結(jié)構(gòu)模式下一個(gè)操作化的定義 “我們所要測(cè)評(píng)的素質(zhì)是對(duì)xx的態(tài)度、有關(guān)xx的品質(zhì)、有關(guān)xx的技能?！毕襁@樣一些表述所測(cè)評(píng)素質(zhì)的具體形象是什么，結(jié)構(gòu)是什么，我們并不清楚，它仍然是從具體行為概括出某種意識(shí)或觀念，因此對(duì)結(jié)構(gòu)效度的分析沒有多大意義。這里的構(gòu)建不是從行為向觀念構(gòu)建，而是相反，由觀念向具體

4、行為的構(gòu)建。不是簡(jiǎn)單還原，而是在更高的水平上抓住所測(cè)素質(zhì)的本質(zhì)特征，確定一個(gè)可感覺可操作的結(jié)構(gòu)模式，由這種具體的結(jié)構(gòu)模式作為抽象觀念建構(gòu)的替代物。這種替代物的成分顯然應(yīng)該是我們世紀(jì)能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應(yīng)等。素質(zhì)測(cè)評(píng)的目標(biāo)體系實(shí)際上就是所測(cè)素質(zhì)的一個(gè)行為構(gòu)建模型，這種結(jié)構(gòu)模型分別由項(xiàng)目、指標(biāo)、權(quán)重、標(biāo)度等組成。這種模型的建構(gòu)，在很大程度上取決于所測(cè)素質(zhì)本身的特征及其抽象程度等組成。人員素質(zhì)測(cè)評(píng)質(zhì)量分析要定義或建構(gòu)一個(gè)素質(zhì)的結(jié)構(gòu)模型，可以從以下幾方面著手：首先，采取工作分析方法，對(duì)所想測(cè)評(píng)的素質(zhì)進(jìn)行結(jié)構(gòu)分析與行為分析，確定各種素質(zhì)結(jié)構(gòu)及其代表的行為。其次，

5、用圖表的形式逐一列出工作分析得到的素質(zhì)因素及其特征行為。除此之外，還可以通過查找歷史上或現(xiàn)在人們對(duì)所測(cè)評(píng)素質(zhì)的模型的現(xiàn)成資料，豐富已有分析的結(jié)果。再次，還要另外準(zhǔn)備一份與已經(jīng)建構(gòu)的模型可能混淆的但關(guān)系密切的其他模型圖表。要反問自己并向人說明為什么所測(cè)素質(zhì)是你所定義的結(jié)構(gòu)模型而不是其他別的結(jié)構(gòu)模型。人員素質(zhì)測(cè)評(píng)質(zhì)量分析2.收集事實(shí)資料，評(píng)判結(jié)構(gòu)效度，具體方法有：排除法 如果測(cè)評(píng)結(jié)果能明確的排除它所對(duì)應(yīng)素質(zhì)結(jié)構(gòu)模型的其他解釋，那就表明所獲得的測(cè)評(píng)結(jié)果具有較好的結(jié)構(gòu)效度。咨詢法 可以請(qǐng)一些有經(jīng)驗(yàn)的專家就你所獲得的測(cè)評(píng)結(jié)果、所對(duì)應(yīng)的素質(zhì)結(jié)構(gòu)進(jìn)行判斷或推斷，問他們?cè)摐y(cè)評(píng)結(jié)果實(shí)際測(cè)評(píng)的素質(zhì)是什么。如果大家

6、的回答與你所想測(cè)評(píng)的素質(zhì)結(jié)構(gòu)幾乎一致，那么說明你的測(cè)評(píng)有較好的結(jié)構(gòu)效度。相關(guān)法 找一個(gè)具有較高結(jié)構(gòu)效度的測(cè)評(píng)工具或結(jié)果，與你所獲得的測(cè)評(píng)結(jié)果進(jìn)行相關(guān)性分析，如果相關(guān)性很高，說明你的測(cè)評(píng)結(jié)果具有較高的結(jié)構(gòu)效度。 例如：某一個(gè)具有“自尊”結(jié)構(gòu)效度的測(cè)評(píng)量表，它的測(cè)評(píng)結(jié)果就應(yīng)該與自信、社交能力及領(lǐng)導(dǎo)作用等測(cè)評(píng)量表的測(cè)評(píng)結(jié)果成正比，而與諸如內(nèi)向性、自卑、孤獨(dú)等測(cè)評(píng)量表測(cè)評(píng)的結(jié)果成反比。人員素質(zhì)測(cè)評(píng)質(zhì)量分析邏輯分析法 當(dāng)大家對(duì)所測(cè)素質(zhì)的結(jié)構(gòu)模型具有比較一致的認(rèn)識(shí)時(shí)，只要能判定測(cè)評(píng)內(nèi)容（工具）選擇正確，且整個(gè)測(cè)評(píng)過程除了一切外來干擾因素，就可以說測(cè)評(píng)結(jié)果具有較好的結(jié)構(gòu)效度。 例如：測(cè)評(píng)時(shí)間足以保證被測(cè)評(píng)者

7、完成所有的工作，被測(cè)評(píng)者沒有受到催促因素的影響；測(cè)評(píng)工具的指導(dǎo)十分明確，被測(cè)操作準(zhǔn)確。多元分析 多元分析就是采取聚類分析與主成分分析等數(shù)學(xué)手段，對(duì)測(cè)評(píng)結(jié)果進(jìn)行分析，看分析的結(jié)果。 例如：所找出的主要因素與分類結(jié)果與所想測(cè)評(píng)素質(zhì)的結(jié)構(gòu)是否一致，如果一致，則說明所獲得的測(cè)評(píng)記過具有較好的結(jié)構(gòu)效度。人員素質(zhì)測(cè)評(píng)質(zhì)量分析三、關(guān)聯(lián)效度又稱實(shí)證效度、效標(biāo)效度、效標(biāo)關(guān)聯(lián)效度，是指測(cè)評(píng)結(jié)果與效標(biāo)的一致性程度。效標(biāo)是一種用來衡測(cè)評(píng)有效性的外在參照標(biāo)準(zhǔn), 它可以是一種測(cè)評(píng)的結(jié)果, 也可以是標(biāo)準(zhǔn)測(cè)評(píng)分?jǐn)?shù)。根據(jù)效標(biāo)是否可以同時(shí)獲得, 可將關(guān)聯(lián)效度分為同時(shí)效度與預(yù)測(cè)效度。作為效標(biāo)的結(jié)果與預(yù)測(cè)結(jié)果同時(shí)獲得, 這種效度稱之

8、為同時(shí)效度。當(dāng)作為效標(biāo)的結(jié)果是后來測(cè)評(píng)中獲得, 這種效度稱為預(yù)測(cè)效度。它反映了現(xiàn)在的測(cè)評(píng)結(jié)果對(duì)未來素質(zhì)發(fā)展的預(yù)測(cè)程度。 例如：兩個(gè)人同時(shí)采用觀察評(píng)定與問卷測(cè)驗(yàn)測(cè)評(píng)同一個(gè)人的工作態(tài)度，兩個(gè)測(cè)評(píng)結(jié)果相關(guān)系數(shù)很高，例如0.80，那么以后在類似的情況下，可以用問卷測(cè)驗(yàn)代替花時(shí)太多的行為觀察法。人員素質(zhì)測(cè)評(píng)質(zhì)量分析關(guān)聯(lián)效度 例如想檢測(cè)一下自編品德測(cè)評(píng)的效度，決定采用效標(biāo)關(guān)聯(lián)中的同時(shí)效度分析方法，故讓被測(cè)者同時(shí)接受自編品德測(cè)驗(yàn)與卡特爾16因素問卷測(cè)驗(yàn)。 關(guān)聯(lián)效標(biāo)的分析關(guān)鍵在于效標(biāo)的選擇。效標(biāo)作為衡量測(cè)評(píng)結(jié)果有效性的參照標(biāo)準(zhǔn)，應(yīng)該是可以測(cè)評(píng)到且獨(dú)立于所分析的測(cè)評(píng)結(jié)果的行為結(jié)果。效標(biāo)可以分為行為效標(biāo)與觀念效標(biāo)

9、。 行為效標(biāo)的選擇以客觀性為依據(jù)。常見的行為效標(biāo)有以下幾種：學(xué)術(shù)成就特殊訓(xùn)練成績實(shí)際工作表現(xiàn)與成績團(tuán)體特征等級(jí)評(píng)定結(jié)果先前被證明是有效的測(cè)評(píng)結(jié)果人員素質(zhì)測(cè)評(píng)質(zhì)量分析效度分析中的幾個(gè)理論問題關(guān)于效度概念的研究 1921年美國教育研究指導(dǎo)協(xié)會(huì)提出,效度是“測(cè)驗(yàn)在多大程度上測(cè)到所要測(cè)的東西”。同時(shí)被提出的還有“預(yù)測(cè)效度”和“共時(shí)效度”,后來被統(tǒng)稱為“效標(biāo)效度”。19世紀(jì)30年代,人們將更多的注意力放在測(cè)驗(yàn)對(duì)于具體目標(biāo)課程的代表性高低上。于是引入“課程效度”,后更名為“內(nèi)容效度”。1954年美國心理學(xué)會(huì)出版了關(guān)于心里測(cè)驗(yàn)和診斷的技術(shù)建議書，明確列舉了四種類型的效度：預(yù)測(cè)效度、同時(shí)效度、構(gòu)想效度、內(nèi)容效

10、度。美國心理學(xué)會(huì)、美國教育研究學(xué)會(huì)和國家教育測(cè)量委員會(huì)1966年聯(lián)合出版的教育與心理測(cè)驗(yàn)的標(biāo)準(zhǔn)和指南中，將效度類型進(jìn)一步簡(jiǎn)化為效標(biāo)關(guān)聯(lián)效度、構(gòu)想效度和內(nèi)容效度三種。和又進(jìn)一步把前兩類歸結(jié)為準(zhǔn)則關(guān)聯(lián)效度。這是一種三位一體的分類法觀點(diǎn)。指出,延續(xù)了30年的舊觀念(即把效度分為相互分離且并列的三類)已經(jīng)過時(shí),取而代之的是一元論的產(chǎn)生。人員素質(zhì)測(cè)評(píng)質(zhì)量分析以建構(gòu)效度概念為中心,提出了檢驗(yàn)測(cè)驗(yàn)效度的四個(gè)層面(漸進(jìn)矩陣)。測(cè)試解釋測(cè)驗(yàn)使用證據(jù)基礎(chǔ)結(jié)構(gòu)效度結(jié)構(gòu)效度+適切性和實(shí)用性后果基礎(chǔ)結(jié)構(gòu)效度+隱含的價(jià)值結(jié)構(gòu)效度+適切性和實(shí)用性+社會(huì)效果關(guān)于效度概念的研究人員素質(zhì)測(cè)評(píng)質(zhì)量分析結(jié)構(gòu)效度概念產(chǎn)生后第二年,.和

11、.提出了5種驗(yàn)證方法,即分組區(qū)分法、相關(guān)矩陣與因素分析法、內(nèi)部結(jié)構(gòu)研究、不同場(chǎng)合下的變化研究、過程研究。DeborahLee提到,效度指的是一個(gè)測(cè)驗(yàn)準(zhǔn)確測(cè)量它所要測(cè)的東西的能力,包括內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度。張厚粲、孫曉敏、王晶、葉映華、鄭全全對(duì)效度概念演進(jìn)及其新發(fā)展進(jìn)行了研究。張厚粲、孫曉敏（孫曉敏、張厚粲，2004）回顧了心理測(cè)量學(xué)中效度概念發(fā)展的三個(gè)階段,早期效度概念關(guān)注的是兩個(gè)變量之間的相關(guān).隨后重點(diǎn)轉(zhuǎn)向效度的多種類型,現(xiàn)階段則注重考察測(cè)驗(yàn)的構(gòu)想效度?？傊?效度確證成為一個(gè)持續(xù)不斷的動(dòng)態(tài)過程;在這個(gè)過程中,運(yùn)用各種技術(shù)不斷地評(píng)價(jià)、質(zhì)疑和檢查由測(cè)驗(yàn)分?jǐn)?shù)所作推論和解釋的有效性成為心

12、理與教育測(cè)量研究中不可或缺的組成部分。關(guān)于效度概念的研究人員素質(zhì)測(cè)評(píng)質(zhì)量分析關(guān)于結(jié)構(gòu)效度的研究肯貝爾和菲斯克（D.W.Fiske）對(duì)構(gòu)想效度的考驗(yàn)辦法進(jìn)行了研究（肯貝爾和菲斯克，1959），1960年肯貝爾指出，要確定一個(gè)測(cè)驗(yàn)的構(gòu)想效度，則該測(cè)驗(yàn)不僅應(yīng)與測(cè)量相同特質(zhì)或構(gòu)想等理論上有關(guān)的變量有高的相關(guān)，也應(yīng)與測(cè)量不同特質(zhì)或構(gòu)想等理論上有關(guān)的變量有低的相關(guān)，前者稱為會(huì)聚效度，后者稱為區(qū)分效度。聶建中、湯曉媚（聶建中、湯曉媚，2006年5月）對(duì)結(jié)構(gòu)效度的發(fā)展演變進(jìn)行了綜述，文章分析了結(jié)構(gòu)效度在內(nèi)容、驗(yàn)證方式和威脅因素這三方面所發(fā)生的變化,指出結(jié)構(gòu)效度從概念、內(nèi)容到與其他效度的關(guān)系上都發(fā)生了微妙的變化

13、,其概念內(nèi)涵更加清晰,涵蓋內(nèi)容更加廣泛,在整個(gè)效度概念中占據(jù)了更加重要的位置。同時(shí),還指出了以往常用的結(jié)構(gòu)效度驗(yàn)證方法的不足,提出要對(duì)結(jié)構(gòu)效度進(jìn)行試前和實(shí)施階段的理論驗(yàn)證。人員素質(zhì)測(cè)評(píng)質(zhì)量分析效度應(yīng)用內(nèi)容效度分析適用于某些對(duì)員工進(jìn)行選拔和分類的職業(yè)測(cè)驗(yàn)，舍恩菲爾特、阿克、柏爾森（Schoenfeldt，Acker&Perlson,1976）清楚而詳細(xì)的說明了編織工業(yè)閱讀測(cè)驗(yàn)是怎樣應(yīng)用各種內(nèi)容效度分析法。在編制聯(lián)邦政府和州政府公務(wù)員測(cè)驗(yàn)時(shí)，這種方法得到了廣泛的采用。郭慶科（郭慶科，2002）對(duì)各種效度的應(yīng)用進(jìn)行了分析，他指出效標(biāo)關(guān)聯(lián)資料可以應(yīng)用于對(duì)個(gè)人分?jǐn)?shù)的預(yù)測(cè)（包括簡(jiǎn)單回歸法、多種測(cè)驗(yàn)信息的綜

14、合）、人員的分類與安置（人員分類的性質(zhì)、人員分類的優(yōu)點(diǎn)、差異效度）。 人員素質(zhì)測(cè)評(píng)質(zhì)量分析小結(jié)： 效度研究兩個(gè)問題：一個(gè)是測(cè)量什么東西，即測(cè)驗(yàn)所要測(cè)量的變量性質(zhì)是什么？第二個(gè)是測(cè)驗(yàn)對(duì)它所測(cè)量的東西達(dá)到什么程度，并在幫助取舍決定上效果如何？ 結(jié)構(gòu)效度回答第一個(gè)問題； 準(zhǔn)則關(guān)聯(lián)效度可用來了解測(cè)驗(yàn)分?jǐn)?shù)能否有效地預(yù)測(cè)或估計(jì)某種行為表現(xiàn)； 內(nèi)容效度研究的變量的內(nèi)容范圍，幫助解決測(cè)驗(yàn)分?jǐn)?shù)能否代表某種學(xué)習(xí)結(jié)果的成果。 任何一個(gè)測(cè)驗(yàn)都需要各式各樣的效度證據(jù)，根據(jù)測(cè)驗(yàn)?zāi)康?，不同的測(cè)驗(yàn)偏重不同的測(cè)驗(yàn)效度。 效度的驗(yàn)證通常是測(cè)驗(yàn)編制好后進(jìn)行的工作，但效度的基本指導(dǎo)思想在測(cè)驗(yàn)編制中始終起主導(dǎo)作用。人員素質(zhì)測(cè)評(píng)質(zhì)量分析

15、第二節(jié) 信度信度的概念 信度是指測(cè)評(píng)結(jié)果所反映素質(zhì)的一致性性。一個(gè)人的高度在同一天測(cè)量了兩次,一次是162厘米,一次是159厘米. 一個(gè)學(xué)生，參加研究生入學(xué)考試春季考了300分,秋季考了390分.一個(gè)人參加兩個(gè)不同形式的智力測(cè)驗(yàn),一個(gè)測(cè)驗(yàn)獲得智商是100,另一個(gè)測(cè)驗(yàn)上的智商是114.人員素質(zhì)測(cè)評(píng)質(zhì)量分析BDBBDD AA A CC C信度(Reliability):測(cè)驗(yàn)是否精確(Precision)效度(Validity) :測(cè)驗(yàn)是否正確(Accuracy)信度和效度的意義A：精準(zhǔn)又正確(Reliable & Valid ) C： 精準(zhǔn)但不正確(Reliable but Invalid ) D

16、：不精準(zhǔn)也不正確(Unreliable & Invalid ) B：不精準(zhǔn)但正確(Unreliable but Valid )人員素質(zhì)測(cè)評(píng)質(zhì)量分析信度在實(shí)踐中的重要性如果你打算招聘一個(gè)銷售代表,第一次職業(yè)能力測(cè)試某個(gè)人得分很高,有銷售天才;第二次得分很低,不適合銷售工作,那么你將如何進(jìn)行這次招聘決策?人員素質(zhì)測(cè)評(píng)質(zhì)量分析第二節(jié) 信度信度的測(cè)量 目前大致有穩(wěn)定系數(shù)、等值系數(shù)、分半系數(shù)、內(nèi)部一致系數(shù)、評(píng)分一致性系數(shù)等。 以上幾種信度都是針對(duì)常模參照測(cè)驗(yàn)而言的，標(biāo)準(zhǔn)參照測(cè)驗(yàn)中的信度計(jì)算通常使用分類一致性信度，這種信度的的常用估計(jì)方法是考察同一批被測(cè)者在兩次是冊(cè)或者復(fù)本測(cè)驗(yàn)中的分類是否一致。標(biāo)準(zhǔn)參照測(cè)

17、驗(yàn)中的信度也可以使用K系數(shù)計(jì)算，較分類一致性信度在統(tǒng)計(jì)上更合理（Cohen,1968;Aiken,1988）。人員素質(zhì)測(cè)評(píng)質(zhì)量分析一、再測(cè)信度指以同樣的測(cè)評(píng)與選拔工具, 按照同樣的方法, 對(duì)于相同的對(duì)象再次進(jìn)行測(cè)評(píng)與選拔, 所得先后結(jié)果的一致性程度。再測(cè)信度的計(jì)算一般采用皮爾遜積差相關(guān)系數(shù)。個(gè)體的素質(zhì)測(cè)評(píng)在測(cè)評(píng)過程中會(huì)涉及許多因素的影響，素質(zhì)本身有時(shí)也無法精確定義。我們常常把對(duì)個(gè)體測(cè)評(píng)結(jié)果的準(zhǔn)確性檢驗(yàn)，置于群體測(cè)評(píng)結(jié)果的相互關(guān)系中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對(duì)象的測(cè)評(píng)結(jié)果以同樣的測(cè)評(píng)方式再次獲得后，其順序位置關(guān)系變異很小時(shí)，則說明測(cè)評(píng)結(jié)果比較準(zhǔn)確。例如：在技能測(cè)評(píng)中李某的分?jǐn)?shù)是，在

18、全體被測(cè)者中排名第一，這到底準(zhǔn)不準(zhǔn)呢？我們?cè)僦貜?fù)測(cè)評(píng)一次，結(jié)果李某的分?jǐn)?shù)是，還是排名第一，而且其他被測(cè)的位置順序變化很小，我們就可以說第一次的技能測(cè)評(píng)結(jié)果很可靠。人員素質(zhì)測(cè)評(píng)質(zhì)量分析計(jì)算公式(圖片1）X1,X2分別代表首測(cè)和再測(cè)分?jǐn)?shù),n代表樣本數(shù)人員素質(zhì)測(cè)評(píng)質(zhì)量分析重測(cè)信度的實(shí)際運(yùn)用如你想設(shè)計(jì)一套題目,能夠精確地測(cè)量員工的長期工作表現(xiàn),那么這套題目就應(yīng)該有較高的重測(cè)信度.人員素質(zhì)測(cè)評(píng)質(zhì)量分析二、復(fù)本信度（parallel-form coefficient) 兩套測(cè)驗(yàn)包含相似的題目，但是又完全不同。這兩套測(cè)驗(yàn)得分的相關(guān)，就是復(fù)本信度，也稱等值系數(shù)。 適用于同一測(cè)驗(yàn)不能用來實(shí)施兩次，以及有關(guān)學(xué)業(yè)能

19、力、智力、特殊能力。X1,X2分別代表兩套測(cè)驗(yàn)分?jǐn)?shù),n代表樣本數(shù)（圖片2）人員素質(zhì)測(cè)評(píng)質(zhì)量分析三、內(nèi)部一致性系數(shù)（internal consistency coefficients)被試者在同一測(cè)驗(yàn)的不同題目上表現(xiàn)出的一致性.如果被測(cè)在第一個(gè)項(xiàng)目上比其他人分?jǐn)?shù)高，在第二個(gè)項(xiàng)目上又比其他人高，在第三個(gè)項(xiàng)目上也比其他人高相反另一個(gè)人在第一個(gè)項(xiàng)目上比其他人分?jǐn)?shù)低，在第二個(gè)項(xiàng)目上又比其他人低，在第三個(gè)項(xiàng)目上也比其人那么毫無疑問，我們會(huì)認(rèn)為測(cè)評(píng)結(jié)果比較可靠。 適用于既無復(fù)本，也無法重復(fù)測(cè)量時(shí)；內(nèi)部一致性不能反映施測(cè)條件和施測(cè)時(shí)間不同所產(chǎn)生的誤差。 人員素質(zhì)測(cè)評(píng)質(zhì)量分析內(nèi)部一致性法分類分半法（split-

20、half method)克倫巴赫系數(shù)庫德-理查遜公式（Kuder-Richardson formulas）人員素質(zhì)測(cè)評(píng)質(zhì)量分析分半信度（split-half reliability) 用奇偶分半，難度排序奇偶分半，隨機(jī)安置，內(nèi)容匹配等方法把一份測(cè)驗(yàn)分成兩個(gè)盡可能平行的半分測(cè)驗(yàn)，然后計(jì)算兩半之間的相關(guān)，即得到分半信度系數(shù) 分半信度常低估信度，需要修正，斯皮爾曼-布朗公式來估計(jì)。 人員素質(zhì)測(cè)評(píng)質(zhì)量分析分半信度（split-half reliability）估計(jì)方法：1、對(duì)被試施測(cè)一個(gè)測(cè)驗(yàn)；2、人為地將測(cè)驗(yàn)分為兩半，分別計(jì)分；3、將兩部分的分?jǐn)?shù)進(jìn)行比較：（1）計(jì)算兩個(gè)部分之間的相關(guān)系數(shù)（2）利用Sp

21、earman-Brown formula來修正。修正后的分半信度修正前的分半信度假設(shè)在一個(gè)測(cè)驗(yàn)中,全部奇數(shù)項(xiàng)題目得分與全部偶數(shù)項(xiàng)題目得分的相關(guān)為0.80.那么這個(gè)測(cè)驗(yàn)的信度為多少?人員素質(zhì)測(cè)評(píng)質(zhì)量分析分半信度中 的計(jì)算奇數(shù)項(xiàng)目得分偶數(shù)項(xiàng)目得分n是樣本數(shù)人員素質(zhì)測(cè)評(píng)質(zhì)量分析庫德-理查遜法由于分半法的平分方法不同，得到的信度系數(shù)也不同，無法說明哪種分法更好，解決方法是：將所有分半法得到的信度系數(shù)加以平均，用這個(gè)平均值作為對(duì)整個(gè)測(cè)驗(yàn)信度的估計(jì)值。測(cè)驗(yàn)題目數(shù)測(cè)驗(yàn)的平均得分測(cè)驗(yàn)得分的方差假設(shè)一個(gè)測(cè)驗(yàn)包括75個(gè)題目,測(cè)驗(yàn)平均得分為50,方差為100,那么測(cè)驗(yàn)的信度是多少?人員素質(zhì)測(cè)評(píng)質(zhì)量分析克拉巴赫系數(shù)利

22、用每道題的方差或協(xié)方差計(jì)算信度，主要適用于測(cè)驗(yàn)項(xiàng)目為0，1記分的一種內(nèi)在一致性系數(shù)公式:題目數(shù)量在項(xiàng)目i上得分的方差測(cè)驗(yàn)總分的方差人員素質(zhì)測(cè)評(píng)質(zhì)量分析四、評(píng)分者信度評(píng)分者信度指多個(gè)測(cè)評(píng)者給同一組被測(cè)樣組進(jìn)行評(píng)分的一致性程度。測(cè)評(píng)與選拔結(jié)果的差異程度來自兩方面一是被測(cè)評(píng)者自身, 二是被測(cè)評(píng)者及其測(cè)評(píng)。信度主要是對(duì)后者的度, 測(cè)評(píng)者及其測(cè)評(píng)的無關(guān)差異越小, 測(cè)評(píng)與選拔結(jié)果就越可靠。測(cè)評(píng)者的評(píng)分是引起主觀性測(cè)評(píng)結(jié)果差異的主要原因?？陀^性測(cè)評(píng)是利用計(jì)算機(jī)評(píng)分, 不受主觀因素影響, 不存在評(píng)分誤差。評(píng)分者信度主要采用肯德爾和諧系數(shù)計(jì)算。人員素質(zhì)測(cè)評(píng)質(zhì)量分析 方法： 評(píng)分者為兩人：根據(jù)連續(xù)變量還是等級(jí)變量

23、，計(jì)算兩次評(píng)分的積差相關(guān)或等級(jí)相關(guān) 評(píng)分者多于三人：可計(jì)算肯德爾和諧系數(shù)評(píng)分者數(shù)受測(cè)者數(shù)每個(gè)受測(cè)者得分的總和人員素質(zhì)測(cè)評(píng)質(zhì)量分析速度測(cè)驗(yàn)的信度速度測(cè)驗(yàn)是指那種由于時(shí)限很緊或題目很多使被試不可能全部完成的測(cè)驗(yàn)。以上介紹的幾種信度都是針對(duì)常模參照測(cè)驗(yàn)而言的，速度測(cè)驗(yàn)中的信度通常采用做答速度的一致性為依據(jù)?？梢允褂弥販y(cè)法和復(fù)本法，根據(jù)被試兩次回答題目數(shù)量的變化對(duì)速度的一致性作出估計(jì)。人員素質(zhì)測(cè)評(píng)質(zhì)量分析信度多高才算可靠 對(duì)人事測(cè)評(píng)中信度系數(shù)與測(cè)評(píng)質(zhì)量的關(guān)系，以下給出了幾種心理測(cè)驗(yàn)的信度系數(shù)：測(cè)驗(yàn)類型信度低中高成套成就測(cè)驗(yàn)066092098學(xué)術(shù)能力測(cè)驗(yàn)056090097成套傾向測(cè)驗(yàn)026088096客

24、觀人格測(cè)驗(yàn)046085097興趣問卷042084093態(tài)度量表047079098人員素質(zhì)測(cè)評(píng)質(zhì)量分析各種信度系數(shù)應(yīng)用 信度系數(shù)類型估計(jì)方法應(yīng)用穩(wěn)定性系數(shù)重測(cè)法（積差相關(guān)）人格、速度測(cè)驗(yàn)等值性系數(shù)復(fù)本法（積差相關(guān)）智力、學(xué)績、速度測(cè)驗(yàn)等值穩(wěn)定性系數(shù)復(fù)本法（積差相關(guān)）智力、學(xué)績、人格測(cè)驗(yàn)內(nèi)部一致性系數(shù)分半法（積差相關(guān)，用斯-布公式校正）庫德爾-理查森公式法系數(shù)法智力、學(xué)績、選拔測(cè)驗(yàn)評(píng)分信度系數(shù)斯皮爾曼等級(jí)相關(guān)法肯德爾和諧系數(shù)法作文、創(chuàng)造力、投射、道德判斷測(cè)驗(yàn)人員素質(zhì)測(cè)評(píng)質(zhì)量分析項(xiàng)目分析適合度 在素質(zhì)測(cè)評(píng)中，項(xiàng)目不僅僅是試題，更多的是一些咨詢問題或觀察評(píng)定點(diǎn)（指標(biāo)），它們無難易之分，適合度指的是被測(cè)

25、者行為符合項(xiàng)目測(cè)評(píng)標(biāo)準(zhǔn)的程度。當(dāng)項(xiàng)目為試題時(shí)，適合度即難度；當(dāng)項(xiàng)目是問卷中的問題時(shí)，符合度即所有選對(duì)的被測(cè)者人數(shù)與總?cè)藬?shù)之比；當(dāng)項(xiàng)目為觀察評(píng)定量表中的指標(biāo)時(shí)，符合程度即所有被測(cè)得分平均值與指標(biāo)滿分值之比。區(qū)分度 又稱鑒別力，指項(xiàng)目得分對(duì)被試實(shí)際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項(xiàng)目得分的高低與被試實(shí)際能力或心理特質(zhì)水平高低的一致性程度。項(xiàng)目區(qū)分度的計(jì)算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點(diǎn)二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法獨(dú)立性 在能力測(cè)評(píng)中，常常需要項(xiàng)目之間有一定的獨(dú)立性。所謂獨(dú)立性即非相關(guān)性或低相關(guān)性。獨(dú)立性的分析一般采用項(xiàng)目間分?jǐn)?shù)的相關(guān)系數(shù)揭示

26、，根據(jù)實(shí)際得分分布是否均勻，可以分別采用r系數(shù)法和列聯(lián)表檢驗(yàn)法。 人員素質(zhì)測(cè)評(píng)質(zhì)量分析1、題目合適度即難度，指題目的難易程度（1）題目難度的計(jì)算總分前27%的受測(cè)者中答對(duì)該題目的人數(shù)總分在最后27%的受測(cè)者中答對(duì)該題目的人數(shù)總分前27%的受測(cè)者數(shù)總分后27%的受測(cè)者數(shù)項(xiàng)目難度（2）測(cè)驗(yàn)難度水平的確定識(shí)別或挑選最優(yōu)秀者，題目難度應(yīng)該大，P值最好較低；淘汰一些非常差的人，題目難度應(yīng)該小，P值最好較高；測(cè)量寬范圍能力，適宜的題目難度P值應(yīng)該接近0.5。P值越低，題目難度越大人員素質(zhì)測(cè)評(píng)質(zhì)量分析不同選項(xiàng)數(shù)情況下項(xiàng)目的適宜平均難度值選項(xiàng)數(shù)適宜的平均難度指標(biāo)20.8530.7740.7450.69開放式題

27、目0.5人員素質(zhì)測(cè)評(píng)質(zhì)量分析2、題目區(qū)分度（discrimination）是對(duì)題目在區(qū)分測(cè)驗(yàn)高分者和低分者方面的有效性的度量。（1）題目區(qū)分度的計(jì)算總分前27%的受測(cè)者中答對(duì)該題目的人數(shù)總分在最后27%的受測(cè)者中答對(duì)該題目的人數(shù)總分前27%的受測(cè)者數(shù)項(xiàng)目區(qū)分度（2）適當(dāng)?shù)膮^(qū)分度通常認(rèn)為區(qū)分度D=0.3或高于0.3的題目是可接受的。D值越高，題目越能有效區(qū)分高分者和低分者。人員素質(zhì)測(cè)評(píng)質(zhì)量分析3、獨(dú)立性P318人員素質(zhì)測(cè)評(píng)質(zhì)量分析項(xiàng)目分析選項(xiàng)質(zhì)量對(duì)于誘答或正答質(zhì)量的分析方法有兩種：誘惑力分析法 這種方法是采用表格形式，分別統(tǒng)計(jì)高分組與低分組中的被測(cè)者對(duì)同一項(xiàng)目各選項(xiàng)的選擇次數(shù)?！鞍字恰痹嚋y(cè)法 這種方法是找一些對(duì)測(cè)驗(yàn)內(nèi)容一無所知或十分陌生的人作為被測(cè)者進(jìn)行測(cè)試，通過分析這些人對(duì)每個(gè)誘答選擇的人次來分析選項(xiàng)的質(zhì)量。人員素質(zhì)測(cè)評(píng)質(zhì)量分析其他指標(biāo)的分析客觀