人員素質(zhì)評價第九章人員素質(zhì)測評質(zhì)量分析ppt課件

1、 第11講 素質(zhì)測評的質(zhì)量分析Hr-pku.本講內(nèi)容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質(zhì)量分析及其分析方法.效度效度的概念 效度是指測評結(jié)果對所測評素質(zhì)反映的真實程度。對這種真實性的考評，常見的方法有三種：從內(nèi)容性質(zhì)方面分析其內(nèi)容效度從效標(biāo)相關(guān)性方面分析其關(guān)聯(lián)效度從實證方面分析其構(gòu)造效度內(nèi)容效度 是指實踐測評到的內(nèi)容與期望測評的內(nèi)容的一致性程度。當(dāng)實踐測評到的內(nèi)容與我們事先所想測評到的內(nèi)容越一致時，那么闡明測評結(jié)果的內(nèi)容效度越高，測評結(jié)果就越有效。 內(nèi)容效度在實踐操作中的鑒定主要采用定性分析的方法, 有藍(lán)圖對照分析法與專家比較判別法。.構(gòu)造效度構(gòu)造效度又稱

2、作想象效度、構(gòu)思效度、構(gòu)念效度、構(gòu)建效度等。構(gòu)造效度是指實踐所測評的結(jié)果與想測評素質(zhì)的同構(gòu)程度。它闡明了在多大程度上，實踐測評結(jié)果可以被看作是索要測評的素質(zhì)在構(gòu)造上的替代物。在素質(zhì)測評中，它是人們最關(guān)懷的一種效度。這是由素質(zhì)測評的間接性所決議的。人們總是經(jīng)過選取一些詳細(xì)的行為測評來判別實踐的素質(zhì)程度。構(gòu)造效度與檢驗效度的人對素質(zhì)構(gòu)造的了解有直接關(guān)系。假設(shè)李某以為忠實這一素質(zhì)即對本企業(yè)的忠實，張某以為忠實這一素質(zhì)表現(xiàn)為實事求是的態(tài)度，那么對于向其他企業(yè)闡明本企業(yè)產(chǎn)品所存在的問題這一行為，顯然李某與張某會把它歸類到不同的素質(zhì)成分中給與不同的素質(zhì)成分中并給與不同的評價。因此構(gòu)造效度的檢驗分析也是一種

3、定性的客觀判別。在分析考評過程中，要采取有力措施把客觀影響控制在最低點上。.構(gòu)造效度構(gòu)造效度的分析可按一下幾步進(jìn)展：1.給所要測評的素質(zhì)的構(gòu)造方式下一個操作化的定義 “我們所要測評的素質(zhì)是對xx的態(tài)度、有關(guān)xx的質(zhì)量、有關(guān)xx的技藝。像這樣一些表述所測評素質(zhì)的詳細(xì)籠統(tǒng)是什么，構(gòu)造是什么，我們并不清楚，它依然是從詳細(xì)行為概括出某種認(rèn)識或觀念，因此對構(gòu)造效度的分析沒有多大意義。這里的構(gòu)建不是從行為向觀念構(gòu)建，而是相反，由觀念向詳細(xì)行為的構(gòu)建。不是簡單復(fù)原，而是在更高的程度上抓住所測素質(zhì)的本質(zhì)特征，確定一個可覺得可操作的構(gòu)造方式，由這種詳細(xì)的構(gòu)造方式作為籠統(tǒng)觀念建構(gòu)的替代物。這種替代物的成分顯然應(yīng)該

4、是我們世紀(jì)可以看到的、聽到的、覺得到的東西。例如：外顯行為、客觀性生理反響等。素質(zhì)測評的目的體系實踐上就是所測素質(zhì)的一個行為構(gòu)建模型，這種構(gòu)造模型分別由工程、目的、權(quán)重、標(biāo)度等組成。這種模型的建構(gòu)，在很大程度上取決于所測素質(zhì)本身的特征及其籠統(tǒng)程度等組成。.要定義或建構(gòu)一個素質(zhì)的構(gòu)造模型，可以從以下幾方面著手：首先，采取任務(wù)分析方法，對所想測評的素質(zhì)進(jìn)展構(gòu)造分析與行為分析，確定各種素質(zhì)構(gòu)造及其代表的行為。其次，用圖表的方式逐一列出任務(wù)分析得到的素質(zhì)要素及其特征行為。除此之外，還可以經(jīng)過查找歷史上或如今人們對所測評素質(zhì)的模型的現(xiàn)成資料，豐富已有分析的結(jié)果。再次，還要另外預(yù)備一份與曾經(jīng)建構(gòu)的模型能夠

5、混淆的但關(guān)系親密的其他模型圖表。要反問本人并向人闡明為什么所測素質(zhì)是他所定義的構(gòu)造模型而不是其他別的構(gòu)造模型。.2.搜集現(xiàn)實資料，評判構(gòu)造效度，詳細(xì)方法有：排除法 假設(shè)測評結(jié)果能明確的排除它所對應(yīng)素質(zhì)構(gòu)造模型的其他解釋，那就闡明所獲得的測評結(jié)果具有較好的構(gòu)造效度。咨詢法 可以請一些有閱歷的專家就他所獲得的測評結(jié)果、所對應(yīng)的素質(zhì)構(gòu)造進(jìn)展判別或推斷，問他們該測評結(jié)果實踐測評的素質(zhì)是什么。假設(shè)大家的回答與他所想測評的素質(zhì)構(gòu)造幾乎一致，那么闡明他的測評有較好的構(gòu)造效度。相關(guān)法 找一個具有較高構(gòu)造效度的測評工具或結(jié)果，與他所獲得的測評結(jié)果進(jìn)展相關(guān)性分析，假設(shè)相關(guān)性很高，闡明他的測評結(jié)果具有較高的構(gòu)造效度

6、。 例如：某一個具有“自尊構(gòu)造效度的測評量表，它的測評結(jié)果就應(yīng)該與自信、社交才干及指點作用等測評量表的測評結(jié)果成正比，而與諸如內(nèi)向性、自大、孤單等測評量表測評的結(jié)果成反比。.邏輯分析法 當(dāng)大家對所測素質(zhì)的構(gòu)造模型具有比較一致的認(rèn)識時，只需能斷定測評內(nèi)容工具選擇正確，且整個測評過程除了一切外來干擾要素，就可以說測評結(jié)果具有較好的構(gòu)造效度。 例如：測評時間足以保證被測評者完成一切的任務(wù)，被測評者沒有遭到敦促要素的影響；測評工具的指點十清楚確，被測操作準(zhǔn)確。多元分析 多元分析就是采取聚類分析與主成分分析等數(shù)學(xué)手段，對測評結(jié)果進(jìn)展分析，看分析的結(jié)果。 例如：所找出的主要要素與分類結(jié)果與所想測評素質(zhì)的構(gòu)

7、造能否一致，假設(shè)一致，那么闡明所獲得的測評記過具有較好的構(gòu)造效度。.關(guān)聯(lián)效度又稱實證效度、效標(biāo)效度、效標(biāo)關(guān)聯(lián)效度，是指測評結(jié)果與效標(biāo)的一致性程度。效標(biāo)是一種用來衡測評有效性的外在參照規(guī)范, 它可以是一種測評的結(jié)果, 也可以是規(guī)范測評分?jǐn)?shù)。根據(jù)效標(biāo)能否可以同時獲得, 可將關(guān)聯(lián)效度分為同時效度與預(yù)測效度。作為效標(biāo)的結(jié)果與預(yù)測結(jié)果同時獲得, 這種效度稱之為同時效度。當(dāng)作為效標(biāo)的結(jié)果是后來測評中獲得, 這種效度稱為預(yù)測效度。它反映了如今的測評結(jié)果對未來素質(zhì)開展的預(yù)測程度。 例如：兩個人同時采用察看評定與問卷檢驗測評同一個人的任務(wù)態(tài)度，兩個測評結(jié)果相關(guān)系數(shù)很高，例如0.80，那么以后在類似的情況下，可以

8、用問卷檢驗替代花時太多的行為察看法。.關(guān)聯(lián)效度 例如想檢測一下自編品德測評的效度，決議采用效標(biāo)關(guān)聯(lián)中的同時效度分析方法，故讓被測者同時接受自編品德檢驗與卡特爾16要素問卷檢驗。 關(guān)聯(lián)效標(biāo)的分析關(guān)鍵在于效標(biāo)的選擇。效標(biāo)作為衡量測評結(jié)果有效性的參照規(guī)范，應(yīng)該是可以測評到且獨立于所分析的測評結(jié)果的行為結(jié)果。效標(biāo)可以分為行為效標(biāo)與觀念效標(biāo)。 行為效標(biāo)的選擇以客觀性為根據(jù)。常見的行為效標(biāo)有以下幾種：學(xué)術(shù)成就特殊訓(xùn)練成果實踐任務(wù)表現(xiàn)與成果團(tuán)體特征等級評定結(jié)果先前被證明是有效的測評結(jié)果.效度分析中的幾個實際問題關(guān)于效度概念的研討 1921年美國教育研討指點協(xié)會提出,效度是“檢驗在多大程度上測到所要測的東西。

9、同時被提出的還有“預(yù)測效度和“共時效度,后來被統(tǒng)稱為“效標(biāo)效度。19世紀(jì)30年代,人們將更多的留意力放在檢驗對于詳細(xì)目的課程的代表性高低上。于是引入“課程效度,后更名為“內(nèi)容效度。1954年美國心思學(xué)會出版了，明確列舉了四種類型的效度：預(yù)測效度、同時效度、想象效度、內(nèi)容效度。美國心思學(xué)會、美國教育研討學(xué)會和國家教育丈量委員會1966年結(jié)合出版的中，將效度類型進(jìn)一步簡化為效標(biāo)關(guān)聯(lián)效度、想象效度和內(nèi)容效度三種。和又進(jìn)一步把前兩類歸結(jié)為準(zhǔn)那么關(guān)聯(lián)效度。這是一種三位一體的分類法觀念。指出,延續(xù)了30年的舊觀念(即把效度分為相互分別且并列的三類)曾經(jīng)過時,取而代之的是一元論的產(chǎn)生。.以建構(gòu)效度概念為中心

10、,提出了檢驗檢驗效度的四個層面(漸進(jìn)矩陣)。測試解釋檢驗運用證據(jù)根底構(gòu)造效度構(gòu)造效度+適切性和適用性后果根底構(gòu)造效度+隱含的價值構(gòu)造效度+適切性和適用性+社會效果關(guān)于效度概念的研討.構(gòu)造效度概念產(chǎn)生后第二年,.和.提出了5種驗證方法,即分組區(qū)分法、相關(guān)矩陣與要素分析法、內(nèi)部構(gòu)造研討、不同場所下的變化研討、過程研討。DeborahLee提到,效度指的是一個檢驗準(zhǔn)確丈量它所要測的東西的才干,包括內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和構(gòu)造效度。張厚粲、孫曉敏、王晶、葉映華、鄭全全對效度概念演進(jìn)及其新開展進(jìn)展了研討。張厚粲、孫曉敏孫曉敏、張厚粲，2004回想了心思丈量學(xué)中效度概念開展的三個階段,早期效度概念關(guān)注的是

11、兩個變量之間的相關(guān).隨后重點轉(zhuǎn)向效度的多種類型,現(xiàn)階段那么注重調(diào)查檢驗的想象效度。總之,效度確證成為一個繼續(xù)不斷的動態(tài)過程;在這個過程中,運用各種技術(shù)不斷地評價、質(zhì)疑和檢查由檢驗分?jǐn)?shù)所作推論和解釋的有效性成為心思與教育丈量研討中不可或缺的組成部分。關(guān)于效度概念的研討.關(guān)于構(gòu)造效度的研討肯貝爾和菲斯克D.W.Fiske對想象效度的考驗方法進(jìn)展了研討肯貝爾和菲斯克，1959，1960年肯貝爾指出，要確定一個檢驗的想象效度，那么該檢驗不僅應(yīng)與丈量一樣特質(zhì)或想象等實際上有關(guān)的變量有高的相關(guān)，也應(yīng)與丈量不同特質(zhì)或想象等實際上有關(guān)的變量有低的相關(guān)，前者稱為會聚效度，后者稱為區(qū)分效度。聶建中、湯曉媚聶建中、

12、湯曉媚，2006年5月對構(gòu)造效度的開展演化進(jìn)展了綜述，文章分析了構(gòu)造效度在內(nèi)容、驗證方式和要挾要素這三方面所發(fā)生的變化,指出構(gòu)造效度從概念、內(nèi)容到與其他效度的關(guān)系上都發(fā)生了微妙的變化,其概念內(nèi)涵更加明晰,涵蓋內(nèi)容更加廣泛,在整個效度概念中占據(jù)了更加重要的位置。同時,還指出了以往常用的構(gòu)造效度驗證方法的缺乏,提出要對構(gòu)造效度進(jìn)展試前和實施階段的實際驗證。.效度運用內(nèi)容效度分析適用于某些對員工進(jìn)展選拔和分類的職業(yè)檢驗，舍恩菲爾特、阿克、柏爾森Schoenfeldt，Acker&Perlson,1976清楚而詳細(xì)的闡明了編織工業(yè)閱讀檢驗是怎樣運用各種內(nèi)容效度分析法。在編制聯(lián)邦政府和州政府公務(wù)員檢驗時

13、，這種方法得到了廣泛的采用。郭慶科郭慶科，2002對各種效度的運用進(jìn)展了分析，他指出效標(biāo)關(guān)聯(lián)資料可以運用于對個人分?jǐn)?shù)的預(yù)測包括簡單回歸法、多種檢驗信息的綜合、人員的分類與安頓人員分類的性質(zhì)、人員分類的優(yōu)點、差別效度。 .信度信度的概念 信度是指測評結(jié)果所反映素質(zhì)的準(zhǔn)確性。對于這種準(zhǔn)確性的考評目前大致有穩(wěn)定系數(shù)、等值系數(shù)、分半系數(shù)、內(nèi)部一致系數(shù)、評分一致性系數(shù)等。 以上幾種信度都是針對常模參照檢驗而言的，規(guī)范參照檢驗中的信度計算通常運用分類一致性信度，這種信度的的常用估計方法是調(diào)查同一批被測者在兩次是冊或者復(fù)本檢驗中的分類能否一致。規(guī)范參照檢驗中的信度也可以運用K系數(shù)計算，較分類一致性信度在統(tǒng)計

14、上更合理Cohen,1968;Aiken,1988。.再測信度指以同樣的測評與選拔工具, 按照同樣的方法, 對于一樣的對象再次進(jìn)展測評與選拔, 所得先后結(jié)果的一致性程度。再測信度的計算普通采用皮爾遜積差相關(guān)系數(shù)。個體的素質(zhì)測評在測評過程中會涉及許多要素的影響，素質(zhì)本身有時也無法準(zhǔn)確定義。我們經(jīng)常把對個體測評結(jié)果的準(zhǔn)確性檢驗，置于群體測評結(jié)果的相互關(guān)系中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對象的測評結(jié)果以同樣的測評方式再次獲得后，其順序位置關(guān)系變異很小時，那么闡明測評結(jié)果比較準(zhǔn)確。例如：在技藝測評中李某的分?jǐn)?shù)是，在全體被測者中排名第一，這究竟準(zhǔn)不準(zhǔn)呢？我們再反復(fù)測評一次，結(jié)果李某的分?jǐn)?shù)是，還

15、是排名第一，而且其他被測的位置順序變化很小，我們就可以說第一次的技藝測評結(jié)果很可靠。.復(fù)本信度復(fù)本信度測評結(jié)果相對另一個非常一樣的測評結(jié)果的變異程度?！胺浅Ｒ粯悠胀ㄒ缘戎到忉尅Ｋ^等值, 是指在測評內(nèi)容、效度、要求、方式上都與原測評一樣, 其中一個測評可以看作是另一個測評的近似復(fù)寫, 即復(fù)本?！白儺惓潭绕胀ㄒ运姆戳x詞“一致性解釋。因此復(fù)本信度實踐上是一種用等值系數(shù)提示的信度。等值系數(shù)即為兩組測評結(jié)果的相關(guān)系數(shù)。.一致性信度一致性信度又稱同質(zhì)性信度，是一種常用的估計信度的方法，反映了檢驗標(biāo)題與所丈量內(nèi)容的一致性程度。一致性信度的計算公式主要有分半信度，主要采用斯皮爾曼-布朗修正公式計算；庫德-

16、理查遜公式和克倫巴赫系數(shù)。 假設(shè)被測在第一個工程上比其他人分?jǐn)?shù)高，在第二個工程上又比其他人高，在第三個工程上也比其他人高相反另一個人在第一個工程上比其他人分?jǐn)?shù)低，在第二個工程上又比其他人低，在第三個工程上也比其他人低那么毫無疑問，我們會以為測評結(jié)果比較可靠。.評分者信度評分者信度指多個測評者給同一組被測樣組進(jìn)展評分的一致性程度。測評與選拔結(jié)果的差別程度來自兩方面一是被測評者本身, 二是被測評者及其測評。信度主要是對后者的度, 測評者及其測評的無關(guān)差別越小, 測評與選拔結(jié)果就越可靠。測評者的評分是引起客觀性測評結(jié)果差別的主要緣由。客觀性測評是利用計算機(jī)評分, 不受客觀要素影響, 不存在評分誤差。

17、評分者信度主要采用肯德爾調(diào)和系數(shù)計算。.速度檢驗的信度速度檢驗是指那種由于時限很緊或標(biāo)題很多使被試不能夠全部完成的檢驗。以上引見的幾種信度都是針對常模參照檢驗而言的，速度檢驗中的信度通常采用做答速度的一致性為根據(jù)?？梢赃\用重測法和復(fù)本法，根據(jù)被試兩次回答標(biāo)題數(shù)量的變化對速度的一致性作出估計。.信度多高才算可靠 對人事測評中信度系數(shù)與測評質(zhì)量的關(guān)系，以下給出了幾種心思檢驗的信度系數(shù)：檢驗類型信度低中高成套成就檢驗066092098學(xué)術(shù)才干檢驗056090097成套傾向檢驗026088096客觀人格檢驗046085097興趣問卷042084093態(tài)度量表047079098.各種信度系數(shù)運用 信度系

18、數(shù)類型估計方法運用穩(wěn)定性系數(shù)重測法積差相關(guān)人格、速度檢驗等值性系數(shù)復(fù)本法積差相關(guān)智力、學(xué)績、速度檢驗等值穩(wěn)定性系數(shù)復(fù)本法積差相關(guān)智力、學(xué)績、人格檢驗內(nèi)部一致性系數(shù)分半法積差相關(guān)，用斯-布公式校正庫德爾-理查森公式法系數(shù)法智力、學(xué)績、選拔檢驗評分信度系數(shù)斯皮爾曼等級相關(guān)法肯德爾調(diào)和系數(shù)法作文、發(fā)明力、投射、品德判別檢驗.工程分析適宜度 在素質(zhì)測評中，工程不僅僅是試題，更多的是一些咨訊問題或察看評定點目的，它們無難易之分，適宜度指的是被測者行為符合工程測評規(guī)范的程度。當(dāng)工程為試題時，適宜度即難度；當(dāng)工程是問卷中的問題時，符合度即一切選對的被測者人數(shù)與總?cè)藬?shù)之比；當(dāng)工程為察看評定量表中的目的時，符合

19、程度即一切被測得分平均值與目的總分值值之比。區(qū)分度 又稱鑒別力，指工程得分對被試實踐才干或心思特質(zhì)程度的區(qū)分才干或鑒別力，也即工程得分的高低與被試實踐才干或心思特質(zhì)程度高低的一致性程度。工程區(qū)分度的計算方法主要有相關(guān)分析法包括積差相關(guān)法、二列相關(guān)法和點二列相關(guān)法、極端組法鑒別度指數(shù)、臨界比和要素分析法獨立性 在才干測評中，經(jīng)常需求工程之間有一定的獨立性。所謂獨立性即非相關(guān)性或低相關(guān)性。獨立性的分析普通采用工程間分?jǐn)?shù)的相關(guān)系數(shù)提示，根據(jù)實踐得分分布能否均勻，可以分別采用r系數(shù)法和列聯(lián)表檢驗法。 .工程分析選項質(zhì)量對于誘答或正答質(zhì)量的分析方法有兩種：誘惑力分析法 這種方法是采用表格方式，分別統(tǒng)計高

20、分組與低分組中的被測者對同一工程各選項的選擇次數(shù)?！鞍字窃嚋y法 這種方法是找一些對檢驗內(nèi)容一無所知或非常陌生的人作為被測者進(jìn)展測試，經(jīng)過分析這些人對每個誘答選擇的人次來分析選項的質(zhì)量。.其他目的的分析客觀性 測評的客觀性由測評方法的客觀性與測評者的客觀性兩方面構(gòu)成總體分布與程度 總體分布指測評結(jié)果在各程度層次上的分布情況，總體程度普通指對測評結(jié)果集中量的分析。區(qū)分性與差別性 測評工具的區(qū)分性是指把不同程度的被測者區(qū)分開來的程度，測評區(qū)分性普統(tǒng)統(tǒng)過測評結(jié)果差別性的分析來提示。誤差 誤差是指經(jīng)過測評結(jié)果的定性定量分析，判別測評結(jié)果能否遭到心思效應(yīng)的嚴(yán)重影響。分析的主要內(nèi)容是心思誤差、規(guī)范誤差以及單個測評結(jié)果的致信區(qū)間。.其