考評技術與方法

1、考評技術與方法考評技術與方法 湖南工業(yè)職業(yè)技術學院湖南工業(yè)職業(yè)技術學院 歐陽陵江歐陽陵江什么是職業(yè)技能鑒定的考評工作 ？ 考評工作就是考評員根據(jù)國家職業(yè)技能鑒考評工作就是考評員根據(jù)國家職業(yè)技能鑒定標準，用自己的定標準，用自己的“知識知識”和和“經(jīng)驗經(jīng)驗”對每位參考者的對每位參考者的“考試行為考試行為”和和“結(jié)果結(jié)果”作出判斷作出判斷 。職業(yè)技能鑒定的考評工作 對考評員的要求1、考評員具備、考評員具備相關領域相關領域的專業(yè)技術知識和經(jīng)的專業(yè)技術知識和經(jīng)驗。驗。2、考評員應該樹立正確的評判工作態(tài)度，掌、考評員應該樹立正確的評判工作態(tài)度，掌握職業(yè)技能鑒定的握職業(yè)技能鑒定的考評方法與技巧考評方法與技巧

2、。v我們要明白我們要明白任何人的判斷任何人的判斷都有局限都有局限，都，都可能出錯。正確的考評工作態(tài)度，考評規(guī)則可能出錯。正確的考評工作態(tài)度，考評規(guī)則和考評技能，才可以保證考評員充分運用自和考評技能，才可以保證考評員充分運用自己的專業(yè)技術知識和經(jīng)驗作出準確的判斷，己的專業(yè)技術知識和經(jīng)驗作出準確的判斷，保證得出高質(zhì)量、令人信服的考評結(jié)果。保證得出高質(zhì)量、令人信服的考評結(jié)果?？荚u技術與方法的主要內(nèi)容v1、考評員的職業(yè)道德、考評員的職業(yè)道德v2、鑒定命題技術、鑒定命題技術 v3現(xiàn)場評分評定偏差分析現(xiàn)場評分評定偏差分析 1、考評員的職業(yè)道德v作為一個國家職業(yè)技能鑒定考評員首先應具作為一個國家職業(yè)技能鑒定

3、考評員首先應具備良好的職業(yè)道德備良好的職業(yè)道德 愛崗敬業(yè)愛崗敬業(yè)誠實守信誠實守信辦事公道辦事公道文明禮貌文明禮貌遵紀守法遵紀守法團結(jié)互助團結(jié)互助開拓創(chuàng)新開拓創(chuàng)新. 職業(yè)道德工作態(tài)度公正、認真良好良好遵守考評規(guī)則和國家職業(yè)技能標準 考評工作1.1 公正 v公正是對考評工作的首要要求 公正，就是對所有考生一視同仁，不因考生其它無關的特質(zhì)而影響考評結(jié)果。 1.1 公正 無關特制 性別 種族 年齡 所在地區(qū) 或系統(tǒng) 是否相識 及個人關系 1.1 公正 考評員各個地區(qū)、各部門、各單位 考生兼職考評考評公正1.2 認真 v認真認真，就是要考評員全神貫注地觀察考生的操作，不被其它無關事物所干擾，不偏離考試要

4、求與鑒定標準。 一句話善始善終！一句話善始善終！1.2 認真 考生1考生2考生X很認真較認真懈怠 時間長。疲憊時間長。疲憊考生動作重復單調(diào)。疲憊考生動作重復單調(diào)。疲憊1.3 遵守考評規(guī)則和國家職業(yè)技能標準 v遵守考評規(guī)則和考評標準是對考評員的基本道德要求 。1.3 遵守考評規(guī)則和國家職業(yè)技能標準 任何考評規(guī)則和考評標準都存在缺陷 使用中不斷改進 考 評 按照自己的標準進行考評 不公 抗拒2、鑒定命題技術v2.1、職業(yè)技能鑒定命題概述v2.2、鑒定命題技術基礎v2.3 具體考評方法v2.4、 現(xiàn)場評分評定偏差原因 2.1、職業(yè)技能鑒定命題概述職業(yè)技能鑒定具有四大要素：v一是具備考評員、督導員和相

5、關的專家隊伍；v第二是具備考評的場地，設施、設備；v第三是題庫及試題；v第四是與職業(yè)技能鑒定相關的各級各類鑒定機構(gòu)和管理體系。 2.1、職業(yè)技能鑒定命題概述試題是職業(yè)技能鑒定測評體試題是職業(yè)技能鑒定測評體系最重要的環(huán)節(jié)之一，它是系最重要的環(huán)節(jié)之一，它是實施職業(yè)技能鑒定過程中的實施職業(yè)技能鑒定過程中的一種特殊的具體的、可操作一種特殊的具體的、可操作性的性的“測量工具測量工具”。2.1、職業(yè)技能鑒定命題概述如果沒有這一如果沒有這一“工具工具”，鑒定工作就無法進，鑒定工作就無法進行；行；如果如果“測量工具測量工具”不準確，或者設計不科學，不準確，或者設計不科學，那么鑒定質(zhì)量就無法保證，難以做到客觀、

6、那么鑒定質(zhì)量就無法保證，難以做到客觀、公正；公正；2.1、職業(yè)技能鑒定命題概述 我們現(xiàn)在的命題主要是靠經(jīng)驗來進行，這我們現(xiàn)在的命題主要是靠經(jīng)驗來進行，這種經(jīng)驗式命題好處就是來得快，只需適當選種經(jīng)驗式命題好處就是來得快，只需適當選擇命題專家的資質(zhì)，告訴命題專家試題格式擇命題專家的資質(zhì)，告訴命題專家試題格式和命題方式即可。和命題方式即可。2.1、職業(yè)技能鑒定命題概述v 專家自身經(jīng)驗間的差異專家自身經(jīng)驗間的差異v 專家對職業(yè)標準理解上的差異專家對職業(yè)標準理解上的差異v 專家將標準轉(zhuǎn)化成試題過程中的規(guī)范性專家將標準轉(zhuǎn)化成試題過程中的規(guī)范性v 專家行為的可評價程度專家行為的可評價程度v測驗標準化保證測驗

7、的編制、實施、記分以及測驗分數(shù)解釋程序的一致性。v1974年，美國心理學會出版了教育心理測驗的標準，指出了測驗編制者和使用者必須遵照執(zhí)行的標準化步驟。為了確保測驗條件一致性，提出了以下幾方面的標準化要求。2.1、職業(yè)技能鑒定命題概述標準參照測驗v一、內(nèi)容標準化 v二、實施標準化 v三、分數(shù)解釋標準化 2.1、職業(yè)技能鑒定命題概述標準參照測驗內(nèi)容標準化 v內(nèi)容是標準化的第一個要素。給所有被試者實施相同的一組測題，即給所有被試者實施相同內(nèi)容的刺激，這樣對被試的行為或反應才能進行比較。（考核內(nèi)容一致）v另外要使測量的物理特性保持一致，這就要求在編制測驗時，測題的印刷和成批生產(chǎn)的器具能保證物理特性上的

8、一致，而使測驗條件保持一致，使測驗結(jié)果更可靠。（考件、材料一致）2.1、職業(yè)技能鑒定命題概述標準參照測驗實施標準化v標準實施是標準化的第二個要素。只有對所有的被試都使用相同的測題，并且是在相同的條件下進行測驗，他們的分數(shù)才能進行比較。2.1、職業(yè)技能鑒定命題概述標準參照測驗標準實施主要包括v1統(tǒng)一的指導語，指導語有兩個方面，一種是對被試的，另一種是對主試的。對被試的指導語應盡量做到清晰，應簡單扼要地向被試解釋分如何對測題作出反應，如果測題的格式對于被試是生疏的，應舉出一個例題。例如一個思考能力測驗給出這樣的指導語：以下這些測驗的目的是為了考考你認為最合適的，如不知道，可以猜測，猜測的影響在評分

9、中已考慮了。 2.1、職業(yè)技能鑒定命題概述標準參照測驗標準實施主要包括v2統(tǒng)一的施測時間。測驗的時限是測驗程序中的一個重要方面。一般說來，每一測驗都要求被試在一定的時間內(nèi)完成。但一般足以使90%以上的被試能在規(guī)定時間內(nèi)做完全部測驗。2.1、職業(yè)技能鑒定命題概述標準參照測驗標準實施主要包括v3客觀記分?？陀^記分是標準化的第三個要素。它意指在兩個或兩個以上有能力的記分者之間有一致性。不同記分者之間取得完全的一致似乎是最理想的。但實際上對主觀題即論文式的測題一部評分時，很難完全一致。一般認為在成對的受過訓練的記分者之間平均一致性達到90%以上，就認為記分是客觀的。只有保證記分分是客觀的，才能夠把分數(shù)

10、的差異歸于被試的差異。2.1、職業(yè)技能鑒定命題概述標準參照測驗分數(shù)解釋標準化v從某個測驗中得出的單個分數(shù)往往并不能說明什么問題，只有把這個分數(shù)與常模進行比較，才能對測驗分數(shù)進行很好的解釋。v常模是指某一標準化樣組在某一測驗上的平均分數(shù)。2.1、職業(yè)技能鑒定命題概述2.2、鑒定命題技術基礎2.2.1.職業(yè)技能鑒定命題相關術語 鑒定內(nèi)容：定義：某一鑒定范圍中，可鑒定的具體知識項目或具體操作項目。2.2、鑒定命題技術基礎2.2.1.職業(yè)技能鑒定命題相關術語 鑒定點：定義：鑒定點指具有最小不可分割性的獨立可鑒定的職業(yè)技能要素，是職業(yè)技能要素的最小可測量單位。說明：鑒定點由專家按職業(yè)標準規(guī)定的鑒定內(nèi)容進

11、行要素劃分后確定并填寫在鑒定要素細目表中。2.2、鑒定命題技術基礎2.2.1.職業(yè)技能鑒定命題相關術語 1.3重要程度：定義：依據(jù)職業(yè)技能標準，一個鑒定點所涵蓋內(nèi)容在相應鑒定領域中的重要程度。說明：劃分為“核心要素”、“一般要素”、“輔助要素”三個等級。A）核心要素：在本職業(yè)技能要素中，占據(jù)關鍵地位，具有必備性、典型性的鑒定點。B）一般要素：在本職業(yè)技能要素中，具有基礎性質(zhì)、或處于關鍵點之間的必要銜接性質(zhì)的鑒定點。C）輔助要素：在本職業(yè)技能要素中，具有相對關鍵要素和一般要素的次要功能，或輔助性、背景性的鑒定點。2.2、鑒定命題技術基礎2.2.1.職業(yè)技能鑒定命題相關術語 鑒定點重要程度的名稱和

12、通用代碼重要程度核心要素一般要素輔助要素代碼XYZ2.2、鑒定命題技術基礎2.2.2.試卷編制規(guī)則 各行業(yè)領域下的鑒定比重 鑒定方式行為領域名稱鑒定比重知 識基本知識25%專業(yè)知識65%相關知識10%技 能操作技能75%工具和使用10%安全及其他15%2.2、鑒定命題技術基礎2.2.2.試卷編制規(guī)則 鑒定點重要程度的名稱和通 用代碼 認 知 層 次第一級第二級第三級第四級鑒定方式知識題記憶理解分析應用技能題模仿掌握熟練熟巧代 碼12342.2、鑒定命題技術基礎2.2.3.知識試卷編制 編制原則 分配方案一鑒定工種級別分 數(shù)題 型初級工中級工高級工初、中級高 級填 空10題（2分/題）20分選

13、擇20題（2分/題）40分判 斷10題（2分/題）10題（1分/題）20分10分簡答/計算共4題（平均每題5分）20分論述/繪圖（無）1題（10分/題）0分10分總 分100分（44/45題）2.2、鑒定命題技術基礎2.2.3.知識試卷編制 編制原則 分配方案二題型鑒定職業(yè)等級配分初級中級高級初級、中級 高級及以上選擇80題（1分題）80分判斷20題（1分題）20分總分100分（100題）2.2、鑒定命題技術基礎2.2.3.技能試卷的編制 編制原則技能試卷根據(jù)操作項目的大小，只在操作時間、題型、難度上保持相對等值，總體來講不作嚴格規(guī)定。2.2.4.考核目標設計2.2、鑒定命題技術基礎2.2.4

14、.操作技能的總體特征考核準備：材料、設備、基本條件等考核要求：工件形狀、位置、尺寸等評分標準：精度、表面粗糙度、時間等 2.2.5 操作技能的表現(xiàn)形式考核準備：材料、設備、基本條件等考核準備：材料、設備、基本條件等考核要求：工件形狀、位置、尺寸等考核要求：工件形狀、位置、尺寸等評分標準：精度、表面粗糙度、時間等評分標準：精度、表面粗糙度、時間等 2.2.6 操作技能的要素分析操作技能業(yè)務素質(zhì)2.2.7 操作技能測量要素的評價標準尺寸精度表面粗糙度錐度精度內(nèi)外三角螺紋形狀位置公差梯型螺紋公差蝸桿精度孔距偏心距螺距初級外徑IT8一般Ra1.69級7級9級內(nèi)徑IT8長度IT12特異圓弧IT12中級外

15、徑IT7一般Ra1.68級6級8級7級8級內(nèi)徑IT7長度IT10特異Ra3.2圓弧IT12高級外徑IT6一般Ra1.6內(nèi)徑IT72.2.8 操作技能要素的有效組織在鑒定考核中實際執(zhí)行的測量模塊在鑒定考核中實際執(zhí)行的測量模塊 底層測量模塊2.2.9 操作技能要素的結(jié)構(gòu)化領域2.2.10 操作技能考核整體安排1.1.5.1.1.5.01 01 進行進行CJ10-20CJ10-20型交流接觸器的拆裝及試運行型交流接觸器的拆裝及試運行準備要求：序號名稱型號與規(guī)格單位 數(shù)量 備注1交流電源3380/220V三相四線處12萬用表自定個13鑷子自定把14交流接觸器 CJ10-20（線閘電壓220V或380V

16、）只1考核要求： （1）按工藝要求，正確拆卸、組裝交流接觸器。 （2）通電運行時，通斷電時動作正常，吸合后無噪聲。2.2.11 操作技能考核試題編制定義：用專用工具、儀器、儀表正確測量并聯(lián)電路的組抗?？己艘螅?（1）能夠正確選擇和使用工具儀器儀表； （2）測量步驟正確； （3）并聯(lián)電路組抗的測量數(shù)據(jù)準確；配分與評分標準：序號考核要點配分評分標準扣分得分1操作步驟正確2步驟不正確扣3分2(1)正確選擇測量工具(2)正確使用儀器儀表4(1)工具選擇錯誤扣2分(2)儀器儀表使用錯誤扣2分3測量數(shù)據(jù)值準確41%測量數(shù)據(jù)誤差 10%扣4分否定項： （1）測量數(shù)據(jù)誤差10%； （2）損壞測量工具、儀器、

17、儀表。其它因素：選用一般標準型并聯(lián)電路板。2.2.12 操作技能要素的實際考核標準2.2.12 職業(yè)資格分析：不同級別典型職業(yè)活動領域職業(yè)活動初級中級高級技師操作技能基礎性操作主體性操作工作活動復雜性工作非常規(guī)性工作問題解決技術問題工藝問題技術革新技術攻關工藝革新技術改革技術組織技術改造技術革新培訓指導指導他人工作進行技術培訓經(jīng)營管理管理活動2.2.13 職業(yè)資格分析：不同級別主要活動領域高級技師技師高級中級初級2.3 具體考評方法v理論知識考核在標準教室進行，每教室可安排30個考生；v應將考生準考證號安排座位，考生應帶好身份證和準考證；v閱卷時可根據(jù)考生安排2名或2名以上的考評員根據(jù)標準答案

18、按流水作業(yè)法評閱已密封好的試卷； 2.3.1 理論知識考核 2.3 具體考評方法v A每個技能考核模塊均合格方為合格，此法對參考者綜合素質(zhì)要求較高，適合于具有完備條件的社會化考核，參考者可逐個模塊考核，如上海； 2.3.2 技能考核綜合評分方法 2.3 具體考評方法v B技能考核若干模塊以不同比例配分，總分及格即為合格，此法綜合考慮了當前我省的實際條件和工人隊伍的現(xiàn)狀，適于集中考核，技能考核一般在兩天內(nèi)完成，我省目前采用此法；它便于操作和管理。 2.3.2 技能考核綜合評分方法 2.3 具體考評方法vA技能考核試題一般是按份裝訂，考評員應根據(jù)考試順序按模塊分發(fā)，不要一次發(fā)放； 2.3.3 技能

19、考核中應注意的問題 2.3 具體考評方法vB為在兩天技能考核時間內(nèi)完成合部考核與評分任務，一般將評分難度高費時的技能操作考核內(nèi)容（如焊工工件需拍片鉗工和機加工零件需逐項檢測）安排在第一天考核，將能現(xiàn)場評分的內(nèi)容安排在第二天考核，有些項目還需穿插進行，考生較多時一般是一個考評員主考一個項目。 2.3.3 技能考核中應注意的問題 2.3 具體考評方法v評分標準包括評定工作行為的若干指標，評分量綱，最小記分單位及其意義等規(guī)定。一般，最小記分單位為1分， 考評員根據(jù)評分標準對考生的表現(xiàn)作判斷，并以記分的方式作為評定結(jié)果。在考評中，根據(jù)各評定指標，判斷考生工作的質(zhì)量，將評分分配到各評定指標上?？梢哉f，每

20、名考評員對考生的評定結(jié)果是技能考核指標得分的總和。 2.3.4 現(xiàn)場評分的方法 2.3 具體考評方法v首先，根據(jù)評分標準設想出最完美的表現(xiàn)應得滿分。然后認真觀察考生的表現(xiàn)。當考生出現(xiàn)失誤時，或工作質(zhì)量不理想時，便在相應的指標下一個記分單位、一個記分單位地減分。對選手成績的最后判斷就是剩余的記分。減分法的優(yōu)點是，考評員記分的心理負荷較低，因而可以專心致志于對考生的表現(xiàn)進行觀察和判斷：缺點是，如果觀察不夠認真或經(jīng)驗不足，容易產(chǎn)生較多考生得滿分的結(jié)果 2.3.4 現(xiàn)場評分的方法 減分法2.3 具體考評方法v加分法與與減分法的做法相反：首先，根據(jù)評分標準和考生的水平確定一個最低可能的表現(xiàn)及相應的記分，

21、如60分。以這種表現(xiàn)及記分作為判斷的基準點。然后認真觀察選手的表現(xiàn)。凡是考生的表現(xiàn)優(yōu)于基準表現(xiàn)時，便根據(jù)考生優(yōu)于基準表現(xiàn)的程度加記相應的記分單位。如果考生出現(xiàn)嚴重失誤而低于基準表現(xiàn)時，則要根據(jù)其劣于基準表現(xiàn)的程度減分。加分法的優(yōu)點是可以拉開考生得分的差距，較少出現(xiàn)滿分現(xiàn)象。但加分法可能既要做加分，又要做減分，因而考評員的心理負荷較高 2.3.4 現(xiàn)場評分的方法 加分法2.4、 現(xiàn)場評分評定偏差原因v2.4.1 順序效應 v2.4.2 光暈效應v2.4.3 考評行為對考生的影響 2.4.1 順序效應 v在評定中，評定者往往傾向于以前一個被評定者或?qū)⒃u定指標的評定結(jié)果作為后一個被評定者的直接參照。

22、 v考生們?yōu)槭裁炊疾幌Ｍ谝粋€出場?這是因為考評員往往以第一個考生的表現(xiàn)將考評標準具體化，并將第一個考生的評定結(jié)果作為以后考評判斷的參照點。 2.4.1 順序效應 解決之道v在安排技能模塊考核中，各模塊考生隨機安排出場次序，再總和或平均每個考生各模塊的成績，可以抵銷順序效應。v每個裁判員每次只就一個評定指標評定所有選手；各個裁判的評定指標隨機排序，也可以抵銷順序效應。 2.4.2 光暈效應v光暈效應指評定者某對被評定者某一方面的強列印象影響其對被評定者其他方面的判斷。v這種強烈的印象好象邊緣模糊的光暈，籠罩在被評定者的其他方面，形成對其他方面朦朧、相似的感受，故命此名。v用俗話來說，光暈效應就

23、是以偏概全。 v例如，機加工技能考核中，某考生CAD考得好，考評員在其它模塊中簡單地認為都好而不認真考核；v同理另一個考生一個項目考得不好考評員又會給該考生其它模塊以低分，這就是光暈效應。2.4.2 光暈效應v首先，每個有相當社會生活經(jīng)驗的人都形成了某種“內(nèi)隱特質(zhì)理論”，就是堅信不同特質(zhì)之間有某種穩(wěn)定聯(lián)系 。v例如，人們對各地人的性格形成了某種刻板印象：東北人豪爽；山東人耿直；上海人精明。 v當獲得的被評定者信息不完全時，評定者往往憑著自己的“經(jīng)驗”對被評定者那些不易觀察到的方面作出推斷。這就容易產(chǎn)生光暈效應。2.4.2 光暈效應 生成的原因v其次，對評定指標的意義說明不明確，或者對評定指標的

24、說明顯示出表面的相關時，也容易誘發(fā)評定者的光暈效應 。v例如，對足球運動員的評定有個“心理素質(zhì)”指標。如果不加說明或說明不明確，評定時就容易與“拼搶勇猛”、“意志頑強”等評定指標有顯著的高相關。 2.4.2 光暈效應 生成的原因v第三，對評定指標的意義不求甚解，或觀察和評定不認真、不全面，也可能增大光暈效應。 v如前面提到對足球運動員的評定指標“心理素質(zhì)”，實際指情緒的穩(wěn)定性。有的評定者卻把它當作比賽中的斗志來評定。v再如有的評定者不認真觀察被評定者的行為，結(jié)果只好憑籠統(tǒng)的印象來評定。這樣的評定結(jié)果，肯定會有很高的光暈效應。 2.4.2 光暈效應 生成的原因v第四，評定指標過多，致使評定者的認知負荷增加，對評定指標區(qū)分不清，也會增大光暈效應。 v評定指標劃分過細，本身就會增加指標間的相關性。心理學將這種現(xiàn)象稱作“真光暈”。例如前面提到的評定足球運動員的“拼搶勇猛”和“意志頑強”，就有較高的相關。再高明、再有經(jīng)驗的評定者也難以將它們完全區(qū)分開來。 2.4.2 光暈效應 生成的原因v它很難得到完全克服，但只要有意識