情境判斷測驗技術(shù)

1、1情境判斷測驗技術(shù)情境判斷測驗技術(shù)(Situational Judgment Tests，SJT)SJTSJT開發(fā)程序開發(fā)程序 童婷婷童婷婷2行為反應(yīng)項行為反應(yīng)項題干（行為情景）題干（行為情景）反應(yīng)指導(dǎo)語反應(yīng)指導(dǎo)語3 提綱提綱有關(guān)有關(guān)SJTs開發(fā)的各種不同問題，尤其是確定以下幾個問題：開發(fā)的各種不同問題，尤其是確定以下幾個問題：1. 題目的題目的題干題干(描述具體情境描述具體情境)；2. 反應(yīng)項反應(yīng)項(給出每個情景下可能的行為反應(yīng)給出每個情景下可能的行為反應(yīng))；3. 反應(yīng)反應(yīng)指導(dǎo)語指導(dǎo)語的效應(yīng)的效應(yīng)(明確測評方式明確測評方式)；4. 行為反應(yīng)項的標定；行為反應(yīng)項的標定；5. SJTs的的計分方

2、計分方法法(確定如何計分，用于統(tǒng)計和計算分數(shù)確定如何計分，用于統(tǒng)計和計算分數(shù))。41. 1. 試題題干設(shè)置試題題干設(shè)置要考慮以下4個關(guān)鍵問題： (a)確定題目題干的來源或緣由； (b)題目題干的復(fù)雜性； (c)題目題干的保真性。51 1.1.1題干的來源題干的來源：設(shè)置情景問題關(guān)鍵是要進行設(shè)置情景問題關(guān)鍵是要進行工作分析工作分析。工作分析。工作分析要解決兩個方面的問題要解決兩個方面的問題, ,即對工作本身作出規(guī)定和確即對工作本身作出規(guī)定和確定工作對任職人員的行為要求定工作對任職人員的行為要求, ,也就是也就是工作描述工作描述和和職職務(wù)要求務(wù)要求。6多用多用關(guān)鍵事件法關(guān)鍵事件法進行工作分析進行工

3、作分析,同時輔助于其他的同時輔助于其他的方法、如訪談法方法、如訪談法,觀察法、專家討論法等。運用關(guān)觀察法、專家討論法等。運用關(guān)鍵事件法的目的是得到關(guān)于一個人如何開展工作鍵事件法的目的是得到關(guān)于一個人如何開展工作的詳細描述的詳細描述,即得到一定工作情景中的即得到一定工作情景中的“關(guān)鍵事關(guān)鍵事件件”。然后。然后,開發(fā)者對他們描述的開發(fā)者對他們描述的“關(guān)鍵事件關(guān)鍵事件”進進行篩選、編輯和修訂行篩選、編輯和修訂,使它們成為真正的關(guān)鍵事件。使它們成為真正的關(guān)鍵事件。7關(guān)鍵事件法關(guān)鍵事件法a.主題專家法主題專家法 （Subject Matter Expert SMEs）b.檔案記錄法檔案記錄法 8a.主題

4、專家法主題專家法 一般情況下，關(guān)鍵事件是從現(xiàn)任者和主管那里收集而來,但也不僅限于此。eg：如果為銷售崗位或顧客服務(wù)崗位開發(fā)一套SJT，從顧客那里收集的關(guān)鍵事件可能會提升這套SJT測驗的質(zhì)量。訪談、問卷調(diào)查等手段搜集職務(wù)專家（在職員工、直接主管、其他熟悉該職位工作的相關(guān)人員）工作中遇到的一些工作情景；在描述每個工作情景的時候，可以采用，要求由職務(wù)專家說明當時的情景、如何處理以及結(jié)果如何。9讓受訪者描述最近由自己主導(dǎo)的在管理工作中遇到的棘手的事件，詳細描述事件發(fā)生的時間、地點、起因、經(jīng)過、結(jié)果、背景、人物，當時的想法，采取的措施，事后的看法。這些情景必須滿足以下幾個要求：(1)關(guān)鍵事件性:(2)信

5、息完備性：(3)事件典型性和普遍性：PS 附錄 訪談提綱 訪談記錄10b.b.檔案記錄法檔案記錄法我們也可以從檔案性的來源渠道（檔案記錄法）我們也可以從檔案性的來源渠道（檔案記錄法）獲得關(guān)鍵事件。獲得關(guān)鍵事件。Hunter(2003)在他關(guān)于飛行判斷在他關(guān)于飛行判斷的研究中，利用事故報告來識別飛行員所面臨的的研究中，利用事故報告來識別飛行員所面臨的挑戰(zhàn)性情境。尤其是那些為了其他目的而記錄的挑戰(zhàn)性情境。尤其是那些為了其他目的而記錄的事件事件(例如：例如：事故報告、保險調(diào)查報告、行動后報事故報告、保險調(diào)查報告、行動后報告告)，檔案記錄應(yīng)該成為，檔案記錄應(yīng)該成為SJT所需事件的一個豐富所需事件的一個

6、豐富的渠道來源。的渠道來源。11對對“關(guān)鍵事件關(guān)鍵事件”進行篩選、編輯和修訂，以這些進行篩選、編輯和修訂，以這些關(guān)鍵事件為基礎(chǔ)，設(shè)計測驗的情景部分。關(guān)鍵事件為基礎(chǔ)，設(shè)計測驗的情景部分。典型情境的挑選具體操作步驟如下：典型情境的挑選具體操作步驟如下： (1)事件的事件的編輯整理編輯整理。通過行為事件訪談收集到。通過行為事件訪談收集到所有事件，有些復(fù)雜事件里又含有幾個簡單的事所有事件，有些復(fù)雜事件里又含有幾個簡單的事件，需進一步件，需進一步提煉提煉。 (2)采用專家討論法對情境的典型性進行采用專家討論法對情境的典型性進行評定評定。在專家評定的基礎(chǔ)上進行統(tǒng)計，保留代表性和復(fù)在專家評定的基礎(chǔ)上進行統(tǒng)計

7、，保留代表性和復(fù)雜度都合適的情境，最后挑選出幾個典型情境。雜度都合適的情境，最后挑選出幾個典型情境。121.21.2題目的復(fù)雜性題目的復(fù)雜性二個問題是題目題干的復(fù)雜性、詳細性和具體性的程度。盡管有些SJTs的題目題干相對簡單一些，但其他一些SJTs對情境的描述就相當詳細，題干也較長實際上，有些SJTs還采用了派生技術(shù)，以一個共同的“基本情境”為基礎(chǔ)派生出多個“亞情境”。有研究表明，題干描述具體、詳細，特定性強的，SJT的效度就越高。131.3 1.3 題干的保真度題干的保真度 另外一個相關(guān)問題是題目題干的保真度。一般情況下，保另外一個相關(guān)問題是題目題干的保真度。一般情況下，保真度是指題干的真實

8、性程度，或真實地再現(xiàn)工作任務(wù)要求的真度是指題干的真實性程度，或真實地再現(xiàn)工作任務(wù)要求的程度程度 現(xiàn)在重要的一點是要認識到現(xiàn)在重要的一點是要認識到反應(yīng)形式反應(yīng)形式上的差異，例如：上的差異，例如：紙筆、計算機、互聯(lián)網(wǎng)等形式，可能會導(dǎo)致反應(yīng)上的差異。紙筆、計算機、互聯(lián)網(wǎng)等形式，可能會導(dǎo)致反應(yīng)上的差異。視頻形式視頻形式142.2.確定行為反應(yīng)項確定行為反應(yīng)項2.1 行為反應(yīng)項的來源行為反應(yīng)項的來源2.2反應(yīng)選項的特點反應(yīng)選項的特點152.12.1行為反應(yīng)項的來源行為反應(yīng)項的來源主題專家法主題專家法第一種方法，對另一批在職員工進行施測，要求第一種方法，對另一批在職員工進行施測，要求他們用較好的處理辦法作

9、答情境問題；他們用較好的處理辦法作答情境問題；第二種方法，采用行為事件訪談第二種方法，采用行為事件訪談(BEI)(BEI)的方法，通的方法，通過比較績效優(yōu)異者與績效平平者的可能反應(yīng)的差過比較績效優(yōu)異者與績效平平者的可能反應(yīng)的差別獲得不同的反應(yīng)項目，別獲得不同的反應(yīng)項目，16編輯、整理可能的行為反應(yīng)項。應(yīng)注意：編輯、整理可能的行為反應(yīng)項。應(yīng)注意：注意一個行為反應(yīng)項只有一個行為；注意一個行為反應(yīng)項只有一個行為；盡量避免盡量避免“首先，然后首先，然后”的作的作去除與情境無關(guān)的作答反應(yīng)方式；去除與情境無關(guān)的作答反應(yīng)方式；對意思相近或相同的行為反應(yīng)進行歸類、合并。對意思相近或相同的行為反應(yīng)進行歸類、合并

10、。172.22.2特點特點好的反應(yīng)項應(yīng)該具有如下特征：好的反應(yīng)項應(yīng)該具有如下特征：反應(yīng)項必須與所設(shè)置的情境有關(guān)；反應(yīng)項必須與所設(shè)置的情境有關(guān)；有較強的區(qū)分鑒別能力有較強的區(qū)分鑒別能力, ,即通過做答能具體反應(yīng)出被試能即通過做答能具體反應(yīng)出被試能力的強或弱力的強或弱; ;數(shù)量恰當，一般應(yīng)有數(shù)量恰當，一般應(yīng)有 3 3 至至 5 5 個反應(yīng)項，并且按強度可個反應(yīng)項，并且按強度可排序；排序；反應(yīng)項要盡量降低社會的稱許性。反應(yīng)項要盡量降低社會的稱許性。1819203.3.反應(yīng)指導(dǎo)語反應(yīng)指導(dǎo)語反應(yīng)指導(dǎo)語是測驗中向答題者說明以何種方式進行答題的反應(yīng)指導(dǎo)語是測驗中向答題者說明以何種方式進行答題的部分。部分。情

11、景判斷測驗的反應(yīng)指導(dǎo)語主要有兩大類：情景判斷測驗的反應(yīng)指導(dǎo)語主要有兩大類： 一類是知識行為指導(dǎo)語或一類是知識行為指導(dǎo)語或最佳行為指導(dǎo)語最佳行為指導(dǎo)語；一類是；一類是行為傾向指導(dǎo)語或行為傾向指導(dǎo)語或典型行為指導(dǎo)語。典型行為指導(dǎo)語。前者要求被試對行為反應(yīng)項的前者要求被試對行為反應(yīng)項的有效性進行評價有效性進行評價，后者要求，后者要求被試選擇自己可能采取的行為反應(yīng)項或評價自己采取各行為被試選擇自己可能采取的行為反應(yīng)項或評價自己采取各行為反應(yīng)項的反應(yīng)項的可能性大小可能性大小。2122二23L244.4.行為反應(yīng)項的標定行為反應(yīng)項的標定為了評判被試的水平，必須先有一個評判的標準，為了評判被試的水平，必須先

12、有一個評判的標準，即標定好的各行為項（即標定好的各行為項（標答標答），再把被試的作答），再把被試的作答和標答進行對比，最后賦分。和標答進行對比，最后賦分。答案的標定方法有三種：實證法、理論法、專家答案的標定方法有三種：實證法、理論法、專家法。法。254.14.1實證法實證法(1)(1)選擇工作績效為效標，用得較多的是直接主管的考核選擇工作績效為效標，用得較多的是直接主管的考核法；法；(2)(2)求相關(guān)。先計算出各行為項上的得分，再計算得分與求相關(guān)。先計算出各行為項上的得分，再計算得分與效標的相關(guān)，被試的績效越高，該反應(yīng)項越好；效標的相關(guān)，被試的績效越高，該反應(yīng)項越好；(3)(3)確定行確定行為

13、反應(yīng)項是否正確的規(guī)則。為反應(yīng)項是否正確的規(guī)則。有研究認為確定的規(guī)則有有研究認為確定的規(guī)則有(a)(a)選擇該項的人數(shù)不能少于選擇該項的人數(shù)不能少于2525人；人；(b)(b)效標關(guān)聯(lián)效度不能低于效標關(guān)聯(lián)效度不能低于0.10.1。實證法的不足之處在。實證法的不足之處在于它對樣本的強依賴性。于它對樣本的強依賴性。缺點：樣本量大缺點：樣本量大264.2 4.2 專家法專家法所謂專家法是一種是請專家先對反應(yīng)項評判，討論后達成所謂專家法是一種是請專家先對反應(yīng)項評判，討論后達成一致意見。沒有達成的選項要修改甚至刪除。也可以根據(jù)一致意見。沒有達成的選項要修改甚至刪除。也可以根據(jù)專家獨立評判出的結(jié)果來確定選項

14、的標定。專家獨立評判出的結(jié)果來確定選項的標定。另一種是新手專家比較法。請一批另一種是新手專家比較法。請一批專家專家和一批和一批新手新手進行測進行測試，然后通過比較新手和專家的作答來確定行為反應(yīng)項的試，然后通過比較新手和專家的作答來確定行為反應(yīng)項的標答。一般專家選擇頻率高但新手選擇頻率低的行為反應(yīng)標答。一般專家選擇頻率高但新手選擇頻率低的行為反應(yīng)項視為好的或正確的選項，而新手選擇頻率高但專家選擇項視為好的或正確的選項，而新手選擇頻率高但專家選擇頻率低的行為反應(yīng)項則視為不好的或錯誤的選項。頻率低的行為反應(yīng)項則視為不好的或錯誤的選項。274.3理論法理論法理論法是基于理論或結(jié)構(gòu)來判斷行為項好壞的方法。但有人認理論法是基于理論或結(jié)構(gòu)來判斷行為項好壞的方法。但有人認為這種方法過于主觀。為這種方法過于主觀。285.5.計分方法計分方法5.1迫選法迫選法29第二種破選法第二種破選法305.2 5.2 LikertLikert量表法量表