培訓與開發(fā)項目評估教材課件

第八章培訓與開發(fā)項目評估通過本章的學習，應該重點了解和掌握以下內(nèi)容：1．人力資源培訓效果評估的內(nèi)涵2．為什么要進行培訓效果評估3．柯克帕特里克、CIRO、CIPP和菲利普斯的培訓效果評估模型4．培訓效果評估中收集信息的方法5．培訓效果評估的財務模式6．在培訓效果評估中常采用的研究設計方法第八章培訓與開發(fā)項目評估通過本章的學習，應該重點了解和掌握1第一節(jié)人力資源培訓效果評估的內(nèi)涵人力資源開發(fā)項目的主要目的是為了確保組織中的成員擁有能夠滿足當前和未來工作所需要的技術或能力。組織對其所開展的人力資源開發(fā)項目進行評估的意義主要體現(xiàn)在以下幾個方面：通過評估可以讓管理者以及組織內(nèi)部的其他成員相信人力資源開發(fā)工作是有價值的通過評估可以判斷某人力資源開發(fā)項目是否實現(xiàn)了預期的目標，及時發(fā)現(xiàn)人力資源開發(fā)項目的優(yōu)缺點，必要時進行調(diào)整計算人力資源開發(fā)項目的成本——收益率，為管理者的決策提供數(shù)據(jù)支持區(qū)分出從某開發(fā)項目中收獲最大或最小的學員，從而有針對性地確定未來的受訓人選，并為將來項目的市場推廣積累有利的資料第一節(jié)人力資源培訓效果評估的內(nèi)涵人力資源開發(fā)項目的主要目2學者時間內(nèi)涵泰勒（Tyler）1953將學員的表現(xiàn)與行為目標相比較的過程，即評價受訓者改變的情況。凱利（Kelly）1958可以判斷一個人工作貢獻的價值、工作的品質(zhì)和數(shù)量、未來發(fā)展的趨勢以及為達到目標所需要的幫助。斯達夫彼姆（Stufflebeam）1966對教育培訓方案的確定、獲取以及提供資料，作為決策參考的過程，最重要的目的在于改善現(xiàn)狀。海布林（Hamblin）1974指對教育方案評估資料收集的過程，并分析歸納影響培訓各種因素，反饋到有關部門人員。斯德（Snyder）1980對組織而言，培訓方案評估是一組程序，經(jīng)過系統(tǒng)化設計，收集有關方案，改變組織的過程和判斷資料，使評估的結果可以獲得組織在方案實行前、中、后所有相關的行為資料。戈爾斯坦（Goldstein）1986培訓效果評估是針對特定的培訓計劃，系統(tǒng)地收集資料，并給予適當?shù)脑u價，作為甄選，采用或修改教育培訓計劃等決策判斷的基礎?？死锔駹枺–legg）1987培訓效果評估可以確定培訓是否值得，指出需要改進的地方，審核目標達成的情況，決定培訓是否繼續(xù)存在，找出更好的訓練方法并建立未來的培訓指導方針。菲利普斯（Phillips）1991培訓效果評估是一種系統(tǒng)性的過程，用以決定培訓方案的意義及價值，并對該培訓方案的未來使用情況作出決策。培訓效果評估的內(nèi)涵

學者時間內(nèi)涵泰勒1953將學員的表現(xiàn)與行為目標相比較的過程，3第二節(jié)培訓效果評估的發(fā)展階段及其目標一、培訓效果評估的發(fā)展階段

第一階段：培訓評估關注的是培訓者和受訓者對培訓的反應，而這樣的反應往往帶有隨意性。第二階段：在培訓評估中使用了一些實驗研究的方法。第三階段：創(chuàng)造性地將研究方法與現(xiàn)實條件結合起來，使培訓項目評估的操作性和可行性大大增加。第四階段：認識到整個培訓和人力資源開發(fā)流程都會對組織產(chǎn)生影響，所以評估的重點從單純的事后評估轉(zhuǎn)向了對整個人力資源開發(fā)流程的評估。第二節(jié)培訓效果評估的發(fā)展階段及其目標一、培訓效果評估的發(fā)4二、培訓效果評估的目標

1.布朗德伯格（Branderburg）的研究（1982）分析培訓活動成本改進培訓發(fā)展方案給學員、培訓方案設計者和管理者提供反饋了解員工技術水平與效率發(fā)現(xiàn)組織未來領導者為績效評估提供有效信息為員工安排適當?shù)墓ぷ鳎瑸榕嘤枡C構建立地位與聲譽二、培訓效果評估的目標52.菲力普斯（Phillips）的研究（1983）判斷某項目是否實現(xiàn)了它的目標找出人力資源開發(fā)項目的優(yōu)缺點，如果需要的話，進行一定的調(diào)整計算人力資源開發(fā)項目的成本——收益率選擇誰將參加將來的培訓需要衡量各種測驗、案例和練習是否清楚有效區(qū)分出從某項目中收獲最大或最小的受訓者強化受訓者所學到的主要內(nèi)容為將來項目的市場推廣積累有利的資料判斷項目是否能夠滿足特殊需求協(xié)助管理者作出決策建立數(shù)據(jù)庫培訓與開發(fā)項目評估教材課件63.斯威爾克塞克等（Swierczek&Carmiachael）的研究（1985）改進培訓方案給學員、方案設計者和管理者提供反饋意見評價員工技術水平培訓與開發(fā)項目評估教材課件74.克里格爾（Clegg）的研究（1987）判斷教育培訓方案價值證明教育培訓效用的存在審核教育培訓項目達成的情況幫助教育培訓獲得更多的利益指出教育培訓需要改進的地方建立教育培訓未來的指導方針高層管理者的要求有助于培訓方案體系的推銷讓受訓者了解自己的成就讓受訓者感受自己的重要性判斷教育培訓人員的成效培訓與開發(fā)項目評估教材課件85.布什內(nèi)爾（Bushnell）的研究（1990）測量成本與結果是否平衡改進培訓方案學員知識與技能的掌握程度培訓與開發(fā)項目評估教材課件96.特索羅（Tesoro）的研究（1991）保證培訓能夠達到既定目標了解學員對培訓教師、培訓環(huán)境、設備等因素的反映發(fā)現(xiàn)培訓方案最為出色的地方判斷學員在是否將學到得技能知識運用到工作中檢查教材的效度確認問題，尋找可能解決問題的方案判斷方案的價值向組織發(fā)布培訓的效益做出有關的培訓方案規(guī)劃改善培訓方案的內(nèi)容和結構培訓與開發(fā)項目評估教材課件10本書的觀點：培訓的成本效益分析向培訓的設計者、管理者和參與者提供反饋改進培訓方案判斷學員實際工作中對培訓中涉及到的技能知識的運用情況評價培訓人員的成效與強化評估機構的地位培訓與開發(fā)項目評估教材課件11第三節(jié)培訓效果評估的模型模型/框架培訓評估指標1．柯布（Korb）1956知識與態(tài)度、受益及運用程度、績效紀錄和主管評語、生產(chǎn)效率、工作滿意度和士氣2.柯克帕特里克（Kirkpatrick）（1967，1987，1994）四個層次：學員反應、學習成果、工作行為、經(jīng)營業(yè)績3.CIPP（高爾文，1983）四個層次：情境、投入、過程、產(chǎn)品4.CIRO（沃爾等人，1970）情境、投入、反應、產(chǎn)出5.布林克霍夫（1987）Brinkerhoff六個階段：目標設定、項目策劃、項目實施、及時的產(chǎn)出、中間產(chǎn)出或結果應、產(chǎn)生的影響和價值6.系統(tǒng)方法（布什內(nèi)爾，1990）Bushnell四個活動集合：輸入、過程、輸出、結果7.克里格爾、福特和薩拉斯（1993）Clegg學習結果的分類框架：將學習結果分為：認知、技能和情感三類，提出了測量每一類結果的指標8.考夫曼和凱勒（1994）Kauferman五個層次：反應、獲取、應用、組織產(chǎn)出、社會貢獻9.霍爾頓（1996）Holton五類變量以及它們之間的關系：次級影響、動機要素、環(huán)境要素、結果、能力要素10.菲利普斯（1996）Phillips五個層次：反應和行動改進計劃、學習、學習成果在工作中的應用、經(jīng)營業(yè)績、投資回報人力資源開發(fā)評估模型/框架

第三節(jié)培訓效果評估的模型模型/框架培訓評估指標1．柯布（K12一、柯克帕特里克的培訓效果評估模型反應學習行為結果準則信息的價值采用頻率評估的難度反應最低經(jīng)常采用容易學習行為結果最高不常采用困難一、柯克帕特里克的培訓效果評估模型準則信息的價值13二、CIRO和CIPP評估模型CIRO評估模型情景評估輸入評估反應評估輸出評估CIPP評估模型產(chǎn)出評估投入評估過程評估背景評估二、CIRO和CIPP評估模型14三、菲力普斯的五級投資回報率第一級是反應和既定的活動第二級評估的是學習第三級評估的是在工作中的運用第四級評估是業(yè)務結果第五級評估是投資回報率三、菲力普斯的五級投資回報率15四、其他模型和框架布林克霍夫?qū)⑴嘤栐u估模型拓展成了六個階段目標設定：培訓需求是什么？項目策劃：怎樣做才能滿足培訓需求？項目實施：項目運作得好嗎？影響和價值：培訓是否對組織的運作做出了有價值的貢獻？中間產(chǎn)出或使用結果：受訓者是否在工作中運用了他們所學的東西？即時的結果：受訓者學到東西了嗎？四、其他模型和框架16類別學習結構測量的重點備選的培訓評估方法認知認知結果言語知識知識的組織認知策略陳述性知識腦海中的模型自我洞察儲存的知識量回憶的準確性速度，知識的可獲取性類似于知識各部分之間的最佳聯(lián)系排列知識各部分間的等級次序自我覺察自我調(diào)控再認和回憶測驗能力測驗速度測驗自由分類結構分析，比如路徑搜尋探索性的口語分析認知技能自我報告測驗的準備狀態(tài)技能基于技能的結果編輯自主性組合程序化自動加工調(diào)整操作速度操作的流暢性錯誤率組塊區(qū)別加強要求注意可利用的認知資源對目標行為進行觀察動手測驗結構化的情景訪談次級任務操作干擾問題內(nèi)置的測量情感情感結果態(tài)度的動機針對的目標（比如安全意識）態(tài)度的強弱動機傾向自我效能目標設定態(tài)度引導態(tài)度的強弱學習取向和績效取向取向是否恰當知覺到的操作能力目標的層次目標結構的復雜性目標承諾自陳的測量自陳的測量自陳的測量自陳的測量自由回憶自由分類培訓評估所用的學習結果分類框架

類別學習結構測量的重點備選的培訓評估方法認知認知結果言語知識17著名企業(yè)評估標準薩拉托加研究所學員滿意度學習的變化行為的變化組織的變化美國電報電話公司反應結果能力結果應用結果價值結果IBM公司反應測驗應用企業(yè)結果美國施樂公司進入能力課后績效熟練績效組織績效摩托羅拉公司學員反應學員學習學員運用成果與影響世界著名企業(yè)對培訓效果評估指標的運用

著名企業(yè)評估標準薩拉托加研究所學員滿意度美國電報電話公司反應18影響培訓效果評估方案類型的因素影響因素該因素如何影響評估方案的類型

修改的可能性培訓項目能夠修改嗎？重要性無效的培訓會對顧客服務、產(chǎn)品開發(fā)或員工間的關系產(chǎn)生影響嗎？范圍有多少員工參與培訓？培訓目標培訓是為了學習、成果轉(zhuǎn)化還是二者兼顧？企業(yè)文化對結果的解釋是企業(yè)準則和期望的一部分嗎？專業(yè)技術是否具有分析復雜研究成果的專業(yè)技術？成本評估是不是成本很高？時間限定我們何時需要評估結果信息？影響19第四節(jié)培訓評估所需數(shù)據(jù)的收集方法一、培訓評估所需數(shù)據(jù)的類型

產(chǎn)出質(zhì)量成本時間生產(chǎn)的數(shù)量 制造的噸數(shù) 裝配的件數(shù) 售出件數(shù) 銷售額 窗體加工數(shù)量 貸款批準數(shù)量 存貨的流動量探視病人的數(shù)量 對申請的處理數(shù)量畢業(yè)的學員數(shù)量 任務的完成數(shù)量 訂貨量 獎金 發(fā)貨量 新建的帳目數(shù)量

廢品次品退貨出錯比率返工缺貨產(chǎn)品暇疵與標準的差距生產(chǎn)故障存貨的調(diào)整工作順利完成的比例事故數(shù)量客戶投訴預算的變化 單位成本 財務成本 流動成本 固定成本 營業(yè)間接成本 運營成本延期成本 罰款 項目成本節(jié)約 事故成本 規(guī)劃成本 銷售費用 管理成本平均成本節(jié)約運轉(zhuǎn)周期對投訴的應答時間/次數(shù)設備的停工時間/次數(shù)加班時間每日平均時間完成所需時間貸款的處理時間管理時間培訓時間開會時間修理時間效率工作的中斷時間對定貨的回應時間晚報告時間損失的時間天數(shù)硬性數(shù)據(jù)的四種主要類型

第四節(jié)培訓評估所需數(shù)據(jù)的收集方法一、培訓評估所需數(shù)據(jù)的類20一、培訓評估所需數(shù)據(jù)的類型

軟性數(shù)據(jù)的主要類型

組織氛圍滿意度新技能不滿的數(shù)量歧視次數(shù)員工的投訴工作滿意度組織的承諾員工的離職比率 贊成性反應工作滿意度態(tài)度的變化對工作職責的理解可觀察到的業(yè)績變化員工的忠誠程度信心的增加決策問題的解決沖突的避免提供咨詢的成功機會傾聽理解能力閱讀速度對新技能的運用對新技能的運用意圖對新技能的運用頻率新技能的重要性工作習慣發(fā)展創(chuàng)造性曠工消極怠工看病次數(shù)違反安全規(guī)定溝通破裂的次數(shù)過多的休息升遷的數(shù)量工資的增加數(shù)量參加的培訓項目數(shù)量崗位輪調(diào)的請求次數(shù)業(yè)績評估的打分情況工作效率的提高程度新想法的實施項目的成功完成對建議的實施量設定目標一、培訓評估所需數(shù)據(jù)的類型軟性數(shù)據(jù)的主要類型組織氛圍滿21二、數(shù)據(jù)的收集方法方法具體的過程優(yōu)點缺點1訪談法和一個或多個人進行交談，以了解他們的信念、觀點和觀察到的東西靈活可以進行解釋和澄清能深入了解某些信息私人性質(zhì)的接觸引發(fā)的反應在很大程度上是回應性的成本很高面對面的交流障礙需要花費很多人力需要對觀察者進行培訓2.問卷調(diào)查法用一系列標準化的問題去了解人們的觀點和觀察到的東西成本低匿名的情況下可提高可信度可以在匿名的情況下完成填寫問卷的人可以自己掌握速度有多種答案選項數(shù)據(jù)的準確性可能不高如果是在工作中完成問卷填寫的，那么對這個過程很難進行控制不同的人填寫問卷的速度不同無法保證問卷回收率3.直接觀察對一項任務或多項任務的完成過程進行觀察和記錄不會給人帶來威脅是用于測量行為改變的極好的途徑可能會打擾當事人可能會造成回應性的反應可能不可靠需要受過訓練的觀察者4.測驗和模擬在結構化的情景下分析個人的知識水平或完成某項任務的熟練程度購買成本低容易記分可迅速批改容易施測可大面積采樣可能會帶來威脅感也許與工作績效不相關對常模的依賴可能會歪曲個人的績效可能有文化帶來的偏差5.檔案記錄分析使用現(xiàn)有的信息，比如檔案或報告可靠客觀與工作績效有密切的關系要花費大量的時間對現(xiàn)實進行模擬往往很困難開發(fā)成本很高人力資源開發(fā)項目評估所用的數(shù)據(jù)采集方法

二、數(shù)據(jù)的收集方法方法具體的過程優(yōu)點缺點1訪談法和一個或多22第五節(jié)培訓效果評估中的研究設計方法一、常用的研究設計前實驗設計前實驗設計缺乏科學的嚴謹性，不是完全的“實驗”，只是為了方便和從費用、人力方面考慮進行的簡單研究

準實驗設計準實驗設計，不象實驗設計具有嚴謹?shù)目刂瞥绦?，但在從事社會科學的實驗研究時，常需配合現(xiàn)實條件的限制，采用控制較不嚴謹，但施行方便的設計形式，也就是在實驗中，運用完整的受試者團體，而非隨機將受試者分派于不同之實驗處理或情境的設計

實驗設計實驗設計采取嚴謹?shù)膶嶒灴刂魄榫常裱S機化原則，以實驗組、控制組進行實驗研究，并運用統(tǒng)計方法考驗分析實驗結果，驗證假設，最能合乎科學研究精神

第五節(jié)培訓效果評估中的研究設計方法一、常用的研究設計23二、實驗信度與效度信度是指衡量工具的準確性或是精確性。效度是指的是我們采用的方法是否真正地測到了我們想要測的東西二、實驗信度與效度24影響因素內(nèi)容描述歷史歷史效果使得兩次衡量間隔產(chǎn)生變量的變動成熟實驗單位本身日漸成熟測試第一次實驗對第二次實驗產(chǎn)生影響工具衡量工具無法同時同地點衡量實驗組與控制組回歸選定特定樣本受測產(chǎn)生回歸效果抽樣沒有以隨機方式產(chǎn)生樣本死亡率實驗者中途脫離交互作用實驗組與控制組之間產(chǎn)生互動內(nèi)在效度影響內(nèi)在效度的因素

影響因素內(nèi)容描述歷史歷史效果使得兩次衡量間隔產(chǎn)生變量的變動25外在效度影響外在效度的因素

影響因素內(nèi)容描述對前試的反應預試使得被實驗者對實驗感到敏感對評估的反應受訓者由于要受到評估而在培訓項目中更加努力甄選與培訓之間交互作用受訓者的人格特質(zhì)影響培訓成效，故研究結果只能類推到具有相同特性的人身上不同方法的交互作用受訓者接受不同的研究方式，故研究結果只能類推到相同的實驗情景外在效度影響因素內(nèi)容描述對前試的反應預試使得被實驗者對實驗感26三、實驗設計的模式1．后測2．前測與后測3．時間序列4．有對照組的后測5．有對照組的前測和后測6．有控制組的時間序列7．所羅門四小組三、實驗設計的模式27第六節(jié)從財務角度評估人力資源開發(fā)項目一、培訓成本收益評估所謂的培訓成本收益評估，就是將發(fā)生在人力資源開發(fā)項目實施過程中的成本與該項目為組織帶來的收益進行比較，投資回報分析主要有兩種形式，成本—有效性分析（Ｃ/Ｅ）和成本—收益分析（Ｃ/Ｂ）?？偦貓笸顿Y回報率＝培訓總成本第六節(jié)從財務角度評估人力資源開發(fā)項目一、培訓成本收益評估總281、培訓成本的確定直接成本是指與培訓的實施直接相關的成本。間接成本指發(fā)生在培訓的輔助工作中的成本，它與任何特定的培訓項目之間不存在直接的一對一的關系。設計與開發(fā)成本包括了所有的培訓課程開發(fā)成本。管理費用與培訓項目沒有直接的關系，但是對培訓部門的順利運轉(zhuǎn)來說卻是必不可少的。培訓課酬由培訓期間支付給受訓者的工資和福利構成。1、培訓成本的確定292、培訓收益的確定培訓收益是指企業(yè)從培訓項目中所獲得的價值，具體的衡量指標包括勞動生產(chǎn)率的提高、產(chǎn)品質(zhì)量的改進、產(chǎn)品銷售量的增加、成本的降低、事故的減少、利潤的增長、服務質(zhì)量的提高等。通過培訓對經(jīng)營業(yè)績的整體影響，進行培訓的投入產(chǎn)出分析。2、培訓收益的確定303、培訓投資收益舉例直接成本外請教師內(nèi)部教員——12天×125美元額外的福利——工資的25％旅行和出差津貼培訓資料——56人×60美元/人教室和視聽設備租賃費——12天×50美元/天食品和點心—4美元/天×3天×56人合計直接成本0美元1500.00美元375.00美元0美元3360.00美元600.00美元672.00美元6507.00美元間接成本培訓管理文秘/行政工作額外的福利－文秘/行政人員工資的25%郵寄、運輸和電話培訓前后所用的學習資料——4美元×56人合計間接成本0美元750.00美元187.00美元0美元224.00美元1161.00美元開發(fā)成本購買項目的費用教員培訓注冊費旅行和食宿費工資福利（工資的25%）合計開發(fā)成本3600.00美元1400.00美元975.00美元625.00美元156.00美元6756.00美元一般管理費用組織給予的一般性支持高層管理者花費的時間一般管理費用合計直接、間接和開發(fā)成本總和的10％1443.00美元培訓期間受訓者領取的工資和福利合計16696.00美元16696.00美元培訓成本合計32564.00美元花在每個受訓者身上的成本581.50美元培訓成本分析示例

3、培訓投資收益舉例直接成本0美元間接成本0美元開發(fā)成本331培訓的投資回報率計算示例

ROI＝回報＝運營結果投資培訓成本運營結果測量方法培訓前的狀況培訓后的狀況差異（+或-）以美元計產(chǎn)品質(zhì)量退貨率退貨率為2％每天退回1440張面板退貨率為1.5％每天退回1080張面板.5％360張面板720美元/天172800美元/年環(huán)境維護根據(jù)包含20個條目的核查表進行巡視平均發(fā)現(xiàn)10個問題平均發(fā)現(xiàn)2個問題8個問題無法用美元進行計算事故預防事故數(shù)量每個事故的直接成本24個事故/年144000美元/年16個事故/年96000美元/年8個事故/年48000美元/年48000美元/年＝220800美元＝6.832564美元總節(jié)約成本220800美元培訓的投資回報率計算示例ROI＝回報＝運營結果32二、衡量投資回報率的其他指標現(xiàn)金流量貼現(xiàn)法是一種對投資機會進行評估的方法，它可以對投資所產(chǎn)生收入的時間賦予特定的價值。還本期是對資本開支進行評估的常用方法。效用分析是指對各種方案的損益進行分析，其主要意義在于給管理層在做出決策時提供依據(jù)。內(nèi)部收益率能夠確定使現(xiàn)金流量的現(xiàn)值等于零所必需的利率。投資總額還本期＝年度凈節(jié)余二、衡量投資回報率的其他指標投資總額還本期＝年度凈節(jié)余33第八章培訓與開發(fā)項目評估通過本章的學習，應該重點了解和掌握以下內(nèi)容：1．人力資源培訓效果評估的內(nèi)涵2．為什么要進行培訓效果評估3．柯克帕特里克、CIRO、CIPP和菲利普斯的培訓效果評估模型4．培訓效果評估中收集信息的方法5．培訓效果評估的財務模式6．在培訓效果評估中常采用的研究設計方法第八章培訓與開發(fā)項目評估通過本章的學習，應該重點了解和掌握34第一節(jié)人力資源培訓效果評估的內(nèi)涵人力資源開發(fā)項目的主要目的是為了確保組織中的成員擁有能夠滿足當前和未來工作所需要的技術或能力。組織對其所開展的人力資源開發(fā)項目進行評估的意義主要體現(xiàn)在以下幾個方面：通過評估可以讓管理者以及組織內(nèi)部的其他成員相信人力資源開發(fā)工作是有價值的通過評估可以判斷某人力資源開發(fā)項目是否實現(xiàn)了預期的目標，及時發(fā)現(xiàn)人力資源開發(fā)項目的優(yōu)缺點，必要時進行調(diào)整計算人力資源開發(fā)項目的成本——收益率，為管理者的決策提供數(shù)據(jù)支持區(qū)分出從某開發(fā)項目中收獲最大或最小的學員，從而有針對性地確定未來的受訓人選，并為將來項目的市場推廣積累有利的資料第一節(jié)人力資源培訓效果評估的內(nèi)涵人力資源開發(fā)項目的主要目35學者時間內(nèi)涵泰勒（Tyler）1953將學員的表現(xiàn)與行為目標相比較的過程，即評價受訓者改變的情況。凱利（Kelly）1958可以判斷一個人工作貢獻的價值、工作的品質(zhì)和數(shù)量、未來發(fā)展的趨勢以及為達到目標所需要的幫助。斯達夫彼姆（Stufflebeam）1966對教育培訓方案的確定、獲取以及提供資料，作為決策參考的過程，最重要的目的在于改善現(xiàn)狀。海布林（Hamblin）1974指對教育方案評估資料收集的過程，并分析歸納影響培訓各種因素，反饋到有關部門人員。斯德（Snyder）1980對組織而言，培訓方案評估是一組程序，經(jīng)過系統(tǒng)化設計，收集有關方案，改變組織的過程和判斷資料，使評估的結果可以獲得組織在方案實行前、中、后所有相關的行為資料。戈爾斯坦（Goldstein）1986培訓效果評估是針對特定的培訓計劃，系統(tǒng)地收集資料，并給予適當?shù)脑u價，作為甄選，采用或修改教育培訓計劃等決策判斷的基礎。克里格爾（Clegg）1987培訓效果評估可以確定培訓是否值得，指出需要改進的地方，審核目標達成的情況，決定培訓是否繼續(xù)存在，找出更好的訓練方法并建立未來的培訓指導方針。菲利普斯（Phillips）1991培訓效果評估是一種系統(tǒng)性的過程，用以決定培訓方案的意義及價值，并對該培訓方案的未來使用情況作出決策。培訓效果評估的內(nèi)涵

學者時間內(nèi)涵泰勒1953將學員的表現(xiàn)與行為目標相比較的過程，36第二節(jié)培訓效果評估的發(fā)展階段及其目標一、培訓效果評估的發(fā)展階段

第一階段：培訓評估關注的是培訓者和受訓者對培訓的反應，而這樣的反應往往帶有隨意性。第二階段：在培訓評估中使用了一些實驗研究的方法。第三階段：創(chuàng)造性地將研究方法與現(xiàn)實條件結合起來，使培訓項目評估的操作性和可行性大大增加。第四階段：認識到整個培訓和人力資源開發(fā)流程都會對組織產(chǎn)生影響，所以評估的重點從單純的事后評估轉(zhuǎn)向了對整個人力資源開發(fā)流程的評估。第二節(jié)培訓效果評估的發(fā)展階段及其目標一、培訓效果評估的發(fā)37二、培訓效果評估的目標

1.布朗德伯格（Branderburg）的研究（1982）分析培訓活動成本改進培訓發(fā)展方案給學員、培訓方案設計者和管理者提供反饋了解員工技術水平與效率發(fā)現(xiàn)組織未來領導者為績效評估提供有效信息為員工安排適當?shù)墓ぷ鳎瑸榕嘤枡C構建立地位與聲譽二、培訓效果評估的目標382.菲力普斯（Phillips）的研究（1983）判斷某項目是否實現(xiàn)了它的目標找出人力資源開發(fā)項目的優(yōu)缺點，如果需要的話，進行一定的調(diào)整計算人力資源開發(fā)項目的成本——收益率選擇誰將參加將來的培訓需要衡量各種測驗、案例和練習是否清楚有效區(qū)分出從某項目中收獲最大或最小的受訓者強化受訓者所學到的主要內(nèi)容為將來項目的市場推廣積累有利的資料判斷項目是否能夠滿足特殊需求協(xié)助管理者作出決策建立數(shù)據(jù)庫培訓與開發(fā)項目評估教材課件393.斯威爾克塞克等（Swierczek&Carmiachael）的研究（1985）改進培訓方案給學員、方案設計者和管理者提供反饋意見評價員工技術水平培訓與開發(fā)項目評估教材課件404.克里格爾（Clegg）的研究（1987）判斷教育培訓方案價值證明教育培訓效用的存在審核教育培訓項目達成的情況幫助教育培訓獲得更多的利益指出教育培訓需要改進的地方建立教育培訓未來的指導方針高層管理者的要求有助于培訓方案體系的推銷讓受訓者了解自己的成就讓受訓者感受自己的重要性判斷教育培訓人員的成效培訓與開發(fā)項目評估教材課件415.布什內(nèi)爾（Bushnell）的研究（1990）測量成本與結果是否平衡改進培訓方案學員知識與技能的掌握程度培訓與開發(fā)項目評估教材課件426.特索羅（Tesoro）的研究（1991）保證培訓能夠達到既定目標了解學員對培訓教師、培訓環(huán)境、設備等因素的反映發(fā)現(xiàn)培訓方案最為出色的地方判斷學員在是否將學到得技能知識運用到工作中檢查教材的效度確認問題，尋找可能解決問題的方案判斷方案的價值向組織發(fā)布培訓的效益做出有關的培訓方案規(guī)劃改善培訓方案的內(nèi)容和結構培訓與開發(fā)項目評估教材課件43本書的觀點：培訓的成本效益分析向培訓的設計者、管理者和參與者提供反饋改進培訓方案判斷學員實際工作中對培訓中涉及到的技能知識的運用情況評價培訓人員的成效與強化評估機構的地位培訓與開發(fā)項目評估教材課件44第三節(jié)培訓效果評估的模型模型/框架培訓評估指標1．柯布（Korb）1956知識與態(tài)度、受益及運用程度、績效紀錄和主管評語、生產(chǎn)效率、工作滿意度和士氣2.柯克帕特里克（Kirkpatrick）（1967，1987，1994）四個層次：學員反應、學習成果、工作行為、經(jīng)營業(yè)績3.CIPP（高爾文，1983）四個層次：情境、投入、過程、產(chǎn)品4.CIRO（沃爾等人，1970）情境、投入、反應、產(chǎn)出5.布林克霍夫（1987）Brinkerhoff六個階段：目標設定、項目策劃、項目實施、及時的產(chǎn)出、中間產(chǎn)出或結果應、產(chǎn)生的影響和價值6.系統(tǒng)方法（布什內(nèi)爾，1990）Bushnell四個活動集合：輸入、過程、輸出、結果7.克里格爾、福特和薩拉斯（1993）Clegg學習結果的分類框架：將學習結果分為：認知、技能和情感三類，提出了測量每一類結果的指標8.考夫曼和凱勒（1994）Kauferman五個層次：反應、獲取、應用、組織產(chǎn)出、社會貢獻9.霍爾頓（1996）Holton五類變量以及它們之間的關系：次級影響、動機要素、環(huán)境要素、結果、能力要素10.菲利普斯（1996）Phillips五個層次：反應和行動改進計劃、學習、學習成果在工作中的應用、經(jīng)營業(yè)績、投資回報人力資源開發(fā)評估模型/框架

第三節(jié)培訓效果評估的模型模型/框架培訓評估指標1．柯布（K45一、柯克帕特里克的培訓效果評估模型反應學習行為結果準則信息的價值采用頻率評估的難度反應最低經(jīng)常采用容易學習行為結果最高不常采用困難一、柯克帕特里克的培訓效果評估模型準則信息的價值46二、CIRO和CIPP評估模型CIRO評估模型情景評估輸入評估反應評估輸出評估CIPP評估模型產(chǎn)出評估投入評估過程評估背景評估二、CIRO和CIPP評估模型47三、菲力普斯的五級投資回報率第一級是反應和既定的活動第二級評估的是學習第三級評估的是在工作中的運用第四級評估是業(yè)務結果第五級評估是投資回報率三、菲力普斯的五級投資回報率48四、其他模型和框架布林克霍夫?qū)⑴嘤栐u估模型拓展成了六個階段目標設定：培訓需求是什么？項目策劃：怎樣做才能滿足培訓需求？項目實施：項目運作得好嗎？影響和價值：培訓是否對組織的運作做出了有價值的貢獻？中間產(chǎn)出或使用結果：受訓者是否在工作中運用了他們所學的東西？即時的結果：受訓者學到東西了嗎？四、其他模型和框架49類別學習結構測量的重點備選的培訓評估方法認知認知結果言語知識知識的組織認知策略陳述性知識腦海中的模型自我洞察儲存的知識量回憶的準確性速度，知識的可獲取性類似于知識各部分之間的最佳聯(lián)系排列知識各部分間的等級次序自我覺察自我調(diào)控再認和回憶測驗能力測驗速度測驗自由分類結構分析，比如路徑搜尋探索性的口語分析認知技能自我報告測驗的準備狀態(tài)技能基于技能的結果編輯自主性組合程序化自動加工調(diào)整操作速度操作的流暢性錯誤率組塊區(qū)別加強要求注意可利用的認知資源對目標行為進行觀察動手測驗結構化的情景訪談次級任務操作干擾問題內(nèi)置的測量情感情感結果態(tài)度的動機針對的目標（比如安全意識）態(tài)度的強弱動機傾向自我效能目標設定態(tài)度引導態(tài)度的強弱學習取向和績效取向取向是否恰當知覺到的操作能力目標的層次目標結構的復雜性目標承諾自陳的測量自陳的測量自陳的測量自陳的測量自由回憶自由分類培訓評估所用的學習結果分類框架

類別學習結構測量的重點備選的培訓評估方法認知認知結果言語知識50著名企業(yè)評估標準薩拉托加研究所學員滿意度學習的變化行為的變化組織的變化美國電報電話公司反應結果能力結果應用結果價值結果IBM公司反應測驗應用企業(yè)結果美國施樂公司進入能力課后績效熟練績效組織績效摩托羅拉公司學員反應學員學習學員運用成果與影響世界著名企業(yè)對培訓效果評估指標的運用

著名企業(yè)評估標準薩拉托加研究所學員滿意度美國電報電話公司反應51影響培訓效果評估方案類型的因素影響因素該因素如何影響評估方案的類型

修改的可能性培訓項目能夠修改嗎？重要性無效的培訓會對顧客服務、產(chǎn)品開發(fā)或員工間的關系產(chǎn)生影響嗎？范圍有多少員工參與培訓？培訓目標培訓是為了學習、成果轉(zhuǎn)化還是二者兼顧？企業(yè)文化對結果的解釋是企業(yè)準則和期望的一部分嗎？專業(yè)技術是否具有分析復雜研究成果的專業(yè)技術？成本評估是不是成本很高？時間限定我們何時需要評估結果信息？影響52第四節(jié)培訓評估所需數(shù)據(jù)的收集方法一、培訓評估所需數(shù)據(jù)的類型

產(chǎn)出質(zhì)量成本時間生產(chǎn)的數(shù)量 制造的噸數(shù) 裝配的件數(shù) 售出件數(shù) 銷售額 窗體加工數(shù)量 貸款批準數(shù)量 存貨的流動量探視病人的數(shù)量 對申請的處理數(shù)量畢業(yè)的學員數(shù)量 任務的完成數(shù)量 訂貨量 獎金 發(fā)貨量 新建的帳目數(shù)量

廢品次品退貨出錯比率返工缺貨產(chǎn)品暇疵與標準的差距生產(chǎn)故障存貨的調(diào)整工作順利完成的比例事故數(shù)量客戶投訴預算的變化 單位成本 財務成本 流動成本 固定成本 營業(yè)間接成本 運營成本延期成本 罰款 項目成本節(jié)約 事故成本 規(guī)劃成本 銷售費用 管理成本平均成本節(jié)約運轉(zhuǎn)周期對投訴的應答時間/次數(shù)設備的停工時間/次數(shù)加班時間每日平均時間完成所需時間貸款的處理時間管理時間培訓時間開會時間修理時間效率工作的中斷時間對定貨的回應時間晚報告時間損失的時間天數(shù)硬性數(shù)據(jù)的四種主要類型

第四節(jié)培訓評估所需數(shù)據(jù)的收集方法一、培訓評估所需數(shù)據(jù)的類53一、培訓評估所需數(shù)據(jù)的類型

軟性數(shù)據(jù)的主要類型

組織氛圍滿意度新技能不滿的數(shù)量歧視次數(shù)員工的投訴工作滿意度組織的承諾員工的離職比率 贊成性反應工作滿意度態(tài)度的變化對工作職責的理解可觀察到的業(yè)績變化員工的忠誠程度信心的增加決策問題的解決沖突的避免提供咨詢的成功機會傾聽理解能力閱讀速度對新技能的運用對新技能的運用意圖對新技能的運用頻率新技能的重要性工作習慣發(fā)展創(chuàng)造性曠工消極怠工看病次數(shù)違反安全規(guī)定溝通破裂的次數(shù)過多的休息升遷的數(shù)量工資的增加數(shù)量參加的培訓項目數(shù)量崗位輪調(diào)的請求次數(shù)業(yè)績評估的打分情況工作效率的提高程度新想法的實施項目的成功完成對建議的實施量設定目標一、培訓評估所需數(shù)據(jù)的類型軟性數(shù)據(jù)的主要類型組織氛圍滿54二、數(shù)據(jù)的收集方法方法具體的過程優(yōu)點缺點1訪談法和一個或多個人進行交談，以了解他們的信念、觀點和觀察到的東西靈活可以進行解釋和澄清能深入了解某些信息私人性質(zhì)的接觸引發(fā)的反應在很大程度上是回應性的成本很高面對面的交流障礙需要花費很多人力需要對觀察者進行培訓2.問卷調(diào)查法用一系列標準化的問題去了解人們的觀點和觀察到的東西成本低匿名的情況下可提高可信度可以在匿名的情況下完成填寫問卷的人可以自己掌握速度有多種答案選項數(shù)據(jù)的準確性可能不高如果是在工作中完成問卷填寫的，那么對這個過程很難進行控制不同的人填寫問卷的速度不同無法保證問卷回收率3.直接觀察對一項任務或多項任務的完成過程進行觀察和記錄不會給人帶來威脅是用于測量行為改變的極好的途徑可能會打擾當事人可能會造成回應性的反應可能不可靠需要受過訓練的觀察者4.測驗和模擬在結構化的情景下分析個人的知識水平或完成某項任務的熟練程度購買成本低容易記分可迅速批改容易施測可大面積采樣可能會帶來威脅感也許與工作績效不相關對常模的依賴可能會歪曲個人的績效可能有文化帶來的偏差5.檔案記錄分析使用現(xiàn)有的信息，比如檔案或報告可靠客觀與工作績效有密切的關系要花費大量的時間對現(xiàn)實進行模擬往往很困難開發(fā)成本很高人力資源開發(fā)項目評估所用的數(shù)據(jù)采集方法

二、數(shù)據(jù)的收集方法方法具體的過程優(yōu)點缺點1訪談法和一個或多55第五節(jié)培訓效果評估中的研究設計方法一、常用的研究設計前實驗設計前實驗設計缺乏科學的嚴謹性，不是完全的“實驗”，只是為了方便和從費用、人力方面考慮進行的簡單研究

準實驗設計準實驗設計，不象實驗設計具有嚴謹?shù)目刂瞥绦?，但在從事社會科學的實驗研究時，常需配合現(xiàn)實條件的限制，采用控制較不嚴謹，但施行方便的設計形式，也就是在實驗中，運用完整的受試者團體，而非隨機將受試者分派于不同之實驗處理或情境的設計

實驗設計實驗設計采取嚴謹?shù)膶嶒灴刂魄榫?，遵循隨機化原則，以實驗組、控制組進行實驗研究，并運用統(tǒng)計方法考驗分析實驗結果，驗證假設，最能合乎科學研究精神

第五節(jié)培訓效果評估中的研究設計方法一、常用的研究設計56二、實驗信度與效度信度是指衡量工具的準確性或是精確性。效度是指的是我們采用的方法是否真正地測到了我們想要測的東西二、實驗信度與效度57影響因素內(nèi)容描述歷史歷史效果使得兩次衡量間隔產(chǎn)生變量的變動成熟實驗單位本身日漸成熟測試第一次實驗對第二次實驗產(chǎn)生影響工具衡量工具無法同時同地點衡量實驗組與控制組回歸選定特定樣本受測產(chǎn)生回歸效果抽樣沒有以隨機方式產(chǎn)生樣本死亡率實驗者中途脫離交互作用實驗組與控制組之間產(chǎn)生互動內(nèi)在效度影響內(nèi)在效度的因素

影響因素內(nèi)容描述歷史歷史效果使得兩次衡量間隔產(chǎn)生變量的變動58外在效度影響外在效度的因素

影響因素內(nèi)容描述對前試的反應預試使得被實驗者對實驗感到敏感對評估的反應受訓者由于要受到評估而在培訓項目中更加努力甄選與培訓之間交互作用受訓者的人格特質(zhì)影響培訓成效，故研究結果只能類推到具有相同特性的人身上不同方法的交互作用受訓者接受不同的研究方式，故研究結果只能類推到相同的實驗情景外在效度影響因素內(nèi)容描述對前試的反應預試使得被實驗者對實驗感59三、實驗設計的模式1．后測2．前測與后測3．時間序列4．有對照組的后測5．有對照組的前