某省財政支出項目績效評價操作指南(DOC 65頁).doc

財政支出項目績效評價操作指南財政支出項目績效評價操作指南 試行 試行 海南省財政廳 2010 年 8 月 I 目錄目錄 1引言引言 1 1 1背景 1 1 2目的 1 1 3內(nèi)容 1 1 4使用 4 2項目績效評價的基本概念項目績效評價的基本概念 5 2 1績效評價的定義 5 2 2績效評價的原則 5 2 3項目的邏輯模型 5 2 4績效評價的準(zhǔn)則 6 2 5績效評價的步驟 7 3評價任務(wù)的組織評價任務(wù)的組織 9 3 1評價任務(wù)的組織模式 9 3 2評價管理者的職責(zé) 9 3 3績效評價小組 9 4編制評價任務(wù)大綱編制評價任務(wù)大綱 11 4 1功能 11 4 2編寫步驟 11 4 3內(nèi)容 12 5績效評價設(shè)計績效評價設(shè)計 15 5 1前期準(zhǔn)備 15 5 2開發(fā)績效評價框架 16 5 3完成績效評價實施方案 27 6績效評價的實施績效評價的實施 30 6 1證據(jù)收集 30 6 2證據(jù)整理 35 6 3分析 36 6 4績效評級 37 6 5形成評價結(jié)論 經(jīng)驗教訓(xùn)和建議 39 7評價結(jié)果的報告評價結(jié)果的報告 41 II 7 1執(zhí)行摘要的編寫 42 7 2主體報告 42 7 3附件 47 7 4與利益相關(guān)者溝通 47 7 5形成報告終稿 47 8評價結(jié)果的使用和擴(kuò)散評價結(jié)果的使用和擴(kuò)散 48 8 1評價結(jié)果的使用 48 8 2評價結(jié)果的擴(kuò)散 49 9績效評價的質(zhì)量控制績效評價的質(zhì)量控制 50 9 1高質(zhì)量績效評價的特點 50 9 2不同階段的質(zhì)量控制 50 附件附件 53 附件 1 評價任務(wù)大綱 格式 53 附件 2 績效評價實施方案 格式 54 附件 3 財政支出項目績效評價報告 格式 57 III 表表 表 4 1 評價任務(wù)大綱評價任務(wù)實施計劃模板 14 表 5 1 項目基礎(chǔ)信息表 16 表 5 2 績效評價框架結(jié)構(gòu) 17 表 5 3 關(guān)鍵評價問題的適用性 20 表 5 4 相關(guān)性評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 22 表 5 5 效率評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 23 表 5 6 效果評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 24 表 5 7 可持續(xù)性評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 25 表 5 8 證據(jù)收集方法的優(yōu)缺點 27 表 5 9 遼寧城市交通項目省級座談會問題清單 部分 28 表 5 10 績效評價任務(wù)分解模板 29 表 6 1 案卷研究方法收集證據(jù) 以遼寧城市交通項目為例 31 表 6 2 面訪人員清單 32 表 6 3 座談會參與人員清單 34 表 6 4 績效評價表 38 表 7 1 項目關(guān)鍵信息 43 表 7 2 XX 項目績效評價等級表 43 圖圖 圖 1 1 績效評價操作指南框架 3 圖 2 1 項目邏輯模型 6 圖 5 1 績效評價設(shè)計流程 15 圖 5 2 設(shè)計階段績效評價框架開發(fā)流程 18 圖 7 1 績效評價報告編寫流程 42 IV 專欄專欄 專欄 4 1 高質(zhì)量評價任務(wù)大綱的核查問題清單 14 專欄 5 1 開發(fā)評價指標(biāo)的原則 21 專欄 5 2 遼寧城市交通項目簡介 21 專欄 5 3 績效評價證據(jù)來源 26 專欄 6 1 證據(jù)收集的一般規(guī)則 30 專欄 6 2 面訪記錄格式 32 專欄 6 3 遼寧城市交通項目省級座談會日程安排 33 專欄 6 4 座談會記錄格式 34 專欄 6 5 實地調(diào)研記錄格式 35 專欄 6 6 評價結(jié)論舉例 河北公路發(fā)展項目績效評價 39 專欄 6 7 經(jīng)驗教訓(xùn)舉例 河北公路發(fā)展項目績效評價 39 專欄 6 8 建議舉例 河北公路發(fā)展項目績效評價 40 專欄 7 1 撰寫績效評價報告的要點 41 專欄 7 2 圖 表的編制原則 45 專欄 7 3 績效分析格式 45 1 1引言引言 1 1背景背景 2009 年 6 月 22 日 財政部發(fā)布了 財政支出績效評價管理暫行辦法 財 預(yù) 2009 76 號 以下簡稱 辦法 財政支出績效評價自此有了統(tǒng)一的部門 規(guī)章 辦法 對績效評價的實施和管理提出了明確要求 對績效評價涉及的各 方職責(zé) 評價內(nèi)容 評價指標(biāo)的確定 評價方法 實施程序 報告撰寫和評價 結(jié)果應(yīng)用作出了原則性的規(guī)定 辦法 同時指出 各地可據(jù)此 辦法 制定切 合本地實際的管理辦法和實施細(xì)則 為此 海南省財政廳參照財政部 國際金融組織貸款項目績效評價操作指 南 并在開展績效評價試點的基礎(chǔ)上 組織編寫了 財政支出項目績效評價操 作指南 以下簡稱 指南 用以指導(dǎo)全省各級政府部門開展績效評價工作 1 2目的目的 本 指南 旨在向全省各級政府部門和評價人員開展財政支出項目績效評 價 簡稱績效評價 1 提供具體操作指導(dǎo) 從而幫助他們更好地理解 管理和 實施評價活動 并提高評價的規(guī)范性和質(zhì)量 本 指南 有 3 個主要目的 幫助各級政府部門管理人員 項目實施人員和評價人員更好地理解并 掌握財政支出項目績效評價的基本概念 一般準(zhǔn)則 方法及其他相關(guān) 知識 幫助各級政府部門有效地開展績效評價管理工作 并對績效評價進(jìn)行 質(zhì)量控制 指導(dǎo)評價人員規(guī)范地實施績效評價任務(wù) 從而提高績效評價的質(zhì)量 此外 本 指南 還可以作為各級政府部門建立適合本地 本部門實際的 績效目標(biāo)管理系統(tǒng)的重要參考 1 3內(nèi)容內(nèi)容 本 指南 包括 9 章內(nèi)容 第 1 章是引言 主要說明 指南 編寫的背景 1 以下如無特殊說明 績效評價均指的是財政支出項目績效評價 2 目的 內(nèi)容及其使用 第 2 章是績效評價的基本概念 主要介紹本 指南 涉 及的定義 評價原則 準(zhǔn)則 評價步驟等 第 3 4 章是績效評價管理 主要闡 述評價任務(wù)的組織和評價任務(wù)大綱的設(shè)計與編寫 第 5 7 章是績效評價的設(shè)計 與實施 重點介紹績效評價的設(shè)計 實施和評價報告編寫 第 8 章是評價結(jié)果 的使用與擴(kuò)散 介紹如何使用評價結(jié)果 如何進(jìn)行評價結(jié)果的擴(kuò)散 第 9 章是 績效評價的質(zhì)量控制 質(zhì)量控制對于績效評價非常關(guān)鍵 是評價管理者重要工 作之一 質(zhì)量控制貫穿于績效評價從設(shè)計 實施到撰寫報告的全過程 3 圖 1 1 財政支出項目績效評價操作指南框架 前期準(zhǔn)備 準(zhǔn)備階段 確定評價任務(wù) 確定評價任務(wù)的實施模式 第 3 章 編制評價任務(wù)大綱 第 4 章 評價設(shè)計 設(shè)計階段 第 5 章 前期準(zhǔn)備 開發(fā)績效評價框架 核心 形成評價實施方案 質(zhì)量控制 第 9 章 評價實施 實施階段 第 6 章 證據(jù)收集 質(zhì)量控制 第 9 章 證據(jù)整理 證據(jù)分析 績效評級 形成評估結(jié)論 經(jīng)驗教訓(xùn)和建 議 報告結(jié)果 報告階段 第 章 編寫報告正文 摘要 附件初 稿 績效評價初稿 與利益相關(guān)者溝通 修改形成績效評價終稿 結(jié)果使用和擴(kuò)散 使用和擴(kuò)散階段 第 8 章 質(zhì)量控制 第 9 章 4 1 4使用使用 本 指南 適用于 辦法 中涉及的財政性資金安排的支出項目 以下簡 稱項目 2 本 指南 的使用者包括各級財政部門及其他政府部門中負(fù)責(zé)績效 評價管理的人員 參與財政支出項目績效評價的評價人員 咨詢專家及其他相 關(guān)人員 本 指南 的內(nèi)容針對不同使用者的需求進(jìn)行了編排 第 1 2 8 章 適用于所有使用者閱讀和使用 第 3 4 9 章主要供績效評價管理者閱讀和使 用 第 5 6 7 章則主要供評價人員 咨詢專家閱讀和使用 當(dāng)然 我們鼓勵 使用者閱讀完 指南 的全部內(nèi)容 以便更好地理解并開展績效評價工作 2 如無特殊說明 以下 項目 均指財政性資金安排的項目 5 2項目績效評價的項目績效評價的基本概念基本概念 2 12 1 績效評價的定義績效評價的定義 績效評價的定義是開展項目績效評價相關(guān)各方相互溝通和理解的一個基礎(chǔ) 本 指南 所稱的績效評級 是指財政部門和預(yù)算部門 單位 根據(jù)設(shè)定的 績效目標(biāo) 運用科學(xué) 合理的評價方法 指標(biāo)體系和評價標(biāo)準(zhǔn) 對財政支出 產(chǎn)出和效果進(jìn)行客觀 公正的評價 2 22 2 績效評價的原則績效評價的原則 客觀 公正原則 應(yīng)當(dāng)依據(jù)績效評價準(zhǔn)則 關(guān)鍵評價問題等開展評價 活動 確保評價結(jié)果的真實性 科學(xué) 規(guī)范原則 績效評價的設(shè)計應(yīng)當(dāng)具有科學(xué)性和可操作性 評價 的實施應(yīng)該遵循規(guī)范的程序和方法 可靠性原則 績效評價應(yīng)該既要報告項目成功的方面 也要報告項目 失敗的方面 目標(biāo)導(dǎo)向原則 績效評價以項目目標(biāo)為導(dǎo)向 重點評價項目目標(biāo)的相 關(guān)性 目標(biāo)實現(xiàn)程度 相對于目標(biāo)實現(xiàn)程度的效率 以及項目成效的 可持續(xù)性 參與性原則 項目各利益相關(guān)者 包括項目管理方 項目實施單位 項目受益群體 有關(guān)專家等 要盡可能地以適當(dāng)方式參與到考評過程 中來 2 32 3 項項目目的的邏邏輯輯模模型型 財政支出項目的設(shè)計都應(yīng)使用邏輯模型 項目邏輯模型是一種理解從投 入到結(jié)果之間的因果關(guān)系的有效工具 項目邏輯模型包括投入 活動 產(chǎn)出 成效 影響 5 個關(guān)鍵要素 其背后的邏輯是 對一個項目投入一定的資源 以 便其開展必要的活動 至少有一些活動會獲得一些產(chǎn)出 比如產(chǎn)品和服務(wù) 通 過使用這些產(chǎn)出應(yīng)該會帶來某種變化 投入 Inputs 指用于項目實施的各種資源 包括人力 資金 實物 6 時間和專業(yè)技能等資源 活動 Activities 我們所做的 指為實現(xiàn)項目目標(biāo)而調(diào)動和使用各種 資源的各項行動和工作 活動可以使用動詞來表述 開展 建設(shè) 培訓(xùn) 調(diào)研 等 產(chǎn)出 Outputs 我們所生產(chǎn)的 指通過實施各項活動而產(chǎn)生的產(chǎn)品和服 務(wù) 是有形的 可計算的 比如為 50 個人提供了醫(yī)療服務(wù) 培訓(xùn)了 100 名小學(xué) 教師 修建了 100 公里公路 成效 Outcomes 我們?yōu)楹巫?指通過使用項目的產(chǎn)出而帶來的短期或 中期的直接效果 成效能夠被增加 減少 增強(qiáng) 改善或維持 比如新修公路 使通行時間縮短 提高了運輸效率 設(shè)定清晰的成效對于設(shè)計和構(gòu)建結(jié)果導(dǎo)向 的監(jiān)測與評價體系至關(guān)重要 成效不能直接考核 它必須轉(zhuǎn)化為一組關(guān)鍵指標(biāo) 這些指標(biāo)能夠提供關(guān)于成效是否得以實現(xiàn)的信息 影響 Impacts 指由成效累積導(dǎo)致的長期的或全面的變化 類似于戰(zhàn)略 目標(biāo) 比如運輸效率提高降低了運輸成本 成效 從而促進(jìn)了當(dāng)?shù)亟?jīng)濟(jì)的發(fā)展 影響 圖 2 1 以某培訓(xùn)項目為例 解釋項目邏輯模型 圖 2 1 項目邏輯模型 以某培訓(xùn)項目為例 2 42 4 績效評價的準(zhǔn)則績效評價的準(zhǔn)則 本 指南 采用以下 4 個評價準(zhǔn)則 即相關(guān)性 效率 效果和可持續(xù)性 投入活動產(chǎn)出成效影響 1 資金 2 人員 3 物料供應(yīng) 1 培訓(xùn) 2 教育 3 咨詢服務(wù) 1 服務(wù)時數(shù) 2 完成課程 的參加者人 數(shù) 1 技能提升 2 態(tài)度改變 3 新的就業(yè) 機(jī)會 1 培訓(xùn)者在 5 年 內(nèi)比那些沒有接 受培訓(xùn)的人掙得 更多 2 接受培訓(xùn)的人 的生活水平高于 控制組 7 2 4 1 相關(guān)性 相關(guān)性是指項目目標(biāo)與政府的發(fā)展政策和優(yōu)先重點 部門 行業(yè)發(fā)展規(guī)劃以 及受益群體的需求的相符程度 通過對相關(guān)性的評價 可以檢查項目設(shè)計和項 目實施是否針對當(dāng)?shù)氐膶嶋H需求 解決當(dāng)?shù)氐膶嶋H問題 2 4 2 效率 效率是指資源 投入轉(zhuǎn)化為結(jié)果的經(jīng)濟(jì)性 效率評價的內(nèi)容包括項目實施的 時間效率 資金使用 在使用既定資源下的產(chǎn)出情況 項目的經(jīng)濟(jì)內(nèi)部收益率 EIRR 項目實施的時間效率考察項目是否按計劃的時間開工 是否在計劃實施周 期內(nèi)完工 資金使用考察項目資金的使用是否按照預(yù)算執(zhí)行 在使用既定資源 下的產(chǎn)出情況是指項目是否實現(xiàn)了所有的預(yù)計產(chǎn)出 項目經(jīng)濟(jì)內(nèi)部收益率是指 項目周期內(nèi)經(jīng)濟(jì)凈現(xiàn)值累計等于零的折現(xiàn)率 是反映項目對國民經(jīng)濟(jì)和社會貢 獻(xiàn)的相對指標(biāo) 2 4 3 效果 效果是指項目目標(biāo)的實現(xiàn)程度 它也表現(xiàn)為目標(biāo)群體的受益情況 效果從 項目目標(biāo)實現(xiàn)程度和項目瞄準(zhǔn)度兩方面進(jìn)行評價 項目目標(biāo)是在項目設(shè)計時的 預(yù)計成效 指通過一系列項目活動而要實現(xiàn)的結(jié)果 通常表現(xiàn)為對社會 經(jīng)濟(jì) 社區(qū) 目標(biāo)人群所產(chǎn)生的積極作用 項目瞄準(zhǔn)度是指考察項目成果是否真正地 被目標(biāo)群體享有 也就是說 項目效果的評價不僅取決于項目實現(xiàn)預(yù)期目標(biāo)的 程度 也要考察其成果 一般表現(xiàn)為項目提供的產(chǎn)品或服務(wù) 是否使目標(biāo)人群 受益 2 4 4 可持續(xù)性 可持續(xù)性是指項目完工后持續(xù)運行和發(fā)揮成效的可能性 它針對保障項目 持續(xù)運行并發(fā)揮成效的各方面因素進(jìn)行評價 這些因素包括項目管理或運行機(jī) 構(gòu)的持續(xù)性 項目產(chǎn)出的維護(hù)和利用 制度保障等 此外 由于財政部門對項 目還款十分關(guān)注 可持續(xù)性還對項目還款能力進(jìn)行評價 8 2 52 5 績效評價的步驟績效評價的步驟 績效評價一般包括以下幾個步驟 每個步驟的詳細(xì)內(nèi)容和做法將在以后各 章進(jìn)行闡述 第 1 步 前期準(zhǔn)備 前期準(zhǔn)備包括確定績效評價任務(wù)和評價組織實施模式 見第 3 章 編制評 價任務(wù)大綱 見第 4 章 等 第 2 步 評價設(shè)計 根據(jù)評價任務(wù)大綱設(shè)計詳細(xì)的評價實施方案 包括開發(fā)績效評價框架 選 擇證據(jù)收集方法 設(shè)計面訪 座談會和實地調(diào)研等的問題清單 進(jìn)行人員 時 間和經(jīng)費安排等 見第 5 章 第 3 步 評價實施 按照設(shè)計的方案開展績效評價 包括證據(jù)收集整理 證據(jù)分析 形成評價 結(jié)論 經(jīng)驗教訓(xùn)和建議等 見第 6 章 第 4 步 報告評價結(jié)果 按照本 指南 附件 3 的格式編寫績效評價報告 在此過程中要與利益相 關(guān)者進(jìn)行溝通 并將他們的觀點和意見吸收到評價報告中來 見第 7 章 第 5 步 評價結(jié)果使用和擴(kuò)散 項目管理部門利用評價結(jié)果 用于解決問題 改進(jìn)管理或為決策提供依據(jù) 財政部門將評價結(jié)果與以后年度的預(yù)算安排進(jìn)行掛鉤 見第 8 章 9 3評價任務(wù)的組織評價任務(wù)的組織 具體評價任務(wù)由財政部門以文件形式下達(dá)的年度評價計劃確定 3 1評價任務(wù)的組織模式評價任務(wù)的組織模式 評價任務(wù)可以由管理部門 各級財政部門和預(yù)算部門 組織實施 也可根 據(jù)需要委托外部專業(yè)機(jī)構(gòu)或?qū)＜疫M(jìn)行 并與其簽訂委托合同 無論采取哪種方 式 管理部門都應(yīng)指派一名評價管理者 并要組建合格的評價小組實施績效評 價 3 2評價管理者的職責(zé)評價管理者的職責(zé) 評價管理者應(yīng)為熟悉被評項目的管理人員 應(yīng)履行以下職責(zé) 編寫績效評價任務(wù)大綱 與評價小組進(jìn)行充分溝通 使其完全理解評價任務(wù)大綱的每一項內(nèi)容 為評價活動提供必要的支持和及時的反饋 監(jiān)督評價活動的進(jìn)展并進(jìn)行質(zhì)量控制 對評價活動中出現(xiàn)的情況及時做出決策 如委托合同需要變更 應(yīng)與評價小組進(jìn)行協(xié)商 檢查評價報告初稿是否符合合同和 指南 的要求 對評價報告初稿提出反饋意見 確保各利益相關(guān)者有機(jī)會對評價報告初稿提出意見和建議 并保證這些 意見和建議反映在評價報告終稿中 促進(jìn)評價結(jié)果的使用和擴(kuò)散 10 3 3績效評價小組績效評價小組 3 3 1評價小組應(yīng)具備的知識和技能 不管是管理部門自己評價 還是委托外部專業(yè)機(jī)構(gòu)或?qū)＜以u價 都需要成 立績效評價小組 評價小組是進(jìn)行績效評價的設(shè)計 實施和報告編寫的團(tuán)隊 評價小組對于績效評價尤為重要 它是評價任務(wù)能否成功實施的關(guān)鍵因素 雖 然績效評價需要的知識和技能因不同項目而異 但以下列出的知識和專業(yè)技能 是評價小組必須具備的 績效評價知識和技能 這是一種綜合的能力 包括績效評價理論知識 方法和其他技能 如經(jīng)濟(jì)分析 統(tǒng)計分析 社會調(diào)查等 溝通能力 溝通能力十分重要 它有利于與利益相關(guān)者進(jìn)行友好溝通 促進(jìn)利益相關(guān)者參與績效評價并提供必要協(xié)助 并向不同用戶有效地報 告評價結(jié)果 組織協(xié)調(diào)能力 組織協(xié)調(diào)能力是保證績效評價順利實施的關(guān)鍵 包括組 織和調(diào)動各種資源 協(xié)調(diào)評價中不同任務(wù)的進(jìn)展 控制評價任務(wù)在規(guī)定 的時間內(nèi)完成 行業(yè)知識 評價小組要熟悉項目所在的行業(yè)背景 發(fā)展?fàn)顩r 相關(guān)政策 專業(yè)知識等 了解當(dāng)?shù)厍闆r 因為項目實施的成功與否有時取決于當(dāng)?shù)匾蛩?所以了 解當(dāng)?shù)厣鐣臀幕尘昂苤匾?評價小組還需要了解當(dāng)?shù)氐陌l(fā)展政策 優(yōu)先重點 以及面臨的主要發(fā)展問題 如果項目的目標(biāo)群體還涉及少數(shù) 民族 還應(yīng)該了解并尊重他們的生活習(xí)俗 以便更好地與他們進(jìn)行溝通 3 3 2評價小組的構(gòu)成 評價小組由若干名評價人員組成 評價小組成員不得與項目管理 實施 運行等有利益沖突 并不要求評價小組的每名成員都具備上述知識和能力 允 許評價人員各具專長 通過互相補(bǔ)充 互相學(xué)習(xí)而使整個評價小組具備上述知 識和技能 從而勝任評價任務(wù) 評價小組必須指定一名評價組長 組長應(yīng)該具備以下條件 11 具有較為深厚的績效評價知識和技能 熟悉被評項目所在領(lǐng)域的相關(guān)政策 技術(shù) 管理等知識 具有較強(qiáng)責(zé)任心 評價組長應(yīng)履行以下職責(zé) 負(fù)責(zé)與管理部門溝通 督促并協(xié)調(diào)評價小組成員的工作并管理日常工作 在評價小組出現(xiàn)不同意見時充當(dāng)協(xié)調(diào)人 確保評價小組按照評價任務(wù)大綱實施評價 編寫評價報告并負(fù)責(zé)報告最終定稿 12 4 編制評價任務(wù)大綱編制評價任務(wù)大綱 評價任務(wù)大綱 Terms of Reference TOR 是一個書面文件 它載明評價 的目的和范圍 評價使用的方法 績效評價或分析針對的標(biāo)準(zhǔn) 需要的資源 時間安排和評價報告要求 每個項目績效評價都必須編寫一個評價任務(wù)大綱 4 14 1 功能功能 評價任務(wù)大綱體現(xiàn)了管理部門對績效評價的要求 是從評價任務(wù)組織到評 價結(jié)果使用與擴(kuò)散的整個評價活動必須遵循的核心文件 評價任務(wù)大綱對于績 效評價至關(guān)重要 主要發(fā)揮以下 4 個方面的作用 將年度評價計劃中的任務(wù)轉(zhuǎn)化成可操作的評價工作 為評價小組進(jìn)行具體評價設(shè)計和實施提供基礎(chǔ) 為各利益相關(guān)方對評價任務(wù)形成共識提供基礎(chǔ) 為評價管理者進(jìn)行績效評價質(zhì)量控制 核查評價小組任務(wù)完成情況提供 依據(jù) 4 24 2 編寫步驟編寫步驟 評價任務(wù)大綱由評價管理者根據(jù)確定的評價任務(wù)進(jìn)行編寫 編寫評價任務(wù) 大綱一般包括 4 個步驟 前期準(zhǔn)備 起草評價任務(wù)大綱初稿 與利益相關(guān)者溝 通 形成最終評價任務(wù)大綱 4 2 1 前期準(zhǔn)備 編寫之前要對項目進(jìn)行必要的研究和分析 要明確評價目的 熟悉項目目 標(biāo) 特點 實施和完成情況 了解項目實施的社會經(jīng)濟(jì)背景 掌握項目現(xiàn)有數(shù) 據(jù)信息情況 4 2 2 起草評價任務(wù)大綱初稿 在前期準(zhǔn)備和估算用于評價的資源 包括經(jīng)費 人員和時間 等基礎(chǔ)上 編寫評價任務(wù)大綱初稿 13 4 2 3 與利益相關(guān)者溝通 評價任務(wù)大綱初稿要與項目主管部門 項目實施及運行機(jī)構(gòu) 行業(yè)專家等 主要利益相關(guān)者進(jìn)行溝通 聽取他們的意見和建議 4 2 4 形成最終評價任務(wù)大綱 在考慮利益相關(guān)者的建議和意見基礎(chǔ)上 修訂完善評價任務(wù)大綱初稿 形 成最終評價任務(wù)大綱 4 34 3 內(nèi)容內(nèi)容 高質(zhì)量的評價任務(wù)大綱應(yīng)該包括以下幾部分內(nèi)容 評價目的 項目描述 評價范圍 涉及的利益相關(guān)者 關(guān)鍵評價問題 方法 預(yù)期成果 評價小組 實施計劃 費用與支付 管理部門責(zé)任等 4 3 1 評價目的 評價任務(wù)大綱的第一部分要明確評價目的 評價目的要具體寫明為什么要 開展此項評價 評價結(jié)果將如何使用 以及由誰使用 4 3 2 項目描述 對項目背景 項目目標(biāo) 項目投入與活動 實施情況等方面進(jìn)行簡要描述 以便評價人員能夠迅速了解項目基本情況 項目背景 項目實施的國家層面和地方層面的社會經(jīng)濟(jì)發(fā)展?fàn)顩r 項目 所屬的領(lǐng)域 所要解決的主要問題 如基本醫(yī)療衛(wèi)生服務(wù)不足問題 城 市交通發(fā)展瓶頸問題 環(huán)境污染問題等 項目目標(biāo) 項目的預(yù)期產(chǎn)出和成效 如果項目設(shè)定了具體目標(biāo) 還應(yīng)描 述其具體目標(biāo) 項目投入與活動 項目投入金額和構(gòu)成 為了實現(xiàn)項目目標(biāo)而設(shè)置的項 目組成 Components 及其開展的活動 Activities 實施情況 項目的實施周期 從開工到完工 實施地點 實施組織情 況 4 3 3 評價范圍 評價范圍確定了績效評價的廣度和深度 包括時間范圍 地域范圍和收益 群體范圍 評價范圍往往與評價目的有關(guān) 14 4 3 4 涉及的利益相關(guān)者 項目往往涉及多個利益相關(guān)者 包括管理部門 項目實施機(jī)構(gòu) 項目運行 機(jī)構(gòu) 目標(biāo)群體 社區(qū)等 要說明希望他們參與績效評價的形式 上述描述是 為了使評價人員了解項目的利益相關(guān)者 并盡可能從他們那里收集到績效評價 的有用信息 4 3 5 關(guān)鍵評價問題 這部分要列出績效評價想要回答的關(guān)鍵問題 關(guān)鍵評價問題是針對評價目 的 在評價準(zhǔn)則基礎(chǔ)上進(jìn)行開發(fā)的 本 指南 列出了 12 個必須回答的關(guān)鍵評 價問題 見第 5 2 1 節(jié) 管理部門根據(jù)需要 可以突出其中若干個問題 或補(bǔ) 充其他問題 4 3 6 方法 描述證據(jù)收集可能用到的方法 比如案卷研究 面訪 實地調(diào)研 問卷調(diào) 查 座談會等 不同方法的成本不同 在選擇使用何種方法時要考慮績效評價 的預(yù)算 具體方法由評價小組進(jìn)行開發(fā) 4 3 7 預(yù)期成果 通過績效評價管理部門想要獲得的成果 如績效評價報告 評價進(jìn)展報告 及其提交時間 如果評價成果要用于擴(kuò)散 如研討會 那么這部分還要描述評 價人員在成果擴(kuò)散中應(yīng)發(fā)揮哪些作用 4 3 8 評價小組 這部分要描述評價小組所需要的知識 能力和經(jīng)驗 以及其他相關(guān)能力 如語言能力 還要描述建議的評價小組人數(shù) 4 3 9 實施計劃 這部分說明評價任務(wù)將要開展的活動及時間安排 尤其是評價成果的提交 時間節(jié)點 這里主要列出評價任務(wù)實施的關(guān)鍵時間節(jié)點和任務(wù)負(fù)責(zé)人 詳細(xì)的 實施計劃由評價小組開發(fā) 實施計劃模板 見表 4 1 15 表 4 1 評價任務(wù)大綱評價任務(wù)實施計劃模板 序號活動描述時間安排負(fù)責(zé)人 1簽訂任務(wù)合同XX 年 XX 月XX 管理部門 評價小組 2開發(fā)績效評價框架XX 年 XX 月評價小組 3形成評價方案XX 年 XX XX 月評價小組 4評價實施XX 年 XX XX 月評價小組 5提交報告初稿XX 年 XX 月評價小組 6利益相關(guān)者反饋XX 年 XX 月XX 管理部門及其他利益相關(guān)者 7評價報告終稿XX 年 XX 月評價小組 注 如果由財政部門自己開展績效評價 這個步驟則省略 4 3 10 費用與支付 這部分說明評價任務(wù)的預(yù)算費用和支付方式 4 3 11 管理部門責(zé)任 評價任務(wù)大綱要寫明管理部門在績效評價中的責(zé)任 包括管理部門要提供 相關(guān)項目文檔 為評價小組提供必要的協(xié)調(diào) 參與績效評價實施過程中的某些 活動 如實地調(diào)研 座談會和討論 對績效評價進(jìn)行質(zhì)量控制等 由于評價任務(wù)大綱對績效評價的成功實施至關(guān)重要 因此在公布最終評價 任務(wù)大綱之前 管理部門要對其質(zhì)量進(jìn)行檢查 見專欄 4 1 專欄 4 1 高質(zhì)量評價任務(wù)大綱的核查問題清單 為什么要開展此項評價 評價涉及了哪些利益相關(guān)者 所提出的評價問題是否明確 是否所有問題都能被回答 評價任務(wù)大綱是否提出了關(guān)于評價方法或評價程序的硬性要求 這些要求是否合理 是否有足夠的資源和時間來完成評價任務(wù) 在評價實施過程中 管理部門和其他利益相關(guān)者將為評價小組提供哪些必要支持 管理部門對于評價報告的要求是否清晰 評價小組能否根據(jù)評價任務(wù)大綱深化評價設(shè)計和實施評價任務(wù) 評價任務(wù)大綱格式見附件 1 16 5 績效評價設(shè)計績效評價設(shè)計 僅僅有高質(zhì)量的評價任務(wù)大綱還不能保證績效評價的成功實施 因為評價 任務(wù)大綱由評價管理者負(fù)責(zé)設(shè)計 主要對績效評價的關(guān)鍵要素進(jìn)行說明 是績 效評價實施的綱領(lǐng)性文件 但是 績效評價任務(wù)由評價小組負(fù)責(zé)具體實施 這 就要求評價小組要在對評價任務(wù)理解的基礎(chǔ)上 將評價任務(wù)大綱轉(zhuǎn)化為可操作 的實施方案 這才能保證績效評價的成功實施 因此 績效評價的設(shè)計要基于 評價任務(wù)大綱 并主要滿足評價任務(wù)大綱的要求 績效評價設(shè)計的主要產(chǎn)出就 是績效評價框架和 績效評價實施方案 績效評價設(shè)計流程見圖 5 1 在績效 評價設(shè)計的每個步驟中 評價小組都要與管理部門進(jìn)行溝通 圖 5 1 績效評價設(shè)計流程 前期準(zhǔn)備開發(fā)績效評價框架完成評價實施方案 熟悉項目文件 與管理部門溝通 理解評價任務(wù)大綱 內(nèi)容 完成項目基礎(chǔ)信息 表 開發(fā)評價指標(biāo) 選擇證據(jù)收集方法 形成績效評價框架 評價任務(wù)分解 評價小組分工 實施時間安排 設(shè)計面訪 座談會 實地調(diào)研問題清單 調(diào)查問卷等 形成評價實施方案 5 15 1 前期準(zhǔn)備前期準(zhǔn)備 前期準(zhǔn)備包括盡量收集并熟悉現(xiàn)有的項目文件 與管理部門 或委托方 進(jìn)行溝通 了解他們的意圖并理解評價任務(wù)大綱的內(nèi)容 前期準(zhǔn)備要查閱的項 目文件包括項目立項文件 項目實施計劃 項目進(jìn)展報告 項目中期檢查報告 項目完工報告 項目工作總結(jié)等 前期準(zhǔn)備要形成績效評價過程文件之一 項 目基礎(chǔ)信息表 見表 5 1 17 表 5 1 項目基礎(chǔ)信息表 一 項目概況 項目名稱 項目類型根據(jù)項目預(yù)算管理辦法對項目的分類填寫 投資金額 其中 中央財政 省級財政 地方配套 金額以人民幣為單位 實施周期按項目完工報告中實施周期填寫 實施地點按 XX 省 XX 市 XX 縣的格式填寫 項目發(fā)展目標(biāo)按項目立項文件中的目標(biāo)填寫 若項目目標(biāo)經(jīng)過調(diào)整 且經(jīng)過財政部門同意 還應(yīng)填寫調(diào)整后的目標(biāo) 項目組成按項目立項文件中的項目組成簡要填寫 項目實施單位 二 項目背景 重點從以下幾方面描述項目的背景 但不限于這幾點 注意提取關(guān)鍵數(shù)據(jù)和事實 項目的提出針對國家社會經(jīng)濟(jì)發(fā)展的哪些特定需求 例如 與相關(guān)戰(zhàn)略 政策或其 他重大項目的關(guān)系等 項目的提出針對所在行業(yè)的哪些關(guān)鍵問題 例如 解決空白問題 瓶頸問題 還是 在現(xiàn)有條件下改進(jìn)提高 確定項目的具體內(nèi)容以及選擇項目實施地點的理由 或有哪些考慮 例如 該地區(qū) 最 貧困 或具備實施條件 或估計影響較大等 三 項目目標(biāo)和活動內(nèi)容 分別簡述每一個項目組成部分的目標(biāo) 投入 產(chǎn)出和實施地點 5 25 2 開發(fā)績效評價框架開發(fā)績效評價框架 績效評價框架是開展績效評價的核心 績效評價框架包括評價準(zhǔn)則 關(guān)鍵 評價問題 評價指標(biāo) 證據(jù) 證據(jù)來源 證據(jù)收集方法等 見表 5 2 18 表 5 2 績效評價框架結(jié)構(gòu) 評價準(zhǔn)則關(guān)鍵評價問題評價指標(biāo)證據(jù)證據(jù)來源證據(jù)收集方法 相關(guān)性 效率 效果 可持續(xù)性 績效評價框架中的術(shù)語解釋如下 評價準(zhǔn)則 即第 2 章第 2 3 節(jié)提到的相關(guān)性 效率 效果和可持續(xù)性 4 個評價準(zhǔn)則 關(guān)鍵評價問題 用來將績效評價聚焦于若干有限的關(guān)鍵方面 進(jìn)而分 析和評判準(zhǔn)則的工具 一個評價準(zhǔn)則下可以有多個關(guān)鍵問題 評價指標(biāo) 定量或定性的因素或變量 是用來衡量成果 反映變化的 手段 這里 評價指標(biāo)是用來回答關(guān)鍵問題的一種工具 一個關(guān)鍵問 題下可能有多個評價指標(biāo) 證據(jù) 用來對評價指標(biāo)進(jìn)行評判的各種信息 包括項目數(shù)據(jù) 事實 利益相關(guān)者觀點等 證據(jù)來源 說明證據(jù)的出處 以便評價人員能夠收集到所要的證據(jù) 證據(jù)收集方法 績效評價中用于收集各種證據(jù)的手段 如案卷研究 實地調(diào)研 面訪 問卷調(diào)查等 本 指南 的宗旨是既要為評價人員提供操作性的指導(dǎo) 又要發(fā)揮評價人 員的積極性和專業(yè)技能 根據(jù)不同項目特點開發(fā)合適的評價框架 基于這種考 慮 指南 根據(jù) 4 個評價準(zhǔn)則設(shè)計出 12 個關(guān)鍵評價問題 這 12 個關(guān)鍵評價問 題是每個項目績效評價的共性問題 而評價指標(biāo)留待評價人員根據(jù)不同項目具 體開發(fā) 這樣 統(tǒng)一的關(guān)鍵評價問題保證了不同評價都涉及了共同的關(guān)鍵績效 內(nèi)容 而個性的評價指標(biāo)則體現(xiàn)了不同項目的特點 如果管理部門還提出了其他的關(guān)鍵評價問題 評價小組可以根據(jù)問題的性 19 質(zhì)歸入評價準(zhǔn)則當(dāng)中 如果不能歸入 可以放在評價報告第 4 章需要說明的事 項中進(jìn)行說明 以下按照圖 5 2 的流程一步一步介紹如何開發(fā)績效評價框架 圖 5 2 設(shè)計階段績效評價框架開發(fā)流程 理解關(guān)鍵 評價問題 前期 準(zhǔn)備 設(shè)計評 價指標(biāo) 明確證據(jù) 及來源 選擇證據(jù) 收集方法 5 2 1 關(guān)鍵評價問題 本 指南 針對每個評價準(zhǔn)則共設(shè)計出 12 個關(guān)鍵評價問題 具體如下 相關(guān)性相關(guān)性 相關(guān)性包括 2 個關(guān)鍵評價問題 問題 1 1 在評價之時 項目是否符合政府的發(fā)展規(guī)劃 優(yōu)先發(fā)展重點 問題 1 2 項目是否針對某一實際問題和需求 問題 1 1 是評價項目的政策相關(guān)性 即項目與當(dāng)前國家 行業(yè)發(fā)展戰(zhàn) 略 優(yōu)先重點的相符程度 問題 1 2 是評價項目與面臨的問題和需求的相關(guān)性 它考察兩方面內(nèi) 容 首先 在設(shè)計之時項目活動是否針對當(dāng)時的實際問題 比如某農(nóng)業(yè)發(fā) 展項目 當(dāng)時當(dāng)?shù)剞r(nóng)業(yè)發(fā)展面臨的主要問題是農(nóng)業(yè)用水嚴(yán)重缺乏 水源性 缺水 需要引水灌溉 那么要評價這個項目設(shè)計的活動 比如建設(shè)水渠和 水庫 是否針對了上述問題 其次 在進(jìn)行績效評價之時 項目完工后提 供的產(chǎn)出是否能夠滿足當(dāng)前的需求 仍然以上述項目為例 如果當(dāng)?shù)剞r(nóng)業(yè) 灌溉問題已經(jīng)由水源性缺水變成水質(zhì)性缺水 即引過來的水嚴(yán)重污染而無 法用于灌溉 那么項目建設(shè)的水渠和水庫仍然無法滿足當(dāng)?shù)剞r(nóng)業(yè)用水需求 這說明項目與當(dāng)前當(dāng)?shù)氐膯栴}相關(guān)性不強(qiáng) 效率效率 效率包括 4 個關(guān)鍵評價問題 問題 2 1 項目是否按照計劃的資金預(yù)算實施 問題 2 2 項目是否按照計劃的時間周期實施并完工 問題 2 3 項目是否實現(xiàn)了所有的預(yù)期產(chǎn)出 問題 2 4 項目完工后是否達(dá)到預(yù)期的經(jīng)濟(jì)內(nèi)部收益率 20 問題 2 1 是評價項目的資金使用情況 它考察項目資金是否按照預(yù)算 使用 使用是否節(jié)約 對于完工項目 實際投入以項目完工報告中的為準(zhǔn) 對于正在實施的項目 實際投入以項目年度進(jìn)展報告中的為準(zhǔn) 問題 2 2 是評價項目實施的時間效率 它考察兩方面內(nèi)容 一是項目 是否按預(yù)期的開工時間開工 二是項目是否在計劃的時間周期內(nèi)完工 項 目的預(yù)計開工時間和預(yù)計實施周期以項目評估文件 設(shè)計文件或項目實施計 劃中的時間為準(zhǔn) 實際時間以項目完工報告中的為準(zhǔn) 問題 2 3 評價項目產(chǎn)出的實現(xiàn)情況 一般項目會分成若干個組成部分 每個組成部分包括一些具體活動 通過實施這些活動 才能保證項目實現(xiàn) 預(yù)期產(chǎn)出 如產(chǎn)品 服務(wù) 設(shè)施等 而通過產(chǎn)出的使用 實現(xiàn)預(yù)期目標(biāo) 這里要評價項目是否按質(zhì)按量實現(xiàn)了所有預(yù)期產(chǎn)出 問題 2 4 考察項目的經(jīng)濟(jì)內(nèi)部收益率 該問題并非對所有項目都適用 如果項目評估文件或項目完工報告中寫明經(jīng)濟(jì)內(nèi)部收益率對該項目不適用 那么績效評價就不對其進(jìn)行評價 效果效果 效果包括 2 個關(guān)鍵評價問題 問題 3 1 項目是否實現(xiàn)了預(yù)期目標(biāo) 問題 3 2 項目的實際受益者是否是項目的目標(biāo)受益群體 問題 3 1 是評價效果最核心的內(nèi)容 如果項目目標(biāo)經(jīng)過修改并且獲得財政 部門的批準(zhǔn) 則應(yīng)采用修改后的目標(biāo) 問題 3 2 是評價項目瞄準(zhǔn)度問題 只有項目的實際受益群體是項目計劃的 目標(biāo)受益群體 項目的效果才能充分體現(xiàn)出來 也才能說項目實施是成功的 可持續(xù)性可持續(xù)性 可持續(xù)性包括 4 個關(guān)鍵評價問題 問題 4 1 項目的管理和 或運行機(jī)構(gòu)的設(shè)置 人力資源 技術(shù)能否滿足項 目持續(xù)運行的需要 問題 4 2 項目的產(chǎn)出能否得到持續(xù)地提供 維護(hù)和利用 問題 4 3 項目運行所依賴的政策 制度能否得到持續(xù)地實施 問題 4 4 項目財務(wù)是否可持續(xù) 21 問題 4 1 考察的是項目完工后 項目的管理機(jī)構(gòu)和 或運行機(jī)構(gòu)能否保證項 目的持續(xù)運行 問題 4 2 中的產(chǎn)出是指通過項目實施獲得的基礎(chǔ)設(shè)施 設(shè)備 教室 醫(yī)院 等實物產(chǎn)出 以及培訓(xùn) 服務(wù) 技術(shù)支持等軟產(chǎn)出 這個問題考察的是項目產(chǎn) 出能否持續(xù)地提供 維護(hù)和利用 以保障項目持續(xù)發(fā)揮作用 問題 4 3 是考察制度或政策對項目持續(xù)性的保障程度 比如用水制度對水 資源保護(hù)和利用項目十分重要 如果用水制度沒有得到持續(xù)地執(zhí)行 那么項目 的效果也就無法持續(xù) 問題 4 4 是考察項目投入運行后的收支情況或經(jīng)費保障情況 上述 12 個關(guān)鍵評價問題是針對一個完工項目而設(shè)計的 而對于正在實施的 項目有些問題不適用 當(dāng)然 對正在實施項目的評價 評價小組也可以對其中 一些問題進(jìn)行預(yù)測性回答 并說明預(yù)測的理由 以提醒管理者注意 采取必要 措施保證項目的成功實施 表 5 3列出了所有關(guān)鍵評價問題 并說明其適用的項目類型 表 5 3 關(guān)鍵評價問題的適用性 適用的項目 關(guān)鍵評價問題完工 項目 正在實 施項目 相關(guān)性 1 1 在評價之時 項目是否符合政府的發(fā)展規(guī)劃 優(yōu)先發(fā)展重點 1 2 項目是否針對某一實際問題和需求 效率 2 1 項目是否按照計劃的資金預(yù)算實施 2 2 項目是否按照計劃的時間周期實施并完工 2 3 項目是否實現(xiàn)了所有的預(yù)期產(chǎn)出 2 4 項目完工后是否達(dá)到預(yù)期的經(jīng)濟(jì)內(nèi)部收益率 效果 3 1 項目是否實現(xiàn)了預(yù)期目標(biāo) 3 2 項目的實際受益者是否項目的目標(biāo)受益群體 可持續(xù)性 4 1 項目的管理和 或運行機(jī)構(gòu)的設(shè)置 人力資源 技術(shù)能否滿足項目 持續(xù)運行的需要 4 2 項目的產(chǎn)出能否得到持續(xù)地提供 維護(hù)和利用 4 3 項目運行所依賴的政策 制度能否得到持續(xù)地實施 4 4 項目財務(wù)是否可持續(xù) 注 帶 的問題對完工項目和正在實施的項目都適合 帶 的問題表示對于正在實施的項目可以 通過現(xiàn)有的事實和利益相關(guān)者的觀點進(jìn)行預(yù)測評價 帶 的問題表示如果項目設(shè)計之時對經(jīng)濟(jì)內(nèi)部收 22 益率沒有計算 則對該項目不適用 5 2 2 開發(fā)評價指標(biāo) 評價指標(biāo)是針對關(guān)鍵評價問題而開發(fā)的 評價指標(biāo)是回答關(guān)鍵評價問題的 工具 二者的關(guān)系如下 1 有的關(guān)鍵評價問題包含了多項評價內(nèi)容 需要用 不同的指標(biāo)加以區(qū)分 所以有的關(guān)鍵評價問題會包含若干個評價指標(biāo) 2 通 過指標(biāo)收集回答關(guān)鍵評價問題的相關(guān)證據(jù) 避免收集過多的無關(guān)證據(jù) 3 通 過指標(biāo)可以體現(xiàn)具體項目的特點 4 通過指標(biāo)能夠直觀地對關(guān)鍵評價問題進(jìn) 行分析 從而得出關(guān)鍵評價問題的評價結(jié)果 評價指標(biāo)的開發(fā)至關(guān)重要 它影響到其后證據(jù)及其來源的確定 證據(jù)收集 方法的選擇和評價分析等活動 專欄 5 1 列出了評價指標(biāo)開發(fā)要遵循的原則 如果評價指標(biāo)沒有滿足這些原則 將會影響到績效評價的質(zhì)量 進(jìn)而評價結(jié)果 的應(yīng)用也將大打折扣 專欄 5 1 開發(fā)評價指標(biāo)的原則 開發(fā)評價指標(biāo)的 SMART 原則 具體的 Specific 指標(biāo)定義清晰 不產(chǎn)生歧義 可衡量的 Measurable 有確定的評價基準(zhǔn)對其進(jìn)行衡量和分析 可實現(xiàn)的 Achievable 在現(xiàn)實條件下可以收集到相關(guān)證據(jù) 相關(guān)的 Relevant 指標(biāo)與對應(yīng)的關(guān)鍵評價問題要相關(guān) 能夠為管理提供有用的信息 時限的 Time bound 具有確定的時間范圍 下面以遼寧城市交通項目 見專欄 5 2 為例介紹評價指標(biāo)的開發(fā) 3 專欄 5 2 遼寧城市交通項目簡介 遼寧城市交通項目的發(fā)展目標(biāo)是提高城市交通系統(tǒng)的生產(chǎn)力 促進(jìn)遼寧省沈陽市 撫 順市和鞍山市的經(jīng)濟(jì)和社會發(fā)展 具體目標(biāo)包括 1 通過擴(kuò)展高等級道路設(shè)施 改善次 干道和鐵路交叉口 打通斷頭路和道路拓寬 來改善道路基礎(chǔ)設(shè)施瓶頸路段 2 通過建 設(shè)公交走廊和乘客設(shè)施 引進(jìn)先進(jìn)公交維護(hù)設(shè)備 提高公交服務(wù)的效率和效果 3 通過 開發(fā)先進(jìn)的 可持續(xù)的路面管理系統(tǒng) 改進(jìn)道路維修養(yǎng)護(hù)的投資狀況 4 通過制定機(jī)動 車尾氣排放控制策略 MVECS 持續(xù)改善項目的投資環(huán)境 5 通過交通示范項目的渠 3 在本征求意見稿中使用的案例 將隨著研究和試點評價的深入開展而進(jìn)行完善 考慮到 指南 的權(quán)威 性和指導(dǎo)性 最終的 指南 可能會對案例進(jìn)行修改 甚至采用新的更加完善和適合的案例 此處僅僅為 開發(fā)評價指標(biāo)提供示例 23 化 修建非機(jī)動車設(shè)施 設(shè)置信號和其他交通管理措施 改善道路系統(tǒng)的運營效率和安全 性 6 通過考察 技術(shù)援助和有針對性的培訓(xùn) 加強(qiáng)城市交通系統(tǒng)管理能力 項目從 1999 年 12 月 28 日開始生效 于 2005 年 12 月 31 日結(jié)束 項目總投入 33795 萬美元 其中世行實際貸款金額 14760 萬美元 項目包括 4 個分項目 component 沈陽 分項目 撫順分項目 鞍山分項目和技術(shù)援助 TA 分項目 沈陽 撫順 鞍山分項目都 包含公共交通 交通管理 道路基礎(chǔ)設(shè)計和道路養(yǎng)護(hù) 4 個分子項目 subcomponent 具體 資金使用如下表所示 項目實際使用經(jīng)費統(tǒng)計表 單位 百萬美元 分項沈陽鞍山撫順小計 公共交通2 318 001 9812 29 交通管理18 035 515 9729 51 道路基礎(chǔ)設(shè)施33 2197 9264 12195 25 道路維修養(yǎng)護(hù)49 6324 0621 7295 41 技術(shù)援助1 571 171 253 99 先征費0 650 450 401 50 合計105 40137 1195 44337 95 注 截止到 2005 年 12 月的項目經(jīng)費實際使用情況 數(shù)據(jù)來源 項目完工報告 相關(guān)性相關(guān)性 開發(fā)相關(guān)性的評價指標(biāo)之前 要檢查項目目標(biāo)是否經(jīng)過修改 修改后的目 標(biāo)是否得到批準(zhǔn) 如果項目目標(biāo)經(jīng)過修改且獲得批準(zhǔn) 那么應(yīng)以修改后的項目 目標(biāo)來開發(fā)評價指標(biāo) 表 5 4 相關(guān)性評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 準(zhǔn)則關(guān)鍵評價問題評價指標(biāo) 1 1 在評價之時 項目是否符合政府發(fā)展 政策或優(yōu)先發(fā)展重點 項目與當(dāng)前城市交通發(fā)展政策的相符程度 項目與當(dāng)時項目市城市交通發(fā)展問題的針 對程度 相關(guān)性 1 2 項目是否針對當(dāng)?shù)氐膶嶋H問題和需求 項目對當(dāng)前項目市城市交通發(fā)展需求的滿 足程度 效率效率 針對效率的 4 個關(guān)鍵評價問題 評價小組首先要明確項目的計劃和實際的 實施周期 項目的資金預(yù)算及使用情況 項目預(yù)期要開展的和實際開展的活動 24 項目的預(yù)期和實際產(chǎn)出 項目是否測算其經(jīng)濟(jì)內(nèi)部收益率 如有預(yù)期值是多少 然后基于這些內(nèi)容開發(fā)評價指標(biāo) 對于問題 2 3 要盡量使用項目評估文件或設(shè)計文件中的產(chǎn)出目標(biāo) 如果評 價小組認(rèn)為項目設(shè)計的產(chǎn)出目標(biāo)存在重大缺陷 無法對產(chǎn)出進(jìn)行客觀地衡量 可以設(shè)計新的產(chǎn)出目標(biāo) 但要與管理部門 項目單位協(xié)商 并考慮證據(jù)收集的 難度和成本 同時 要在評價報告第 4 章需要說明的事項中加以說明 表 5 5 效率評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 準(zhǔn)則關(guān)鍵評價問題評價指標(biāo) 2 1 項目是否按照計劃的資金預(yù)算實施 項目資金使用與預(yù)算的一致性 2 2 項目是否按照計劃的時間周期實施并 完工 項目預(yù)期和實際的實施周期相符程度 項目公共交通部分產(chǎn)出的實現(xiàn)程度 項目交通管理部分產(chǎn)出的實現(xiàn)程度 項目道路基礎(chǔ)設(shè)施部分產(chǎn)出的實現(xiàn)程度 項目道路維修養(yǎng)護(hù)部分產(chǎn)出的實現(xiàn)程度 2 3 項目是否實現(xiàn)了所有的預(yù)期產(chǎn)出 項目技術(shù)援助部分產(chǎn)出的實現(xiàn)程度 效率 2 4 項目完工后是否達(dá)到預(yù)期的經(jīng)濟(jì)內(nèi)部 收益率 項目經(jīng)濟(jì)內(nèi)部收益率 EIRR 的實現(xiàn)程 度 注 該項目包括公共交通 交通管理 道路基礎(chǔ)設(shè)施 道路維修養(yǎng)護(hù)和技術(shù)援助 5 項活動 因此 針對這 5 方面內(nèi)容設(shè)置產(chǎn)出指標(biāo) 效果效果 開發(fā)效果評價指標(biāo)之前 要明確項目目標(biāo)和目標(biāo)受益群體是誰 對于問題 3 1 要盡量使用項目評估文件或項目設(shè)計文件中的效果目標(biāo) 如果評價小組認(rèn)為 項目設(shè)計的效果目標(biāo)存在重大缺陷 無法對目標(biāo)實現(xiàn)程度進(jìn)行客觀地衡量 可 以設(shè)計新的效果目標(biāo) 但要與管理部門 項目單位協(xié)商 并考慮證據(jù)收集的難 度和成本 同時 要在評價報告第 4 章需要說明的事項中加以說明 本項目效果目標(biāo)分為若干個具體目標(biāo) Specific Objectives 并且每個具體 目標(biāo)都設(shè)有評價指標(biāo) 那么可以將問題 3 1 按具體目標(biāo)分解成若干個子問題 然后根據(jù)子問題設(shè)計效果評價指標(biāo) 25 表 5 6 效果評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 準(zhǔn)則關(guān)鍵評價問題評價指標(biāo) 3 1 1 項目是否實現(xiàn) 減少基礎(chǔ)設(shè)施瓶頸 路段的目標(biāo) 交通走廊出行時間 路面狀況 維修養(yǎng)護(hù)預(yù)算 3 1 2 項目是否實現(xiàn) 改進(jìn)道路維修養(yǎng)護(hù) 投資狀況的目標(biāo) 維修養(yǎng)護(hù)平均費用 大氣質(zhì)量標(biāo)準(zhǔn) 機(jī)動車尾氣排放控制戰(zhàn)略的制定 3 1 3 項目是否實現(xiàn) 持續(xù)改善項目的投 資環(huán)境的目標(biāo) 機(jī)動車尾氣排放控制戰(zhàn)略的采用和實施 對通過交通屏蔽線的各種交通模式的交通流量 出 行時間和占有率進(jìn)行調(diào)查以衡量系統(tǒng)的運營能力 3 1 4 項目是否實現(xiàn) 提高道路系統(tǒng)的運 營效率和運營安全 的目標(biāo) 與行人和自行車有關(guān)的事故總數(shù) 總死亡人數(shù)及百 分比 年度補(bǔ)貼 年均單位里程的運營費用 每年客運量 可運營的公交數(shù)量 3 1 5 項目是否實現(xiàn) 提高公交服務(wù)的效 率和效果的目標(biāo) 營運線路數(shù)量 3 1 項目是否 實現(xiàn)了預(yù)期目 標(biāo) 3 1 6 項目是否實現(xiàn) 加強(qiáng)城市交通系統(tǒng) 管理能力的目標(biāo) 當(dāng)?shù)啬芰Φ募訌?qiáng)和決策的改善 效果 3 2 項目的實際受益群體是否是項目 的目標(biāo)受益群體 目標(biāo)受益群體覆蓋率 可持續(xù)性 對于問題 4 1 評價小組要明確項目完工后的管理機(jī)構(gòu)和 或運行機(jī)構(gòu)有哪 些 它們的機(jī)構(gòu)設(shè)置是否合理 人力資源是否充足 是否具備必需的管理和技 術(shù)能力等 對于問題 4 2 評價小組要分析項目的哪些產(chǎn)出對項目持續(xù)發(fā)揮成效 26 是關(guān)鍵的 比如對于高速公路項目 高速公路的維護(hù)和利用是保證項目發(fā)揮效 益的關(guān)鍵 對于扶貧項目 對貧困人口進(jìn)行持續(xù)地生產(chǎn)和勞動技能培訓(xùn)是項目 實現(xiàn)扶貧效果的關(guān)鍵 對于問題 4 3 評價小組要明確項目制定的政策以及國家 行業(yè)和當(dāng)?shù)叵嚓P(guān)的政策有哪些 這些政策對項目持續(xù)運行發(fā)揮什么作用 如果 沒有這些政策 項目能否持續(xù)下去 對于問題 4 4 評價小組要考慮機(jī)構(gòu)獲得的 經(jīng)費等能否滿足項目運行的各項成本支出 表 5 7介紹可持續(xù)性的關(guān)鍵評價問 題的指標(biāo)開發(fā) 表 5 7 可持續(xù)性評價指標(biāo)開發(fā) 以遼寧城市交通項目為例 準(zhǔn)則關(guān)鍵評價問題評價指標(biāo) 項目市市政道路養(yǎng)護(hù)處的人力資源和技 術(shù)對道路持續(xù)養(yǎng)護(hù)的滿足程度 4 1 項目的管理和 或運行機(jī)構(gòu)的設(shè)置 人 力資源 技術(shù)能否滿足項目持續(xù)運行的 需要 項目市交管部門的人力資源和管理對持 續(xù)開展交通管理的滿足程度 道路基礎(chǔ)設(shè)施的持續(xù)利用程度 道路基礎(chǔ)設(shè)施維護(hù)的持續(xù)性 4 2 項目的產(chǎn)出能否得到持續(xù)地提供 維 護(hù)和利用 交通管理的持續(xù)性 4 3 項目運行所依賴的政策 制度能否得 到持續(xù)地實施 項目所依賴的優(yōu)先發(fā)展公共交通政策的 持續(xù)性 可持續(xù) 性 4 4 項目財務(wù)是否可持續(xù) 項目收支情況 5 2 3 證據(jù)及其來源 證據(jù)是用來測量評價指標(biāo) 回答關(guān)鍵問題 支持評價結(jié)論等的數(shù)據(jù) 事實 和觀點 在開發(fā)評價指標(biāo)時就要考慮證據(jù)及其來源 評價小組要盡量收集高質(zhì) 量的證據(jù) 高質(zhì)量的證據(jù)具備以下特點 相關(guān)性 所收集的證據(jù)要與指標(biāo)相關(guān) 并且是最重要的信息 比如要 測量貧困地區(qū)適齡女童的小學(xué)入學(xué)情況 那么就要收集女童而 不是男童的入學(xué)率數(shù)據(jù) 有效性 所收集的證據(jù)要能真實反映指標(biāo)內(nèi)容 比如要測量某個省的 貧困地區(qū)適齡女童的小學(xué)入學(xué)情況 那么要收集全省的適齡女 童入學(xué)率數(shù)據(jù) 而不是縣級的數(shù)據(jù) 27 可靠性 測量相同指標(biāo)的證據(jù)可以通過相同方法進(jìn)行收集并驗證 比 如適齡女童入學(xué)率數(shù)據(jù)每年都可以通過 某地區(qū)適齡女童入學(xué) 人數(shù) 某地區(qū)適齡女童人數(shù) 100 來獲得 準(zhǔn)確性 所收集的證據(jù)要準(zhǔn)確 特別是對于收集的利益相關(guān)者觀點要 注意其代表性 比如對于 社區(qū)環(huán)境是否改善 這一問題 有 8 名居民認(rèn)為環(huán)境得到改善 而只有 2 名居民認(rèn)為環(huán)境沒有改 善 那么要采用 8 名居民的觀點 績效評價證據(jù)來源主要有以下 3 類 見專欄 5 3 專欄 5 3 績效評價證據(jù)來源 第一類 制度 政策和法規(guī) 國家相關(guān)法律 法規(guī) 規(guī)章 國家發(fā)展規(guī)劃和相關(guān)部門行業(yè)發(fā)展規(guī)劃及政策 地方政府制定的發(fā)展規(guī)劃和政策 貸款方的有關(guān)制度規(guī)定 第二類 項目文件和相關(guān)報告 項目文件和報告 主要包括 立項評估報告 項目進(jìn)展報告 完工報告等 國家發(fā)展改革部門的項目立項批復(fù)報告 項目單位的項目執(zhí)行文件和報告 主要包括 項目可行性研究報告 環(huán)境影響評價報告 項目執(zhí)行過程中的有關(guān)財務(wù)會計資料 工作總結(jié) 監(jiān)測報告 項目進(jìn)度報告 項目竣工 驗收報告等 財政 審計部門對項目執(zhí)行情況的專項檢查報告 專項審計報告 研究機(jī)構(gòu)或咨詢機(jī)構(gòu)提供的與項目相關(guān)的研究資料 分析報告和咨詢報告等 第三類 評價小組直接收集 相關(guān)利益者座談會 對相關(guān)人員的面訪 實地調(diào)研 問卷調(diào)查 評價小組采用其他方法收集的數(shù)據(jù) 5 2 4 證據(jù)收集方法 證據(jù)收集方法是用以收集所需證據(jù)的方法和技術(shù) 證據(jù)收集方法有很多種 如案卷研究 面訪 座談會 問卷調(diào)查 實地調(diào)研 案例研究等 大多數(shù)績效 評價都可能使用其中一種或多種 表 5 8 列出了不同證據(jù)收集方法的優(yōu)點和缺 點 評價人員可以根據(jù)現(xiàn)實情況選擇