第八章 评价实施
第二十六条 评价实施指按照评价实施方案开展的绩效评价工作。包括证据收集、证据分析、形成评价结论、经验教训和建议等。
第二十七条 通过案卷研究和实地调研开展证据收集和分析,回答4类评价内容中的关键评价问题,定量评价指标,按绩效4个等级评分形成评价结论。
第二十八条 案卷研究要注意对同一指标在不同项目文件中的证据进行核实。如评价产出的指标,在项目进展报告、完工报告中均有项目产出的相关证据。如果不同来源的证据存在差异,要分析差异的原因,并且在座谈会、面访、实地调研中进行核查,最后选择使用的证据。
第二十九条 面访对象是能够为绩效评价提供切实有用证据的人,一般包括:
(一)项目管理人员,包括相关政府部门工作人员和项目审批、检查、验收、评估人员等。
(二)负责项目实施和运行的人员。
(三)受到项目实施过程或结果直接影响的人。
(四)参与项目设计、实施等的行业专家。
第三十条 座谈会要围绕项目关键评价问题进行讨论,收集绩效评价所需的证据。座谈会参与人数以6-8人较为合适。要尽量保证参加座谈会的是最合适的人,他们最好参与过或熟悉项目的设计、实施、运行、管理等,或是受项目直接影响的人,能够为绩效评价提供有用的信息。如果对于参会人员陈述的内容有疑问,评价小组要及时提问进行确认。
第三十一条 实地调研是评价小组到项目实施地进行考察、直接收集证据的方法。调研问题要根据绩效评价框架表来设计,主要用于收集案卷研究、面访和座谈会无法收集的证据。开展实地调研应事先拟好考察提纲、问题清单等。
第三十二条 项目的成功经验和存在的问题及教训都要进行讨论和评价。在评价实施过程中,要注意收集这两方面的证据,并在分析的基础上,提出相关项目绩效评价、项目设计和管理等方面的建议。
第三十三条 针对评价指标进行证据整理。对比计划或设计评价指标值与实际指标值,确定实际指标值是否达到项目目标,分析项目参与方对评价指标值的观点和意见。
第三十四条 证据整理包括以下3 个步骤:
(一)证据列举:将同一个评价指标从不同来源收集的证据列举出来。
(二)证据验证:将不同来源的证据进行交叉验证,剔除错误的证据。
(三)证据确定:通过证据验证,最终确定用于绩效分析和评价的证据,并将其整理到绩效评价框架表中“证据”列中,以便于分析。
第三十五条 确定证据后,要依据证据,对评价指标进行绩效分析。分析要体现两方面:一是实际指标达到预期目标的程度;二是指标达到或没有达到的原因。
第三十六条 对评价指标的分析主要依靠评价小组的专业判断。在专业判断的基础上,根据绩效评价框架表中的各“评价指标”的实际情况给出“指标初值”,填入绩效评价框架表(附件2,表中标“A”处)。并参照绩效评价取值表,将“指标初值”换算成“指标值”,填入绩效评价框架表(附件2,表中标“B”处)。
第三十七条 通过对评价指标的评判来对关键评价问题进行回答。关键评价问题的回答结果是对每类评价内容进行评级的基础。本《绩效指南》对关键问题的回答表现为绩效评价取值表中的“指标值”(附件3,表中标“综合C”处)。
综合指标值的形成是评价小组参照评级规则所做出的专业判断。本《绩效指南》对每个指标值和关键评价问题的等级形成给出了参考性的评级规则(见附件5)。
第三十八条 评价小组依据综合指标值、评级规则,对每类评价内容进行绩效评价,形成对评价内容的评价,表现为绩效评价取值表中的每类“综合得分”(附件3,表中标“D”处)。根据分类评价值,参照项目绩效评价评级分值和权重表,对每类评价内容进行绩效评价,得出每类“评价等级”,填入绩效评价取值表(附件3,表中标“E”处)。
第三十九条 评价小组依据4类评价内容的评价值,参照评价规则、项目评级值和权重,得出项目绩效评价结果。结果由两部分组成。一是“绩效评价综合得分”,填入绩效评价框架表(附件3,表中标“F”处);二是“绩效评价综合等级”, 填入绩效评价框架表(附件3,表中标“G”处)。
第四十条 评级规则仅作参考之用。实际操作中,其中有的规则可能不适用于某些项目的绩效评价。绩效评价等级的最终确定,是由评价小组基于所收集的证据,根据专业判断,并参考这些规则而做出的。
第四十一条 项目绩效评价结论包括两部分:一是4类评价内容的评判结果;二是项目综合绩效的总体评判。形成评价结论一定要有充足的证据支撑。
第四十二条 评价小组要谨慎进行绩效评级。各类评价内容之间存在着逻辑上的关联性,如果各类内容的评级差异很大,需重新考察各类内容的评级和综合评级,以确保逻辑的一致性。
第四十三条 经验教训是指通过绩效评价总结出来的可能有助于开展其他相似项目的信息。经验教训包括描述项目准备、设计和实施的优缺点,及其对项目绩效的影响。提出的经验教训要限于被评项目,有切实的证据支撑,并指出哪些方面是有参考价值的。
第四十四条 建议是指在提高项目绩效、对项目设计和资源分配等方面的各种提议。建议要与评价结论和经验教训联系起来。具体阐明建议的针对对象、实施时间、提出建议的原因等。
\
第九章 评价结果报告及应用
第四十五条 评价结果应按照规定的格式编写绩效评价报告(见附件5)。
第四十六条 绩效评价报告的编写要注意以下要点:
(一) 语言要简洁。
(二) 对评价方法的描述要详细,以便读者能判断其可信性。
(三) 要阐明评价的局限性,提醒读者要审慎对待报告中的解释说明。
(四) 围绕主题和关键评价问题来组织报告。
(五) 用证据来支撑结论和建议。
(六) 通过评价质量控制程序阅读和修改报告。
第四十七条 绩效评价报告应分章节进行编写,一般包括以下6 个部分:摘要、项目描述、绩效评价概述、绩效评价分析、绩效评价结论、经验教训与建议。
第四十八条 绩效评价报告应在委托贷款合同结束后的一年内完成。合同终止时尚未完工的项目,应分两步进行项目的绩效评价。第一步,在合同期满后1年内,对除项目效果的其他3类评价内容的指标进行评价;第二步,在项目完工后1年内,对项目效果的各项指标进行补充评价,将两次评价结果合并后作为项目的最终评价结果。
第四十九条 管理中心应及时通报项目评价结果,并以评价结果作为委托贷款项目执
行情况的考核依据,以及今后有偿使用资金调配和新贷款项目评审和管理的决策参考。
第五十条 省级财政部门要利用评价结果改进项目管理,并为未来遴选新项目提供参考依据。
第十章 评价质量控制
第五十一条 评价管理者负责绩效评价的质量控制。绩效评价的质量控制应贯穿于绩效评价从设计、实施到撰写报告的全过程,以保证绩效评价的质量。
第五十二条 绩效评价质量控制的目的是使绩效评价工作达到以下要求:
(一)评价过程科学、公正:评价应做到合理的设计、选择适当的证据收集方法、准确的统计、科学的分析,以及在有足够的证据支持下提出结论和建议;评价信息采集、分析判断、结论和建议不应该含有任何偏见,或被故意扭曲。评价报告中应该说明评价活动的局限性。
(二)评价报告实用:评价信息应具有相关性和及时性,评价所设计的关键问题及评价指标要易于理解,评价结果要以简洁明了的方式进行报告,使评价报告具有实用性。
(三)评价活动多方参与:在评价活动中,应该确保与项目各相关参与方进行沟通,使他们作为积极的合作伙伴参与评价过程,并将他们的观点和意见吸收到评价报告中来。
(四)评价结果能被反馈与利用:绩效评价工作成果应能使各相关方共享并有效利用于指导未来工作。
(五)评价工作成本经济:绩效评价工作需要经费的支持,但应采取有效措施对绩效评价工作的成本进行控制,以达到最佳的投入产出效果。
第五十三条 设计阶段的质量控制要从以下5个方面考虑:
(一)绩效评价设计能够满足管理中心的需求和评价任务大纲的要求,包括评价的目的、范围、时间安排等。
(二)绩效评价拟采用的方法恰当、可行,能够收集到所需的证据。
(三)每项评价活动应有明确的责任人。
(四)评价小组计划投入的人力资源和时间要能够保证评价活动的顺利开展。
(五)《绩效评价实施方案》能够满足本《绩效指南》的要求。
第五十四条 实施阶段的质量控制要从以下5个方面考虑:
(一)已经开展了《绩效评价实施方案》中确定的全部评价活动,包括案卷研究、面访、座谈会、实地调研等。
(二)已经按照《绩效评价实施方案》中计划的时间开展绩效评价。
(三)评价活动是按本《绩效指南》要求的规范程序开展,面访、座谈会、实地调研等过程应清晰、完整的记录。
(四)根据本《绩效指南》要求对收集的证据进行整理、核实和确定。
(五)形成完整的《绩效评价实施方案》和《绩效评价取值表》。
第五十五条 报告阶段质量控制要从以下8个方面考虑:
(一)报告的格式满足本《绩效指南》的要求。
(二)报告的语言表达明确、易于理解且没有歧义。
(三)报告对所有的关键问题都进行了回答。
(四)报告采用的证据相关、有效、可靠和准确。
(五)绩效分析客观、系统、符合逻辑。
(六)评价结论清晰,并有充分的证据支持。
(七)总结的经验教训清晰明确、有证据支持。
(八)提出的建议有针对性,有助于相关部门提高管理水平和决策能力。
第五十六条 管理中心应根据上述内容对评价报告进行检查。如报告不符合上述要求,应要求评价小组予以改正。无法改正的,应要求评价小组解释原因,并在评价局限性中加以说明。
第十一章附则
第五十七条 管理中心和省级财政部门应按照本单位文件管理相关规定建立绩效评价档案。
第五十八条 本《绩效指南》由管理中心负责解释,自管理中心主任办公会通过之日起施行。
【版权声明】本网为公益类网站,本网站刊载的所有内容,均已署名来源和作者,仅供访问者个人学习、研究或欣赏之用,如有侵权请权利人予以告知,本站将立即做删除处理(QQ:51999076)。