DMEL第21问：怎样做“有用的评估”？

猴子

　　在SRI所接受的各类评估委托中，经常听到这样的需求，“做了这么长时间，想知道我们到底产生了什么影响(Outcome+Impact)?”“做了这么长时间，不知道效果如何，哪些地方可以改进?”“资助这个项目有一段时间了，想知道效果如何，是否需要/应该继续资助?”可见，在评估的一开始，委托方是带有期待的，即希望将评估应用于决策制定、项目改进。


　　然而，在大家眼中，评估却常和“专业复杂的定量分析”、“冗长繁杂的报告”划上等号，当大家聊起评估，常会有“不(Bu)明(Zhi)觉(Suo)厉(Yun)”的尴尬，甚至，对于经过漫长、复杂的工作过程而产生的评估报告，看都懒得看，更遑论应用了。


　　由此可见，要做有用的(useful)评估、可用的(workable)评估，还需我们动点心思、下点功夫。我们今天就来谈谈这个话题。


　　明确主要使用者(PrimaryIntendedUsers)


　　在上周刚刚结束的评估设计工作坊里，我请执行团队中的每一个人从自己所处位置出发，思考如下问题：


　　a)在阅读评估报告时，你关注哪些评估发现(EvaluationFindings)?


　　b)这些信息和你的工作有什么关联?


　　c)这份报告中呈现的结论，对你的工作有哪些影响(influence)?


　　从大家的分享中，我发现，由于在机构中承担的角色不同，大家对于评估结论中所呈现的具体内容的关注度，以及评估结论对工作的具体影响是很不一样的。如虽然大家都关注项目成果，但项目总监关注总体表现，继而反思项目模式中“可继承的”、“需改进的”;项目执行人员更关注自己所从事的那部分，再依此反思执行过程中的优劣;而负责项目推广的同事则更关注那些显著的成果，并依此制定下一步的传播方案。如果在这个工作坊中加入机构负责人、项目资助方、受益对象代表等利益相关方，大家对评估的期待差别可能会更大。


　　然而，受限于时间、资源等，一次评估较难满足所有人的期待。因此，要做有用的评估，首先要回答的问题便是“谁是评估报告的主要阅读者和使用者，他们希望通过评估解答什么问题?”


　　用户参与的评估设计


　　曾看过这样一句话“Ifyoudonotknowwhereyou’regoing,you’llendupsomewhereelse”，至今仍深以为然，放在此处，也挺应景。在整个评估流程中，评估设计环节便是让我们明确“我们的评估走向何方”。


　　只有以应用为导向的评估设计，才能引领我们形成有应用价值的评估结论。所谓以应用为导向的评估设计，就是要在评估设计中关注用户的需求和期待，在关键环节将用户纳入其中，听取他们的声音和反馈。


　　a)在确定评估问题时，和用户一起挖掘、识别真需求。在我们执行评估时，往往会遇到“委托方的需求会随着评估的进行而变化”，这种现象产生的原因，便是在评估问题确定时，委托方说什么，评估方便以为是什么，没有深挖其真正的需求，如当委托方说“希望提升项目有效性”时，我们可不能满足于这么笼统的表述，要追问“目前有效性不高的表现是什么?”、“您认为可能是什么原因导致的?”等问题。


　　b)在开发评估指标时，暂时放下标准化指标，听听使用者对“标准化指标”的理解和评价。多了解他们在实践中的故事，尝试从他们的角度理解“衡量标准”，这样综合开发出的评估指标，才可能会引导我们收集到用户更为关注的内容。


　　c)在开发信息搜集工具时，多和他们讨论，了解利益相关方可接受的、乐于使用的信息搜集工具方法，也许你会发现“问卷”会让他们有距离感，小组聊天(专业点说法：焦点小组)可能更适合。利益相关方是我们信息搜集的重要参与方，只有获得真实、完整的信息，我们才可能据此得出有价值的结论。


　　当然，做好这两步并不能保证我们形成有用的评估报告，但至少，我们已经走向了正确的方向。我们要在评估执行的过程中，谨记评估的目标——提供有应用价值、可应用的评估。


　　最后，以UFE(Utilization-FocusedEvaluation)作者M.Q.Patton的一段话作结，与大家共勉：Nomatterhowrigorousthemethodsofdatacollection,designandreportingareinevaluation,ifitdoesnotgetused,itisabadevaluation.Commityourselvestoevaluationsthatbuildcapacity.


　　作者：高瑞来源：社会资源研究所