评估工作是围绕着具体的评估问题开展的。评估委托方的问题越明确,就越有利于评估者做出有针对性的评估设计,评估结果的应用价值也就越高。既然评估问题如此重要,今天我们就来谈一谈如何确定评估问题。
什么是好的评估问题
评估问题,简单来讲就是你想通过评估知道什么。它的提出者可以是评估方、评估资助方,也可以是其他利益相关方。各利益相关方可能都有自己感兴趣的问题,但并非所有问题都可称之为好的评估问题。
一个好的评估问题不仅要明确评估所回答的问题,也要确保有可行的方法回答它,并且这个答案一定是对利益相关方解决项目所针对的社会问题有价值的。这意味着它蕴含了三部分信息:
1.评估范围
2.信息收集的策略、方法
3.评估结果的使用对象与目的
确定评估问题的过程,是一个从模糊到具体的过程,大体可以分为三个步骤:
确定评估问题三步走
Step1 明确评估目的
为什么要开展评估?这是第一步需要回答的问题。
回答这一问题可以从两个方面去考虑:
1.项目发展阶段
评估目标需要依据项目发展阶段而定。例如:检验项目所用策略或方法的评估目的适合探索性项目;改进项目质量的评估目的合适具有一定发展历史的项目;提炼项目的有效模型,为解决某一社会问题做知识积累合适成熟的项目。
2.影响评估的利益相关方
这里的利益相关方主要指对评估工作有决策权的人,多为资助方、理事会或管理者等。他们可能有各自不同的关注点和期待,最好能够通过开放的讨论,列出彼此关心的问题及其背后的原因,通过归类、排序等方式,对评估目的达成共识。
Step2 拟定总体评估问题
为了实现评估目的,还有哪些信息是需要通过评估获取的?这是第二步需要回答的问题。
回答这一问题可以分两步去思考:
1.为实现评估目的需要知道哪些信息
以改善项目质量的评估目的为例。为了实现这个目的,评估者至少需要知道项目希望为目标群体带来什么样的改变?实际上目标群体的变化是怎样的?项目中哪些内容促进了目标群体出现了预期变化?为什么有些目标对象没有出现预期的变化?
2.这些信息中哪些是特别需要通过评估获取的
如前文所述,改善项目质量的目标一般用于有一定发展历史的项目。这类项目的目标(希望为目标群体带来什么样的改变)相对清晰,并且能够观察到目标人群的积极变化。这种情况下,特别需要通过评估去了解的内容就是项目中哪些内容发挥了作用?这种作用在何种条件下有效?
这一过程通常需要项目职员、志愿者、合作伙伴等执行人员与管理人员的共同参与。他们对同一评估目的所需信息的理解可能有所不同,可以尝试在项目逻辑框架的基础上去讨论。逻辑框架将具体的活动与项目目标相连,有助于讨论的方向聚焦于项目成效,便于确定评估问题的优先级。
Step3 形成可测量的具体评估问题
哪些信息有助于回答总体评估问题?这是第三步需要回答的问题。
回答这一问题有两个信息来源可供参考:
1.档案或文献资料
从项目监测资料、服务对象的反馈信息等历史记录,或同类项目的文献资料中获取可能的方向与信息点。
2.项目的利益相关方
这里的利益相关方主要指项目设计方、执行方、目标群体及受到项目影响的群体。他们能够从各自不同的视角给出可观察或测量的信息。
以一个处于探索期的后进生辅导项目为例,它的总体评估问题可能是:辅导了一年的学生表现出什么样的积极改变?通过了解同类项目或访谈学生、老师和家长,可能得出的具体问题包括:接受辅导的学生是否增加了学校的出勤率?他们的学习习惯是否有所改善?他们是否减少了诸如抽烟酗酒等不良行为?他们是否更多参与学校或社区的志愿活动?
此外,在确定评估问题的过程中,还需要注意时间和预算,以及信息收集过程中可能存在的政策或道德上的风险。
作者:郭冉 来源:社会资源研究所
|