原创社工观察12-09 20:47

摘要: 在社会工作服务机构的评估中,无论是评价主体的选择、评价主体的权重分配、评价主体的信息收集还是评价主体的抽样,每一项工作都是非常严谨并且需要科学的方法做支撑的。

在目前政府购买社会服务的背景下,采用第三方评估的方式对社会服务做出评价,已成为政府购买服务中不可或缺的一环,而目前社会服务评估,尤其是社会工作服务机构的评估中,由于涉及第三方评估机构、服务使用单位、社工、服务对象以及合作单位等多个利益相关方,因此,采用多元主体评估是社会服务评估的内在要求。同时,多元主体评估也是社会公众对评估是否具有公信力的外在要求。


此外,随着评估的发展,不管是委托方还是社会公众,对评估的公信力要求也越来越高,甚至已经成为判断一个社会服务评估是否合格的重要标准。但实际上,采取了多元评估主体的方式,是否就必然具有公信力?如果不是,多元主体评估是否还有存在的必要?


在讨论必要性前,需要对一些问题进行澄清:在各方评价主体的选择上,实际上是一个非常审慎的问题,其中涉及的不仅仅是技术性问题,还涉及评估权力的分配问题。其中从服务使用单位的角度来看,其作为出资方和直接服务使用方,存在“掌控局面”的需求,而从社工的角度来看,由于社工和机构之间具有的“契约”关系,有可能导致社工难以站在一个“价值无涉”的立场对其所属的机构作出评价。


此外,对于社工而言,第三方评估机构往往也是一个掌握着一定话语权的“他者”,在这样一种情况下,社工有可能本能地把机构当做休戚与共的“共同体”,从而导致社工难以做出“遵从内心”的选择。但以上问题都是客观存在的,难以通过技术手段解决。因此,本文讨论的主要是可以从技术层面解决的关于多元主体评估的可能性问题。对于该问题的回答,主要包括几个方面内容:哪些主体应该被纳入评估体系、评价主体之间的权重如何分配、不同的评价主体应该采用何种方法收集评估材料以及不同的评价主体如何抽样等。


一、评价主体的选择性问题


选择什么样的主体作为评价主体,首先需要考虑的是评估需要了解哪些信息。在社工服务机构评估中,与一般的项目评估具有较强的逻辑性不同,社工机构评估是一项综合性的评估,且各部分的评估内容很难用一套严密的逻辑程序进行说明。从目前已有的研究来看,无论是邓国胜教授提出的非营利组织“APC”评估(邓国胜,2004),还是陈锦棠教授在对社区健康服务机构开展绩效评估时提出的六维度评估架构(陈锦棠,2008),都强调非营利组织评估的综合性。因此,社工服务机构作为非营利组织的一个类型,必然也要体现评估的综合性。但同时,评估的内容并不是一成不变的,而是一个需要根据社工机构所处的内外部环境而不断被构建的过程。


但不管如何变化,笔者认为,社工机构的评估不可或缺地需要对机构的组织能力、组织绩效等做出评价。其中,机构的组织能力包括组织是否具备良好的组织架构和清晰的岗位职责、是否能有效地处理和政府以及合作方等各方主体之间的关系、是否能形成良好的组织氛围和组织文化等;组织绩效则包括是否能有效地满足服务对象需求、服务是否能覆盖协议要求的服务群体、服务目标是否达成等,而对不同问题的回答,往往不能单单依靠某一个主体,因此,引入多元主体的方式进行评价就成为一种必然。但究竟将哪一种主体应该纳入评价体系,则需要综合考虑评价指标的“所指”,且需要征求相关评价主体的意见,并合理地设计指标。


二、评价主体权重的分配问题


选择了评价主体后,很重要的一个问题就是如何对评价主体的权重进行分配。一般而言,在社工服务机构评估中,第三方评估机构评价的指标维度较多,往往分值也相对较大。相对而言,社工、服务对象以及服务使用单位等主体,由于评价的维度相对比较单一,因此评价的权重相对较小。因此,在评价主体的权重分配过程中,要考虑不同评价主体所对应的评价维度。但要明确的是,评价主体不能直接赋予权重,而是由该评价主体所对应的评估指标在整个评估体系中的权重来确定。从目前评估指标的赋值方法来看,主要有主观经验法、专家调查加权法以及层次分析加权法等,具体采用哪种方法,需要由评估员根据实际情况制定。


三、评价主体的信息收集问题


不管是社会工作服务机构评估还是其他类型的评估,本质上是一个信息收集的过程,因此只有通过全面地收集了评估所需要的信息,才能做出客观的评价。然而,不同的评价主体应当采取何种方式更为科学、合理,也需要根据具体情况而定。具体来看,对于作为评估主体的第三方评估机构而言,目前主要采取查阅文献资料(文献法/二手资料分析)的方式进行评估,其中,文献法的使用主要体现在评估指标的制定过程以及实地评估过程,其中在指标制定阶段,需要查阅相关政策文件以及已有研究资料,而在实地评估阶段,则查阅社工服务机构的相关服务档案等文书材料;服务对象方面,由于社工服务机构的服务对象往往数量较多,且文化水平参齐不齐,因此目前普遍采用的是访谈法(电话访谈)的方式。


此外,对于社工、服务使用单位等相关主体,则主要采用问卷调查法。当然,除了第三方评估机构采取的文献法之外,对于其他评价主体,可以结合评估的时间、评估的经费采取不同的评估方法,但无论采取哪种方法,都要考虑评估工具的“效度”问题。此外,需要指出的是,目前有不少观点认为,第三方评估主要就是查查材料而已,但实际上,作为评估的组织者,第三方评估机构在收集社工、服务对象等评价主体的信息时,往往采取的是访谈法、问卷调查法等多种方法(不仅只有文献法),当然,作为评价主体这一角色而言,则主要采取文献法,并且在大部分情况下,也仅能采取文献法。

四、评价主体的抽样问题


在不同的评价主体中,每一个评价主体都具有唯一性,但该评价主体本身又可能由很多独立的个体组成,例如,在社工服务机构评估中,第三方评估机构、服务对象、服务使用单位等不同主体相互间是独立存在且都是唯一的,但每一评价主体又由不同的个体组成。因此,在评估时就不可避免地涉及评价主体的抽样问题,但采用普查还是抽样,也仍然需要根据实际情况来定。例如,有些机构规模较大,其所服务的对象群体数量也很庞大,而在评估经费有限的情况下,难以对每一个服务对象都能做到普查,因此,往往需要采取抽样的方式选取部分服务对象。在抽样方法的选择上,目前主要有概率抽样和非概率抽样,对于评估而言,为了保障评估结果具有可推论性,往往需要采取概率抽样的方法,且从实际操作来看,由于评估已收集到了所有服务对象等相关评价主体的名单,因此概率抽样在实践上也是比较容易操作的。另一方面,有些机构的服务对象比较少,这时则需要采取普查的方法,对所有的服务对象均进行调查。


五、小结


可以看到,在社会工作服务机构的评估中,无论是评价主体的选择、评价主体的权重分配、评价主体的信息收集还是评价主体的抽样,每一项工作都是非常严谨并且需要科学的方法做支撑的。但同时,在具体操作过程中,也往往需要“根据实际情况”进行判断和选择,而也正因如此,社会服务评估才有了更多的可能性,并且通过这些可能性,可以较好地回答多元评估“何以可能”的问题。