2017 年度上海市“12345”市民服务热线项目绩效评价报告.pdf

财政支出项目绩效评价报告 项目名称： 2017 年度上海市“ 12345”市民服务热线项目 项目单位：上海市市民服务热线管理办公室 主管部门：上海市机关事务管理局 委托单位：上海市机关事务管理局 评价机构：上海玄钥管理咨询有限公司 2018 年 10 月 目 录 摘要 . 1 一、项目基本情况 . 5 （一）项目概况 . 5 （二）绩效目标 . 16 二、绩效评价工作情况 . 17 （一）绩效评价目的 . 17 （二）绩效评价原则及评价方法 . 18 （三）数据采集方法及过程 . 19 （四）绩效评价实施过程 . 20 三、评价结论和绩效分析 . 21 （一）评价结论 . 21 （二）具体绩效分析 . 22 四、主要经验及做法、存在的问题和建议 . 35 （一）主要经验及做法 . 35 （二）存在的问题 . 36 （三）建议和改进措施 . 37 附件 1： 2017 年上海市“ 12345”市民服务热线项目预算明细对照表 错误！未定义书签。 附件 2： 2017 年上海市“ 12345”市民服务热线项目绩效评价表 错误！未定义书签。 附件 3：问卷调查报告 . 错误！未定义书签。 附件 4：访谈报告 . 错误！未定义书签。 附件 5： 工作底稿 . 错误！未定义书签。 1 摘要 概述 上海市“ 12345”市民服务热线工作主要由市民服务热线领导小 组负责领导，在市信访办下设“ 12345”市民服务热线管理办公室， 代表市政府实施热线的监督管理工作职责，热线日常运营工作则委托 给上海电信成立的热线运营中心负责，并接受管理办公室的业务领导 和监督考核。各区县承办部门负责完成与运营中心的工单对接。 2017 年上海市“ 12345”市民服务热线项目主要涉及完成对市民 服务热线的热线接听、回访、后台处理、流程数据建立及系统平台开 发、维护、知识信息库建立、采编维护、网站建设和运营、手机 APP 等多渠道受理、热线业务数据分析等工作。 本次绩效评价考察的是 2017 年度上海市“ 12345”市民服务热线 项目。项目经费预算总计 9459.7 万元，实际支出 9459.7 万元，预算 执行率为 100%。 评价结论和绩效分析 项目组根据市财政局关于印发 （沪财绩 201422 号文）提出的绩效评价指标框架，完成了 2017 年度上海市“ 12345”市民服务热线项目绩效评价工作，最终评分结 果： 总分为 88 分，属于“良” 1。具体表现为： 在项目决策方面，市民服务热线工作的开展能够支持热线办战略 目标 的实现，符合热线办日常工作的开展要求；立项依据充分；立项 程序规范；进行了绩效目标申报，指标设臵与年度任务与计划对应指 标设臵与年度任务与计划对应，但未对热线宣传、热线平台运行维护 等任务设臵相应指标。 1绩效得分 90 分以上（含 90 分）为“优”， 75 分 -90 分（含 75 分）为“良”。 60-75 分（含 60 分）为“及格”， 60 分以下为不及格。 2 在项目管理方面，预算执行率良好；财务管理制度健全；资金使 用合规；上年度项目专项审计工作尚未完成，存在滞后，审计结果对 项目清算及下一年度预算编制的参考作用不显著；项目管理制度健全 , 但在合同未签的情况下已支付了首款，合同管理存在缺失。 在项目绩效方面，热线接通率、一次性解决率、有责投诉率、有 责退单率、 FAQ 知识库建设 题数、宣传平台数均达到要求的标准；话 务人员培训考核通过率、信息共享情况良好；知识库维护机制、应急 预案机制健全；但是承办部门的事项解决率以及配合度有待提高。 经验教训和建议 （一）主要经验及做法 1.有效应对话务量的快速增长，服务质量得到市民认可 据统计， 2017 年全年， 上海市“ 12345”市民服务热线全年共接 听市民电话近 335 万个，同比增长 22.67%，网站和手机 APP 受理 21 万件，同比增长 80%。市民服务热线通过增加语音坐席数，完善考核 制度、提高办理能力等方式，有效应对话务量的快速增长，且服务质 量得到了市 民认可，全年共计电话回访 15.7 万件，被回访的市民对 办理效率、办理态度、办理结果的综合满意率达到 93.4%。 2.制定了健全的知识库维护机制和应急预案，长效管理机制健全 市民服务热线制定了市民服务热线知识库信息管理工作暂行规 定、知识库信息日常维护管理办法、 “ 12345”市民服务热 线知识库分库管理制度等知识库维护机制以 规范市民服务热线知识 库信息的采集、审核、发布等工作，确保知识库内容权威、格式规范 性，提高信息使用的及时性和准确性 。 市民服务热线建立了突发话务高峰应急预案、次紧急来电 事项电话催 办流程、防汛相关来电接听和派单流程、特殊来 3 电接听处理流程、夜间需当即处理的来电事项接听和派单流程、 运营中心危机公关管理办法等长效管理机制及应急预案，为保障 预防、妥善处理、及时化解各类危机，减少和避免负面新闻报道，群 体性投诉事件等的发生打下基础。 3.新增手语视频服务渠道，扩展服务范围 上海市“ 12345”市民服务热线在已原有电话、传真、网站、手 机 APP、微信等服务渠道的基础上，新增手语视频服务渠道，并在第 60 届国际聋人节上线试运行，方便了聋哑人求助问政。 （二）存在的问题 1.专项审计工作 存在滞后，审计结果的参考作用不显著 截止至 2018 年 10 月， 2017 年的专项审计工作尚未完成，且 2016 年审计报告的出具时间为 2018 年 3 月 27 日，项目专项审计工作存在 一定滞后，难以对下一年度的预算编制依据进行有效论证，项目专项 审计工作存在滞后，审计结果对项目资金清算及下一年度预算编制的 参考作用不显著。 2.合同管理存在瑕疵，合同款支付有待规范 项目外包服务合同直至 2017 年 6 月才签订，而在合同签订前， 在无合同支付条款规定的情况下，为保障热线运营中心正常运行，先 行支付了 1 笔资金，合同款支付不规范。合同管理存 在瑕疵，合同款 支付有待规范。 3. 承办部门配合度仍存在不足，不利于保证工单的充分办结 在转送工单增加的情况下， 2017 年事项解决率为 83.4%，较 2016 年的 88.08%出现了下降。此外，市热线办及 12345 市民服务热线运 营中心在回访过程中发现工单无实质处理进展或个别承办部门超期 办结等问题，承办部门工单处理的配合度上有待进一步加强。 4 （三）建议和改进措施 1.加强项目财务监控工作，为下年度预算编制提供充分论证 建议市热线办在今后项目实施过程中，及时针对本项目开展专项 审计工作，利用审计报告等论证材料作为资金 清算及预算编制的依 据。并将成本控制纳入项目年度考核管理中，加强财政资金使用的合 理性、有效性。 2.加强合同管理，保障财政资金的使用规范性 建议项目单位与实施单位协商，先以年初确定工作内容及安排的 预算金额签订外包业务合同，并在市民热线领导小组确认同意扩增需 求、增加工作内容及追加预算的条件下，再通过签订补充协议的形式 补充外包业务合同内容。加强合同管理，保障财政资金的使用规范性。 3.提高承办部门的配合度，保障市民疑问、投诉等事项充分办结 建议市热线办、热线运营中心与各承办部门加强协调，提高承办 部门的配合度，并进 一步加强工单回访工作，保障工单事项能够得到 及时、有效地办结。 5 2017 年度上海市“ 12345”市民服务热线项目绩效评价报告 为了深化财政绩效管理工作，加强财政支出管理，根据上海市 预算绩效管理实施办法（沪财绩【 2014】 22 号）的要求，上海玄 钥管理咨询有限公司受上海市机关事务管理局委托， 2017 年度上海 市“ 12345”市民服务热线项目进行绩效评价。项目组对 2017 年度上 海市“ 12345”市民服务热线项目进行了数据收集、审核、分析和汇 总，开展了相关人员的社会调查，最终形成了 2017 年度上海市 “ 12345”市民服务热线项目绩效评价报告。 一、项目基本情况 （一）项目概况 1.立项背景及目的 （ 1）项目立项背景 随着城市规模的扩大以及人民生活水平的不断提高，人们对建设 服务型政府的需求不断加大，为加强公共服务，最大限度地服务于市 民，国内各地陆续开通了市民服务热线。近年来，上海市政府为加强 公共服务建设，先后开通并设立了各类政务服务热线 230 多条。这些 热线在服务市民、发挥很大作用的同时，也遇到了“热线太多，不方 便市民记忆和反映问题”、“热线分属于不同条块，遇到跨部门问题 难以协调落实”、“缺乏统一的管理机制和服务标 准，热线服务质量 参差不齐”以及“热线功能有限，缺乏必要的协调和联动”等问题。 6 为了科学整合并有效利用各类行政资源，最大限度地方便市民咨 询、求助和反映问题，及时解决市民诉求，提高政府办事效率，上海 市政府在 2012 年 5 月 15 日第 141 次市政府常务会议上决定建立“对 外一口受理、内部分类处理”的政府综合服务热线，即“ 12345”市 民服务热线 ,并成立上海市市民服务热线管理办公室（以下简称“市 热线办”）作为市民热线的具体管理单位，实行“一号对外、集中受 理、分类处臵、统一协调、各方联动、限时办理”的工作机制。上海 市“ 12345”市民服务热线计划逐步整合上海市的其他政务服务热线， 形成与 110、 119、 120 等紧急类服务热线功能互补，衔接有序的工作 机制，最终实现上海市非紧急类政务服务一个号码全面囊括的工作格 局。 上海市“ 12345”市民服务热线项目为经常性项目，“ 12345”市 民服务热线自 2015 年起由于政务服务热线的进一步合并，热线接入 量出现较大幅度地增长，据统计， 2015 至 2016 年上海市“ 12345” 市民服务热线呼入量自 224 万个增长至 334 万个，增长率达到了 49.29%。随着热线呼入量的进一步增加，为保证热线接通率、提 高热 线服务质量，市热线办继续实施本项目，以最大限度地方便市民咨询、 投诉和反映问题。 （ 2）项目立项目的 上海市“ 12345”市民服务热线的开通，有助于科学地整合和利 用各类行政资源，最大限度地方便市民咨询、求助和反映问题，及时 解决市民诉求；有助于推动政府职能的转变，提高政府办事效率，最 7 大限度地方便市民咨询、投诉和反映问题；有助于帮助市政府广泛倾 听民意、了解民情、集中民智，推动科学民主决策。 2.预算资金来源及使用情况 （ 1）资金预算情况 2017 年度上海市“ 12345”市民服务热线项目 2预算以上一年度的 结 算金额 9459.7 万元先行安排，预算资金由市财政承担，并全部用 于市民热线平台运营服务商 上海电信的市民热线外包服务经费。 2017 年，本项目由于增加座席等工作要求需增加项目预算 2328.3 万元以确保 2017 年度各项目标和任务的完成，增加预算内容 包括增加手语渠道费用、物业管理费用、新增 44 席语音座席人员和 1 席手语客服人员及调整人员成本等相关费用。增加预算由上海市市 民服务热线管理办公室审核上海电信报价后，上报 12345 市民服务热 线领导小组组长会议审批，最终在 2017 年 12 月 20 日召开的领导小 组会议上原则同意增 加项目预算。由于预算追加时间较晚，追加预算 资金在 2018 年预算中安排。预算明细对照情况可详见附件 1，预算 增加内容如表 1-1 所示： 2 2017 年较 2016 年项目内容包括增加手语渠道费用、增加物业管理费用、新增 44 席语音座席人员和 1 席 手语客服人员等费用，其中人工成本计算含税费用。 8 表 1-1 2017 年上海市“ 12345”市民服务热线项目预算增加情况对照表 3 单位：万元 序 号 2017 年项目 2017 年内容 费用 2016 年项目 2016 年内容 费用 增加预 算小计 一 线路租用及日常维护 线路租用及日常维护 1 新增手语客服网络 互联网线路 10M（一主一备） 9 9 二 运营座席费：语音 279 席，多媒体 10 席、知识库 18 席 、手语客服 1 席 运营座席费：规模 245 席，其中语音 235 席，多媒体 10 席 1 物业管理费 委托管理面积 5558 平方米，收费标准为 20.8 元 /平方米 /月。 148 物业管理费 委托管理面积 5558 平方米，收费标准为17.50 元 /平方米 /月。 125 108 2 平台（含机架租赁、维保费） 呼叫中心系统、电源配套建设 393 平台（含机架租赁、维保费） 呼叫中心系统、电源配套建设 381 3 辅助 多媒体设施配套建设（含机架租 赁、维保费） 106 辅助 多媒体设施配套建设（含机架租赁、维保费） 103 4 人资和项目管理 685 人 人资管理、招聘、培训、制服、 党、工、团队建设、职业鉴定、 学习交流、文化建设 661 人资和项目管理 581 人 人资管理、招聘、培训、制服、党、工、团 队建设、职业鉴定、学习交流、文化建设 598 5 新增手语视频客服终端 视频终端、服务和客户端账号 7 3 表格内填充底纹部分为较 2016 年项目预算出现增加的内容。 9 序 号 2017 年项目 2017 年内容 费用 2016 年项目 2016 年内容 费用 增加预 算小计 三 运营人员费用 运营人员费用 1 235 席人员费用 541 人，按照 10.8 万元 /年 /人，人工成本计算含税费用。 6249 200 席人员费用 460人， 1-6月按照 8.0625万元 /年 /人， 7-12 月按照 10.8 万元 /年 /人，人工成本计算含 税费用。 4640 2086 2 管理、知识库人员 10 人，按照 16.08 万元 /年 /人，人工成本计算含税费用。 258 管理、知识库人员 10 人， 1-6 月按照 12 万元 /年 /人， 7-12 月16.08 万元 /年 /人，人工成本计算含税费用。 150 3 多媒体 10 席 23 人 25 人，按照 12.06 万元 /年 /人， 人工成本计算含税费用。 322 多媒体 10 席 23 人 25 人， 1-6 月按照 9 万元 /年 /人， 7-12 月按 照 12.06 万元 /年 /人，人工成本计 算含税费 用。 282 数据专员 2 人 数据专员 2 人 4 新增 44 个语音座席人员 人工成 本 参照一期标准 1:2： 3 配臵 44 席 102 人，按照 10.8 万元 /年 / 人，人工成本计算含税费用。 1178 新增 81 名语音座席人员 人工成 本 参照一期标准 1:2.3 配臵 35 席 81 人， 1-6 月按照 8.0625 万元 /年 /人， 7-12 月按照 10.8 万元 /年 /人，人工成本计算含税费用。 817 5 新增手语客服人员 人工成 本 新增 2 人，按照 20 万元 /年 /人，人工成本计算含税费用。 43 新增知识库人员 人 工成本 新增 5 人， 1-6 月按照 12 万元 /年 /人， 7-12 月按照 16.08 万元 /年 /人，人工成本计算含 税费用。 75 10 （ 2）资金拨付流程 上海市“ 12345”市民服务热线项目的资金采取国库直拨的方式。 首先 由 市民服务热线管理办公室（设在市信访办）提出预算申请， 经 批复后列入 上海市机关事务管理局 的部门预算。资金 的拨付 则由热线 办向 市信访办提出申请，信访办再向上海市机关事务管理局 申请， 最 后 由 上海市机关事务管理局 向上海市财政局申请并由上海市财政局 通过国库统一支付。 具体流程详见图 1-1。 市 民 服 务 热 线 管 理 办 公 室 上 海 市 财 政 局 申 请 预 算 上 海 市 机 关 事 务 管 理 局 批 复 ， 并 下 达 预 算 上 海 市 委 信 访 办 公 室 支 付 申 请 支 付 申 请 支 付 申 请 中 国 电 信 股 份 有 限 公 司 上 海 分 公 司 由 财 政 拨 付 图 1-1“ 12345”市民服务热线项目资金拨付流程图 3.项目实施情况 （ 1）实施内容 11 上海市“ 12345”市民服务热线是一条非紧急类政务服务热线， 24 小时接听市民来电。市民服务热线实行“一号对外、集中受理、 分类处臵、统一协调、各方联动、限时办理”的工作机制。 市民拨打“ 12345”热线电话后，电话首先由呼叫中心热线受理 员接听。热线受理员接听群众来电后，对能直接解答的咨询类问题， 依据知识库信息直接解答，不能直接解答的咨询类问题及求助、投诉 和建议，及 时转交相关区县、部门办理。相关区县、部门及时妥善办 理来电事项并回复市民，同时将办理结果反馈给市民服务热线。 “ 12345”市民服务热线主要受理内容如下： 对政府部门及工作人员职责、办事程序，行政审批、行政受理、 招商引资等政策规定方面的咨询； 对上海市改革开放、经济建设、城市建设与管理方面的意见和 建议； 对社会生活发生的劳动保障、医疗服务、教育、安全等需要政 府解决的诉求； 对企业生产经营、发展环境等方面需要政府协调解决的诉求； 对政府部门及其工作人员的批评意见、投诉等。 4.组织管理情况 （ 1） 项目组织结构 上海市“ 12345”市民服务热线项目的组织机构主要由市民服务 热线领导小组、热线办、上海市“ 12345”市民服务热线承办部门和 市民服务热线运营中心组成。 12 为保证“ 12345”市民热线的顺利开展和运行，上海市政府专门 成立了市民服务热线领导小组，由上海市常务副市长任组长，负责主 持领导小组的工作；同时，在市信访办下设“ 12345”市民服务热线 管理办公室，代表市政府实施热线的监督管理工作职责。 上海电信作为“ 12345”市民服务热线的外包服务提供商，为更 好地承接市民服务热线项目的管理和日常运营工作，专门 成立了 “ 12345”市民服务热线运营中心。负责承担“ 12345”市民服务热线 项目的日常运营，并接受管理办公室的业务领导和监督考核。 此外，由上海市政府各部门、区（县）政府以及提供公共服务的 企事业单位共同组成市民热线承办部门，负责完成本地区、本部门内 与市民服务热线相关的工作，完成与市民服务热线运营中心的工单对 接。 （ 2）项目组织管理流程 上海市“ 12345”市民服务热线的主要工作流程包括 受理、处臵、 办理、回访、督办等。 具体流程详见下图 1-2 所示。 13 图 1-2 “ 12345”市民 服务热线 组织机构图 1） 受理 上海市“ 12345”市民服务热线提供 “ 7 24 小时”全时服务， 接听市民来电后进行内容登记。 2）处臵 对于不属于热线受理范围的事项，及时告知来电市民不予受 理，并说明原因或指引其他处理途径。 对于属于热线受理服务范围内的市民来电，运营中心话务员会 根据来电事项性质、内容、涉及领域、涉及部门等信息进行分类处臵： 对市民提出的政策和公共信息类问题，依托市民服务热线知识库能够 直接进行答复的，当场答复；对不能直接解答的政策和公共信息咨询 类问题，以及非紧急类求助、投诉、请求、建议等事项，根据职责分 工，转交各区（县 ）的承办部门进行处理；对市民来电反映的突发性 14 公共事件、社会安全隐患，以及涉及个人人身、财产安全的紧急求助 等，视情况即时转接至市应急联动中心，并报市政府应急办。 承办部门认为工单所涉及事项不属于本单位职责的，报经本单 位市民服务热线工作负责人审核同意后，在收到后 1 个工作日内（特 别复杂的事项为 2 个工作日内），将工单退回热线办，并说明退单理 由。热线办审核后同意退单的，根据职责分工，重新派发工单；不同 意退单的，仍将工单派回原承办部门，并不允许再退单。 3）办理 承办部门在接到工单后，应遵循“ 1、 5、 15”的时限要求 进行： 即收到工单后的 1 个工作日内，先行联系来电市民；对于复杂的来电 事项，承办部门在 5 个工作日内办理并回复来电市民；对于疑难事项， 承办部门在 15 个工作日内办理并回复来电市民。 4）回访 事项办理完毕后，承办部门应在 2 个工作日内，将办理结果报热 线办。对办理完毕的事项，热线办每月按照一定比例，回访来电市民， 了解办理情况。回访中发现承办部门办理不到位的，视情况发起督办。 5）督办 热线办对工单办理情况进行实时监督，督促承办部门按照规定办 理。对责任不清、涉及多个部门的问题，组织相关部门协调办理。对 热点难点问题，形成专 报呈市领导批办。 15 图 1-3 项目的组织管理流程 16 （二）绩效目标 1.项目总目标 充分整合利用各类行政资源，最大限度方便市民咨询、投诉和反 映问题；及时回应解决市民诉求，维护群众权益，提高政府办事效率； 广泛听取民意，了解民情，集中民智，推动科学民主决策。努力将 “ 12345”市民服务热线打造成一条具有上海特色、代表上海形象的 政务服务热线。 2.年度绩效目标 由于 2017 年上海市“ 12345”市民服务热线项目未在预算申报过 程中设臵绩效目标，因此项目组根据上海市“ 12345”市民服务热线 项目的总目标，结合信 访办委托中国电信股份有限公司上海分公司的 外包业务合同中的指标要求，对项目的绩效目标进行了梳理，分为以 下三个方面： （ 1）产出目标 1）定期维护 FAQ 知识库，达到 FAQ 知识库建设题数 10000 题； 充分利用各种媒体渠道进行广泛宣传，媒体平台类型 4 种。 2）保证服务热线 7*24 小时正常运行，热线接通率不低于 88%。 3） 2017 年度咨询类工单当场解答数量占咨询类工单总量的 45%， 即一次性解决率不低于 45%。 4） 有责投诉率不高于 0.3、有责退单率不高于 7%。 5） 对投诉举报类、求助类事项进行回访，回访比例不低于 15%。 17 （ 2）效果目标 1）保障承办部门配合度，事项处理率较上一年度提高。 2）通过多方共同努力最大限度地满足市民诉求，来电市民满意 度不低于 85%；管理人员满意度不低于 85%。 （ 3）影响力目标 1）制订健全的培训考核机制，定期对新进话务人员及在岗话务 人员的进行培训并及时考核，考核通过率不低于 80%。 2）将热线信息分析结果及时与相关部门共享，形成信息共享机 制。 3）建立健全的知识库和应急响应预案，形成长效管理机制。 二、绩效评价工作情况 （一）绩效评价目的 本次评价从 项目 产生的效果角度出发，力求从绩效的角度 发现该 项目中取得的成绩和产生的问题，优 化财政支出管理改革，为下一步 实施绩效预算奠定基础。 具体目标如下 : （ 1）通过评价，了解上海市“ 12345”市民服务热线项目的基本 情况，对项目背景、项目意义、项目现状和项目内容做深入调研和分 析。 （ 2）通过评价，了解上海市“ 12345”市民服务热线项目的产出 和效果情况以及整体绩效状况。 18 （ 3）通过评价，梳理上海市“ 12345”市民服务热线项目的资金 使用情况，从绩效角度发现该项目决策、实施和管理过程中存在的问 题并寻求解决方案，以促进其管理水平的不断提高。 （二）绩效评价原则 及评价方法 1.绩效评价原则 （ 1） 中立原则 财政支出绩效评价是客观评价，所有用来评价的指标均可量化， 所有参与评价的单位和个人都必须遵循评价价值中立原则，即财政支 出绩效评价结果，只取决于各单位工作业绩的客观实际，而不取决于 评价人的价值判断和个人意愿。评价结果不会因为评价人价值观念的 不一致而有所不同。 （ 2）公平、公正、公开原则 从评价目标的设计、指标体系的研发及设计、数据填报、复核， 专家评议等所有环节，都必须保证评价过程的公开性、程序的规范性 和合理性，应及时发现并处理评价过程中的问题，以保证评价结果的 准确、 客观和科学。 （ 3）客观性原则 评价以数据为准绳，坚持客观评价。即由相关部门填报数据，项 目组根据填报的数据，在进行汇总、分析、评价的基础上，独立开展 评价，得出评价结果，并形成评价报告。 2.评价指标体系 指标体系包括评价指标表和基础表两部分，评价指标表是评价的 依据，基础表是支持评价的基础数据，由被评价单位负责填报。 3.评价方法 19 （ 1）政策、文献研究法 通过研究、解读 上海市机管局 的相关政策文献，来获取项目概况、 绩效指标等有用信息。 （ 2）对比法 对于项目实施情况，采用目标比较法、历史动态比较法进行分析 判断。 （ 3）社会调查法 主要包括问卷调查、访谈等，获得相关资料。 （ 4）数据采集法 通过现场勘查、项目资料查阅，提取项目相关数据。 （ 5）抽样复核法 对采集的数据信息，根据简单随机抽样的方法，按照不低于 10% 的比例进行抽样复核。 （ 6）逻辑分析法 针对项目情况，进行绩效分析，提炼项目实施中的经验和不足， 进而提出相关建议，保障今后类似项目的实施 。 （三）数据采集方法及过程 采集的数据分定性、定量两种，其中定性数据主要通过问卷调查、 访谈、实地考察等社会调查方式进行采集；定量数据通过翻阅相关资 料、由项目单位填报基础表 格的方式来进行采集，数据收集到位后， 对数据进行实地复核，确保数据的真实、准确。具体数据采集的方法 和过程如下： 1、基础数据采集 20 在热线办以及上海电信市民热线运营中心的支持和配合下，项目 组完成了基础表的填报工作。 2、问卷调研 本次绩效评价项目满意度问卷调查对象为热线办、运营中心相关 管理人员，在上海市热线办及运营中心的协调下，项目组针对以上两 类对象展开了满意度问卷调研。问卷调查报告见附件 2。 主管部门管理人员 满意度问卷 根据上海市热线办提供的各主管部门管理人员的联系方式，项目 组通过电话、传真和邮件等方式对部分 管理人员进行了满意度调研， 问卷发放总量为 25 份，回收有效问卷 24 份，问卷回收率为 96%。 3、访谈调研 根据工作方案，项目组对上海市热线办以及运营中心相关管理人 员进行了访谈，针对 2017 年度上海市“ 12345”市民服务热线的立项 背景、资金管理情况、监督检查管理情况、采取的措施或者制度保障、 取得的成绩与效益、实施过程中的困难以及存在的问题和改进建议等 问题进行了详细了解。访谈报告见附件 3。 （四）绩效评价实施过程 2018 年 10 月，项目组在前期调研的基础上，明确了评价的目的、 方法、指标体系、评价标准、访谈方案等 。在此之后，项目组经过了 数据采集、问卷调查、访谈、数据分析和报告撰写等环节，顺利完成 了绩效评价工作。 绩效评价具体实施过程如下 ： 1.基础数据采集和分析 21 2018 年 9 月 15 日 9 月 17 日，项目组在充分调研的基础上， 根据上海市热线办以及运营中心填写和反馈的基础表数据，对 2017 年度项目资金的到位落实情况等数据进行了整理和分析。 2.社会调查 2018 年 9 月 18 日 10 月 5 日，项目组对上海市热线办及运营 中心相关管理人员进行了访谈， 主要了解 “ 12345”市民服务热线的 开通现状，了解该 项目 的 管理 情况 、 监督考核情 况、实施过程中遇到 的 困难 及 建议等。 此外，项目组 主管部门管理人员进行了全样本的满意度问卷调 查，了解其对上海市“ 12345”市民服务热线的制度完善、制度执行 等方面的满意度。 3.数据分析及撰写报告 2018 年 10 月 6 日 10 月 25 日， 项目 组根据绩效评价的原理 和规范，对 收集到的所有材料和 数据进行甄别、分析和评分，并提炼 结论撰写 了本次绩效评价 报告 。 三、评价结论和绩效分析 （一）评价结论 1.评价结果 项目组根据市财政局关于印发 （沪财绩 201422 号文）提出的绩效 评价指标框架，细化形成 了本项目的指标体系及评价标准，经过数据采集、问卷调查、访谈， 以及数据分析等环节，完成了 2017 年上海市“ 12345”市民服务热线 22 项目绩效评价工作，最终评分结果：总分为 88，属于“良” 4。其中， 项目决策类指标权重为 10 分，得 9 分，得分率为 90%；项目管理类 指标权重为 32 分，得 26 分，得分率为 81.25%；项目绩效类指标权 重为 58 分，得 53 分，得分率为 91.38%。 2.主要绩效 2017 年上海市“ 12345”市民服务热线项目整体处于良好水平。 在项目决策方面，市民服务热线工作的开展能够支 持热线办战略 目标的实现，符合热线办日常工作的开展要求；立项依据充分；立项 程序规范；进行了绩效目标申报，指标设臵与年度任务与计划对应， 但未对热线宣传、热线平台运行维护等任务设臵相应指标。 在项目管理方面，预算执行率良好；财务管理制度健全；资金使 用合规；但上年度项目专项审计工作尚未完成，存在滞后，审计结果 对项目清算及下一年度预算编制的参考作用不显著；项目管理制度健 全 ,但在合同未签的情况下已支付了首款，合同管理存在缺失。 在项目绩效方面，热线接通率、一次性解决率、有责投诉率、有 责退单率、 FAQ 知识库建设题数、宣传 平台数均达到要求的标准；话 务人员培训考核通过率、信息共享情况良好；知识库维护机制、应急 预案机制健全；但是承办部门的事项解决率以及配合度有待提高。 （二）具体绩效分析 本次绩效评价各项指标得分情况见表 3-2 所示。 表 3-1 2017 年上海市“ 12345”市民服务热线项目绩效得分表 指标 权重 业绩值 得分 A 项目决策 10 9 A1 项目立项 6 6 4绩效得分 90 分以上（含 90 分）为“优”， 75 分 -90 分（含 75 分）为“良”。 60-75 分（含 60 分）为“及格”， 60 分 以下为不及格。 23 A11 战略目标适 应性 2 项目符合热线办日常工作的开展要 求，与热线办战略目标相适应。 2 A12 立项依据充 分性 2 项目与热线办的职责密切相关，且 该项目的实施有充分的政策依据 2 A13 项目立项规 范性 2 项目按照规定的程序申请设立，经 过必要的集体决策等 2 A2 项目目标 4 3 A21 绩效目标合 理性 2 目标设臵合理，可衡量、且能够实 现，且为促进热线办的工作开展所 必需 . 2 A22 绩效指标明 确性 2 设臵指标仅针对热线 KPI 指标进行 制定，未对热线宣传、热线平台运 行维护等任务设臵相应指标 . 1 B 项目管理 32 26 B1 投入管理 4 4 B11 预算执行率 4 100.00% 4 B2 财务管理 13 10 B21 财务管理制 度健全性 4 财务管理制度健全 . 4 B22 资金使用情 况 4 未发现截留、挤占、挪用、虚列支 出等情况，资金使用合规 . 4 B23 财务监控有 效性 5 项目审计工作出现滞后，成本控制 环节存在不足 . 2 B3 项目实施 15 12 B31 项目管理制 度健全性 3 对项目合同管理、外包质量控制进 行了指定，同时制定了相关业务制 度保障项目实施。 3 B32 项目管理制 度执行有效性 12 9 B321 合同管理 制度执行有效性 6 未签订年度服务合同先行支付资 金。 3 B322 外包质量 6 有效 6 24 控制执行有效性 C 项目绩效 58 53 C1 项目产出 24 24 C101 热线接通率 4 90.21% 4 C102 FAQ 知识库 建设题数 2 20084 题 2 C103 宣传平台数 2 通过 12345 官方网站、 12345 微信公 众号，上海电视台、上海广播电台、 解放日报、新民晚报、劳动报、东 方网及澎湃新闻共计 9 种。 2 C104 一次性解决 率 4 72.83% 4 C105 有责投诉率 4 0.068 4 C106 有责退单率 4 1.17% 4 C107 来电人工回 访率 4 24.09% 4 C2 项目效益 34 29 C21 市民知晓度 4 80.61% 4 C22 平均座席接 电量增长率 4 2017年平均座席接电量为 11993.25 个， 2016 平均座席接电量为 11607.77 个， 2017 年较 2016 年增 加 3.32%。 4 C23 被回访市民 综合满意度 5 93.4% 5 C24 管理人员满 意度 3 90.14% 3 C25 FAQ 知识库 题数增长率 3 3.31% 3 C24 影响力 15 10 C241 话务人 员培训通过率 4 95.86% 4 C242 知识库 维护机制健全性 2 知识库维护机制健全 . 2 C243 应急预 案机制健全性 2 各项应急预案内容完整、全面，应 急预案机制健全 . 2 C244 承办部 门配合情况 7 2017 年事项解决率较 2016 年下降， 且出现超期办结等现象 . 2 合计 100 88 25 A 项目决策 A1 项目立项 A11 战略目标适应性 考察项目与上海市热线管理办公室战略目标的适应 性。上海市 “ 12345”市民服务热线是上海市非紧急类政务服务热线，主要受理 和处臵市民咨询、求助、投诉、意见和建等非紧急类来电事项的工作， 以便及时解决市民诉求，提高政府办事效率 ,满足市民建设服务型政 府的要求。市民服务热线管理办公室承担上海市“ 12345”市民服务 热线工作领导小组职能，代表市政府实施热线的监督管理工作职责。 市民服务热线工作的开展能够支持热线办战略目标的实现，符合热线 办日常工作的开展要求，与热线办战略目标相适应。因此，该指标得 满分。 A12 立项依据充分性 考察用以反映项目立项是否有充分的依据，是 否符合国家、本市 及主管部门的相关规定。上海市“ 12345”市民服务热线与热线办的 职责密切相关，且该项目的实施有充分的政策依据（见表 3-3 所示）。 项目立项依据充分，因此，该指标得满分。 表 3-3 项目立项政策依据 立项政策文件 发文字号 发布机构 上海市人民政府关于做好“ 12345”市民 服务热线工作的意见 沪府 2012 85 号 上海市人民政府 上海市人民政府办公厅关于印发 的 通知 沪府办 2012 95 号 上海市人民政府 办公厅 上海市人民政府办公 厅关于进一步加强 “ 12345”市民服务热线建设工作意见的通 知 沪府办 2013 34 号 上海市人民政府 办公厅 26 A13 项目立项规范性 考察项目的申请、设立过程是否符合相关要求，是否符合上海市 热线管理办公室的项目立项申报审批流程。 上海市“ 12345”市民服 务热线是在 上海市政府在 2012年 5月 15日第 141次市政府常务会议 上决定建立的，旨在实现上海市非紧急类政务服务一个号码全面囊括 的工作格局。 通过邀请东方有线网络有限公司、中国联通有限公司上 海分公司、上海电信等公司报送热线建设方案，经专家对方案和价格 进行比对后，最终确定上海电信为上海市“ 12345”市民服务热线平 台的运营服务商。 2012 年，信访办与上海电信签订了 10 年合作框架 协议，信访办视每年运营业务量和运营实际情况，按程序报上海市热 线领导小组审定后，签订当年度的外包业务协议。故项目 按照规定的 程序申请设立，经过必要的集体决策等，因此该指标得满分。 A2 项目目标 A21 绩效目标合理性 考察项目所设定的绩效目标是否依据充分，是否符合客观实际。 本项目的目标主要是依据 框架协议及当年度的外包业务协议 约定内 容进行市民服务热线的运营，对热线接通率、一次性解 决率、有责投 诉率、有责退单率等的标准进行了相关约定。该目标设臵合理，可衡 量、且能够实现，且为促进热线办的工作开展所必需，符合客观实际。 因此该指标得满分。 A22 绩效指标明确性 27 考察依据绩效目标设定的绩效指标是否清晰、细化、可衡量等。 项目申报的绩效指标包括：热线接通率 88%、一次性解决率 45%、 有责投诉率 0.3、有责退单率 7%等。指标相对明确、可衡量， 进行了绩效目标申报，指标设臵具体细化可衡量，且年度任务与计划 对应，但未对热线宣传、热线平台运行维护等任务设臵相应指标 .绩 效指标设臵不够全面。 因此该指标权重为 2 分，最终得 1 分。 B 项目管理 B