2016 年度上海市“12345”市民服务热线项目绩效评价报告.pdf

财政支出项目绩效评价报告 项目名称： 2016年度上海市“ 12345”市民服务热线项目 项目单位：上海市市民服务热线管理办公室 主管部门：上海市机关事务管理局 委托单位：上海市机关事务管理局 评价机构：上海玄钥管理咨询有限公司 2017年 9月 目录 摘要 . 3 一、项目基本情况 . 1 （一）概况 . 1 （二）绩效目标 . 12 二、绩效评价工作情况 . 13 （一）绩效评价目的 . 13 （二）绩效评价原则及评价方法 . 14 （三）数据采集方法及过程 . 16 （四）绩效评价实施过程 . 17 三、评价结论和绩效分析 . 18 （一）评价结论 . 18 （二）具体绩效分析 . 20 四、主要经验及做法、存在的问题和建议 . 34 （一）主要经验及做法 . 34 （二）存在的问题 . 35 （三）建议和改进措施 . 37 附件 1 2016 年上海市“ 12345”市民服务热线项目绩效评价表 . 39 附件 2 问卷调查报告 . 47 附件 3 访谈报告 . 54 附件 4 工作底稿 . 57 摘要 一、 概述 上海市“ 12345”市民服务热线工作主要由市民服务热线领导小 组负责领导，在市信访办下设“ 12345”市民服务热线管理办公室， 代表市政府实施热线的监督管 理工作职责，热线的管理和日常运营工 作则委托给上海电信成立的热线运营中心负责，并接受管理办公室的 业务领导和监督考核。各区县承办单位负责完成与运营中心的工单对 接。 2016 年上海市“ 12345”市民服务热线项目主要涉及完成对 “ 12345”市民服务热线的场地租赁、场地装修及维护、技术平台建 设及维护和热线的整体运营管理，包括人员招聘、管理、培训、质量 控制、后台处理、流程数据建立及系统平台开发、维护、回访、知识 信息库建立、采编维护、网站建设和运营、手机 APP等多渠道受理、 热线业务数据分析等。 本次绩效评价考察的是 2016年度上海市“ 12345”市民服务热线 项目。项目经费预算总计 9585万元，实际支出 9459.7万元，预算执 行率为 98.69%。 二、 评价结论和绩效分析 项目组根据市财政局关于印发 （沪财绩 201422号文）提出的绩效评价指标框架，细化形成 了本项目的指标体系及评价标准，经过数据采集、问卷调查、访谈， 以及数据分析等环节，完成了 2016年度上海市“ 12345”市民服务热 线项目绩效评价工作，最终评分结果： 总分为 87.26，属于“良” 1。 1绩效得分 90 分以上（含 90 分）为“优”， 75 分 -90 分（含 75 分）为“良”。 60-75分（含 60 分）为“ 合格 ”， 60 分以下为不 合格 。 在项目决策方面，市民服务热线与热线办战略目标 相适应；立项 依据充分；立项程序规范；在项目管理方面，预算执行率良好，预算 调整规范；财务管理制度健全；资金使用合规；财务监控有效；项目 管理制度健全，合同管理存在缺失，外包质量考核标准存在滞后。项 目绩效方面，热线应答量、 FAQ知识库建设题数、宣传平台数、一次 性解决率、有责投诉率、有责退单率、来电人工访问率达到要求的标 准；市民知晓度、被回访市民及管理人员满意度情况良好；话务人员 培训考核情况、知识库维护机制、应急预案机制健全；但是热线接通 率、办结及时率有待提高；话务人员离职率、人工服务平均排队时长 有待降低。 三、 经验教 训和建议 （一）主要经验及做法 1.进一步拓展服务渠道，完善工作机制，服务质量达到全国领先 水平 作为政府服务广大市民的“一号通”平台， 2016年“ 12345”市 民服务热线拓展服务渠道，完善工作机制，加大督查问责力度，着力 解决市民来电诉求，进一步服务政府工作。全年共接听市民电话 270 万个，同比增长 37%，网站和手机 APP 受理 11.5 万件，共转送工单 120 万件，电话回访市民 14 万件，被回访的市民对办理效率、办理 态度、办理结果的综合满意率为 93%，承办部门认定的事项平均解决 率为 82%。在第三方机构对全国“ 12345”热线服务质量监测中，上 海市民热线服务质量得分达到水平全国领先水平。 2.制定了健全的知识库维护机制和应急预案，长效管理机制健全 市民服务热线建立了突发话务高峰应急预案，对呼入量异常 增长情况建立了应急预案；针对次紧急来电建立了次紧急来电事项 电话催办流程，防汛相关来电建立了防汛相关来电接听和派单流 程，针对紧急来电、重要来电、特殊身份来电等建立了特殊来电 接听处理流程、夜间需当即处理的来电事项接听和派单流程等； 制定了运营中心危机公关管理办法，有效预防、妥善处理、及时 化解各类危机，减少和避 免负面新闻报道，群体性投诉事件等的发生。 为规范市民服务热线知识库信息的采集、审核、发布等工作，确 保知识库内容权威、格式规范性，提高信息使用的及时性和准确性， 市民服务热线制定了市民服务热线知识库信息管理工作暂行规定， 对知识库信息的内容、工作原则、职责分工、信息统计、知识库完善 等内容，以及一般信息管理和紧急信息管理的相关事项进行了规定； 制定了知识库信息日常维护管理办法，对 信息采编、信息审核、 查无纠错审核、信息分析与数据统计、系统开发需求管理等日常维护 工作进行了规定；制定了“ 12345”市民服务热线知 识库分库管理 制度，对分库的组成、管理职责、工作规范等进行了相关规定。 （二）存在的问题 1.年度工作外包业务合同签订时间较晚，同时合同管理存在缺失 2016 年市民热线服务工作由于预算追加问题，导致合同直至 2016 年 11 月才签订，而在合同签订前，在无合同支付条款规定的情 况下，为保障热线运营中心正常运行，先行支付了 2 笔资金，合同管 理的规范性仍存在缺失。同时，合同的支付总、分条款对于批次的描 述存在矛盾，且第三批次外包服务费未在条款规定的 2016 年 12 月 15 日前支付，合同管理存在一定缺失。 2.合同指标的联动性问 题及考核标准的滞后，外包质量控制不足 据项目组了解， 2016年 12345市民服务热线呼入量较 2015年增 加约 49.29%，对于呼入量激增问题上，领导小组会议审定调整热线 接通率完成情况的考核标准，根据年度来电变化情况，以实际接电量 作为考核指标予以统筹考虑 2但实际外包合同中考核标准 3未根据这一 情况进行联动调整，导致多个硬性指标依旧以以往情况设定，导致了 多个考核指标未达到合同规定的百分比。 3.人员流失情况较为严重，使得座席数增加产生的接通率情况低 于预期 2016年度，“ 12345”市民服务热线运营中心的话务人员 离职率 达到了 34.35%，超过全国平均水平 413.9%，话务人员流失情况较为严 重，不断进行重复培训新人的工作，以及座席各时段人员难以分配的 问题也间接导致了在呼入量大幅增加的情况下，接通率仅为 81.53%， 未达到合同 KPI指标预期的 88%。 （三）建议和改进措施 1.加强合同管理，保证财政资金的使用效率 建议项目单位与实施单位协商，先以年初确定工作内容及安排的 预算金额签订外包业务合同，并在合同中增加关于扩增需求等内容的 合同条款以确保合同管理规范性，在市民热线领导小组确认同意扩增 需求、增加工作内容及追加预算的条 件下，再通过签订补充协议的形 式补充外包业务合同内容，落实追加资金，保障资金使用的安全、效 2 来源于 2016 年 9 月 6 日印发的 12345 市民服务热线领导小组组长专题会议纪要。 3 原本主要以完成量进行考核，回访等指标由于每人、每日安排完成量不变，作为分母的接通量激增导致 了这些指标的明显下降。 4 项目组以前程无忧（ 20.1%）、怡安翰威特（ 20.8%）统计出的全国平均离职率的平均值 20.45%为标杆。 率及产出效果。 2.尽快根据会议精神对考核标准进行联动调整，引入新的考核机 制以适应接电量的大幅增减 建议对考核标准进行联动调整，并重新制定考核指标，同时在下 一年度工作中与运营中心沟通，根据市民热线的实际情况及趋势，预 见性地引入新的考核机制以适应如接电量的大幅增加或减少等情况 的出现。 3.建议督促运营中心加强人事管理，减少话务人员流失带来的影 响 建议上海市市民服务热线管理办公室应督促市民服务热线运营 中心加强人事管理，了解话 务人员实际需求，增强员工的归属感，提 高员工稳定性，同时跟进培训考核机制，减少由于话务人员流失造成 的影响，培养员工的梯队建设。 2016年度上海市“ 12345”市民服务热线项目绩效评价报告 为了深化财政绩效管理工作，加强财政支出管理，根据上海市 预算绩效管理实施办法（沪财绩【 2014】 22 号）的要求，上海玄 钥管理咨询有限公司受上海市机关事务管理局委托， 2016 年度上海 市“ 12345”市民服务热线项目进行绩效评价。项目组对 2016 年度上 海市“ 12345”市民服务热线项目进行了数据收集、审核、分析和汇 总，开展了 相关人员的社会调查，最终形成了 2016 年度上海市 “ 12345”市民服务热线项目绩效评价报告。 一、项目基本情况 （一）概况 1.立项背景及目的 （ 1）项目立项背景 随着城市规模的扩大以及人民生活水平的不断提高，人们对建设 服务型政府的需求不断加大，为加强公共服务，最大限度地服务于市 民，国内各地陆续开通了市民服务热线。近年来，上海市政府为加强 公共服务建设，先后开通并设立了各类政务服务热线 230多条。这些 热线在服务市民、发挥很大作用的同时，也遇到了“热线太多，不方 便市民记忆和反映问题”、“热线分属于不同条块， 遇到跨部门问题 难以协调落实”、“缺乏统一的管理机制和服务标准，热线服务质量 参差不齐”以及“热线功能有限，缺乏必要的协调和联动”等问题。 为了科学整合并有效利用各类行政资源，最大限度地方便市民咨 询、求助和反映问题，及时解决市民诉求，提高政府办事效率，上海 市政府在 2012年 5月 15日第 141次市政府常务会议上决定建立“对 外一口受理、内部分类处理”的政府综合服务热线，即“ 12345”市 民服务热线 ,实行“一号对外、集中受理、分类处置、统一协调、各 方联动、限时办理”的工作机制。上海市“ 12345”市民服务热线计 划逐步 整合上海市的其他政务服务热线，形成与 110、 119、 120等紧 急类服务热线功能互补，衔接有序的工作机制，最终实现上海市非紧 急类政务服务一个号码全面囊括的工作格局。 （ 2）项目立项目的 上海市“ 12345”市民服务热线的开通，有助于科学地整合和利 用各类行政资源，最大限度地方便市民咨询、求助和反映问题，及时 解决市民诉求；有助于推动政府职能的转变，提高政府办事效率，最 大限度地方便市民咨询、投诉和反映问题；有助于帮助市政府广泛倾 听民意、了解民情、集中民智，推动科学民主决策。 2.预算资金来源及使用情况 （ 1）资 金预算情况 2016 年度上海市“ 12345”市民服务热线项目 5年初预算为 8712 万元，预算资金由市财政承担，由上海市市民服务热线管理办公室申 报预算，上报后根据市民服务热线领导小组组长会议决定，将年初预 算资金先以 2015年预算 7400万元安排，待上半年扩容项目完成后， 5 2016 年较 2015 年项目内容包括增加房租、扩增语音座席 35 席、新增知识库人员 5 人及新增平台维护人 员等费用。 下半年报追加预算。由于 2016年 8月 18日领导小组组长会议通过了 扩容等费用，同时通过了同比例增加客 服、 管理、知识库、多媒体及 数据人员下半年工资，增长率为 17%，最终预算追加至 9585 万元， 具体调整后预算如表 1-1所示。 表 1-1 2016 年上海市 “ 12345”市民服务热线项目预算表 6 单位：万元 序号 项目 内容 费用 一 线路租用及日常维护 111 1.1 话务平台线路租用及日常维护 月租费为 150 元 /线 /月，市民服务热线容量为 300 线。 58 1.2 网站 互联网线路 60M(一主一备） 51 MSTP 专线（一主一备） 2 二 座席费：规模 245 席，其中语音 235 席，多媒体 10 席 3175 1.1 房租 租用电信世界 1/3/4/5/6/7 楼 5227 平 方米 7，其中 1/3/4/5/6 楼 4.2 元 /平方 米 /日， 7 楼 5 元 /平方米 /日。 887 物业管理费 委托管理面积 5558 平方米 8（含公摊面 积 331 平方米），物业管理费收费标准 为 17.50 元 /平方米 /月。 125 1.2 绿化 花木养护 9 保安 按每人 4 万元 /年计算，需用 8 人。 34 保洁 按每人 4 万元 /年计算，需用 8 人。 34 灭火器维护费 干粉灭火器维护 (全年） 4 水费 按照 1 万元 /月预估 13 电费 机房电费 43 话房、办公区域电费 225 办公耗材 墨盒、硒鼓耗材 +维护 59 电话、上网费 现场 运营管理、回访、满意度测评等业务量 32 6 表格内填充底纹部分为较 2015年由于扩增席位导致房租、物业及人员经费等相关费用出现预算增加的部 分。 7 房租面积较 2015 年增加 949.17 平方米。 8 物业管理面积较 2015 年增加 1000.78 平方米。 装修（含设备维保 费 ) 4-7 楼建设、空调等软硬件建设 164 平台 （含机架租赁、维保 费） 呼叫中心系统、电源配套建设 381 辅助 多媒体设施配套建设（含机架租赁、维 保费） 103 1-7 楼专梯改造 31 话房自有空调维保、墙面维护 7 灾备（按 1200 元 /坐席 /月结算费用， 按需配置） 按实际发生 结算 1.3 人资和项 目管理 581 人资管理、招聘、培训、制服、党、工、 团队建设、职业鉴定、学习 交流、文化 建设 598 1.4 信息化 （含机架 租赁、维 保费） 历年已交 付信息化 项目（折 旧分摊） 演示系统、 7 楼演示屏 9 7 层 21 席 12 三级承办单位工单项目 11 IVR 功能 30 业务灾备功能 63 传真 5 门户 硬件 30 软件 12 新增信息 化项目 （折旧分 摊） 工单系统对接项目一、二期 28 面向互联 网多渠道 受理及服 务系统 多渠道受理统一支撑平台 27 联网及安全配套工程 网站受理 市民版手机客端 政务版手机客端 基于位置的 GIS 信息服务系统 9 1.5 新增大数据分析 社情、民意和舆情研究分析 32 1.6 二期扩容 （含机架 租赁、维 保费） 话房 新增三楼整层话房、工作等辅助区域装修、电箱改造 71 系统平台 话务、业务系统平台扩容、带外管理系统、运营管理支撑系统 89 三 人工费用 6299 1.1 200 席人员费用 460 人， 1-6 月按照 8.0625 万元 /年 /人， 7-12 月按照 10.8 万元 /年 /人，人工成 本计算含税费用。 4640 1.2 管理、知识库人员 10 人， 1-6 月按照 12 万元 /年 /人， 7-12 月 16.08 万元 /年 /人，人工成本计算含 税费用。 150 1.3 多媒体 10 席 23 人 25 人， 1-6 月按照 9 万元 /年 /人， 7-12 月按照 12.06 万元 /年 /人，人工成本计 算含税费用。 282 数据专员 2 人 1.4 辅助人员 委办局指导老师、外部专家费用。 35 1.5 平台维护 12345 官网、多渠道平台维护和热线系统平台现场技术开发、维护。 299 1.6 新增 81 名语音座 席 人员 人工成本 参照一期标准 1:2.3 配置 35 席 81 人， 1-6 月按照 8.0625 万元 /年 /人， 7-12 月按照 10.8 万元 /年 /人，人工成本计 算含税费用。 817 1.8 新增知识库人员 人工成本 新增 5 人， 1-6 月按照 12 万元 /年 /人， 7-12 月按照 16.08 万元 /年 /人，人工成 本计算含税费用。 75 合计 : (含税） 9585 2016 年度，上海市人民政府信访办公室与中国电信股份有限公 司上海分公司上海电信签订的 2016 年度外包业务合同约定，外包预 算费用根据考核情况分三 9次向上海电信支付 ：第一次支付时间为 2016 年 5 月 30 日之前，支付金额为 3000 万元；第二次支付时间为 2016 年 6 月 30 日之前，支付金额为 3000 万元；第三次支付时间为 2016年 12月 15日之前，支付金额为 3585万元。 （ 2）资金拨付流程 上海市“ 12345”市民服务热线项目的资金采取国库直拨的方式。 首先 由 市民服务热线管理办公室（设在市信访办）提出预算申请， 经 9 此处合同支付总条款写明为分四次支付，但合同条款的支付批次与具体金额却如下文所写分三次支付。 批复后列入 上海市机关事务管理局 的部门预算。资金 的拨付 则由热线 办向 市信访办提出申请，信访办再向上海市机关事务管理局 申请， 最 后 由 上海市机关事务管理局 向上海市财政局申请并由 上海市财政局 通过国库统一支付。 具体流程详见图 1-1。 市 民 服 务 热 线 管 理 办 公 室 上 海 市 财 政 局 申 请 预 算 上 海 市 机 关 事 务 管 理 局 批 复 ， 并 下 达 预 算 上 海 市 委 信 访 办 公 室 支 付 申 请 支 付 申 请 支 付 申 请 中 国 电 信 股 份 有 限 公 司 上 海 分 公 司 由 财 政 拨 付 图 1-1“ 12345”市民服务热线项目资金拨付流程图 3.项目实施情况 （ 1）实施内容 上海市“ 12345”市民服务热线是一条非紧急类政务服务热线， 主要受理并办理市民提出的包括各类政策和公共信息咨询的事项、生 产生活中遇到的非紧急类求助、涉及政府公共管理和公共服务的投 诉、对本市公共管理、公共服务和经济社会发展的意见建议等。 2016 年上海市“ 12345”市民服务热线项目 主要涉及完成对 “ 12345”市民服务热线的场地租赁、场地装修及维护、技术平台建 设及维护和热线的整体运营管理，包括人员招聘、管理、培训、质量 控制、后台处理、流程数据建立及系统平台开发、维护、回访、知识 信息库建立、采编维护、网站建设和运营、手机 APP等多渠道受理、 热线业务数据分析等。 与 2015年相比增加 20条线路；新增话房、工作辅助区域；并根 据座席规模新增语音 35 座席人员、知识库 5 人、新增多渠道受理平 台维护人员。 （ 2）实施效果 2016 年，在全市各级热线部门共同努力下，市民热线工作基础 不断夯实，办理能力得到 增强，服务水平稳步提升，有效应对话务量 的快速增长，解决了一大批市民反应的急难愁问题，充分发挥了热线 发现问题、协调推进问题解决的综合平台作用。据统计，上海市 “ 12345”市民热线全年共接听市民电话 270 万个，同比增长 37%， 网站和手机 APP 受理 11.5 万件，电话回访市民 14 万件，被回访的市 民对办理效率、办理态度、办理结果的综合满意率为 93%。 4.组织管理情况 （ 1）项目组织结构 上海市“ 12345”市民服务热线项目的组织机构主要由市民服务 热线领导小组、热线办、上海市“ 12345”市民服务热线承办单位和 市民服 务热线运营中心组成。 为保证“ 12345”市民热线的顺利开展和运行，上海市政府专门 成立了市民服务热线领导小组，由上海市常务副市长任组长，负责主 持领导小组的工作；同时，在市信访办下设“ 12345”市民服务热线 管理办公室，代表市政府实施热线的监督管理工作职责。 上海电信作为“ 12345”市民服务热线的外包服务提供商，为更 好地承接市民服务热线项目的管理和日常运营工作，专门成立了 “ 12345”市民服务热线运营中心。负责承担“ 12345”市民服务热线 项目的日常运营，并接受管理办公室的业务领导和监督考核。 此外，由上海 市政府各部门、区（县）政府以及提供公共服务的 企事业单位共同组成市民热线承办单位，负责完成本地区、本部门内 与市民服务热线相关的工作，完成与市民服务热线运营中心的工单对 接。 图 1-2 “ 12345”市民 服务热线 组织机构图 （ 2）项目组织管理流程 上海市“ 12345”市民服务热线的主要工作流程包括 受理、处置、 办理、回访、督办等。 具体流程详见下图 1-2所示。 1） 受理 上海市“ 12345”市民服务热线提供 “ 7 24 小时”全时服务， 接听市民来电后进行内容登记。 2）处置 对于不属于热线受理范围的事项，及时 告知来电市民不予受 理，并说明原因或指引其他处理途径。 对于属于热线受理服务范围内的市民来电，运营中心话务员会 根据来电事项性质、内容、涉及领域、涉及部门等信息进行分类处置： 对市民提出的政策和公共信息类问题，依托市民服务热线知识库能够 直接进行答复的，当场答复；对不能直接解答的政策和公共信息咨询 类问题，以及非紧急类求助、投诉、请求、建议等事项，根据职责分 工，转交各区（县）的承办单位进行处理；对市民来电反映的突发性 公共事件、社会安全隐患，以及涉及个人人身、财产安全的紧急求助 等，视情况即时转接至市应急联动中心，并报 市政府应急办。 承办单位认为工单所涉及事项不属于本单位职责的，报经本单 位市民服务热线工作负责人审核同意后，在收到后 1个工作日内（特 别复杂的事项为 2个工作日内），将工单退回热线办，并说明退单理 由。热线办审核后同意退单的，根据职责分工，重新派发工单；不同 意退单的，仍将工单派回原承办单位，并不允许再退单。 3）办理 承办单位在接到工单后，应遵循“ 1515”的时限要求进行：即收 到工单后的 1个工作日内，先行联系来电市民；对于复杂的来电事项， 承办单位在 5个工作日内办理并回复来电市民；对于疑难事项，承办 单位在 15个工作 日内办理并回复来电市民。 4）回访 事项办理完毕后，承办单位应在 2个工作日内，将办理结果报热 线办。对办理完毕的事项，热线办每月按照一定比例，回访来电市民， 了解办理情况。回访中发现承办单位办理不到位的，视情况发起督办。 5）督办 热线办对工单办理情况进行实时监督，督促承办单位按照规定办 理。对责任不清、涉及多个部门的问题，组织相关部门协调办理。对 热点难点问题，形成专报呈市领导批办。 11 图 1-3 项目的组织管理流程 12 （二）绩效目标 1.项目总目标 充分整合利用各类行政资源，最大限度方便市民咨询、投诉和反 映 问题；及时回应解决市民诉求，维护群众权益，提高政府办事效率； 广泛听取民意，了解民情，集中民智，推动科学民主决策。努力将 “ 12345”市民服务热线打造成一条具有上海特色、代表上海形象的 政务服务热线。 2.年度绩效目标 项目组根据 2016年上海市“ 12345”市民服务热线项目预算申报 过程中设置的绩效目标，结合信访办委托中国电信股份有限公司上海 分公司的外包业务合同中的指标要求，对项目的绩效目标进行了重新 梳理，分为以下三个方面： （ 1）产出目标 1）定期维护 FAQ知识库，达到 FAQ知识库建设题数 10000题； 充分 利用各种媒体渠道进行广泛宣传，媒体平台类型 4种。 2）保证服务热线 7*24小时正常运行，服务质量达到或超过协议 约定的标准水平：热线接通率 88%、 2016年度完成 250万应答量、 一次性解决率 45%、有责投诉率 0.3、有责退单率 7%，电话回 访率 15%; 3）各承办单位按照“ 1、 5、 15”办理时限解决市民疑问，实现 按时办结率达到 100%；人工服务平均排队时长 30秒。 13 4) 对专项业务进行抽查监控，有效控制错误率，实现专项质量 监控错误率 5%。 （ 2）效果目标 1）通过多种途径提高市民知晓度，实现市 民知晓度 80%。 2）通过多方共同努力最大限度地提高各方的满意度，达到来电 市民满意度 80%；管理人员满意度 80%。 （ 3）影响力目标 1）制订健全的培训考核机制，定期对新进话务人员及在岗话务 人员的进行培训并及时考核。 2）将热线信息分析结果及时与相关部门共享，形成信息共享机 制。 3）建立健全的知识库和应急响应预案，形成长效管理机制。 4）控制话务人员流失，保持“ 12345”市民服务热线力量。 二、绩效评价工作情况 （一）绩效评价目的 财政支出绩效评价旨在通过评价改善预算部门的财政支出管理， 优化资源配置 及提高公共服务水平。 本次绩效评价的目的是对上海市 “ 12345”市民服务热线项目的财政资金使用效率和效益进行评价分 析，从中总结出项目管理部门在项目实施过程中所开展管理工作的经 14 验和不足之处，提出改善项目管理的建议和措施，帮助提高项目实施 单位的管理水平。具体目标如下 : （ 1）通过评价，了解上海市“ 12345”市民服务热线项目的基本 情况，对项目背景、项目意义、项目现状和项目内容做深入调研和分 析。 （ 2）通过评价，了解上海市“ 12345”市民服务热线项目的产出 和效果情况以及整体绩效状况。 （ 3）通过评价，梳理上海市“ 12345”市民服务热线项目的资金 使用情况，从绩效角度发现该项目决策、实施和管理过程中存在的问 题并寻求解决方案，以促进其管理水平的不断提高。 （二）绩效评价原则及评价方法 1.绩效评价原则 （ 1）价值中立原则 财政支出绩效评价是客观评价，所有用来评价的指标均可量化， 所有参与评价的单位和个人都必须遵循评价价值中立原则，即财政支 出绩效评价结果，只取决于各单位工作业绩的客观实际，而不取决于 评价人的价值判断和个人意愿。评价结果不会因为评价人价值观念的 不一致而有所不同。 （ 2）公平、公正、公开原则 从评价目标的设计、 指标体系的研发及设计、数据填报、复核， 专家评议等所有环节，都必须保证评价过程的公开性、程序的规范性 和合理性，应及时发现并处理评价过程中的问题，以保证评价结果的 准确、客观和科学。 15 （ 3）客观性原则 评价以数据为准绳，坚持客观评价。即由相关部门填报数据，项 目组根据填报的数据，在进行汇总、分析、评价的基础上，独立开展 评价，得出评价结果，并形成评价报告。 2.评价方法 本次绩效评价秉承以上价值中立、公平公正公开、客观性等原则， 按照从投入到产出、效果和影响力的绩效逻辑路径，结合 2016 年度 上海市“ 12345”市民服务 热线的实际开展情况，通过指标设计和量 化分析检验公共支出的效果，从项目决策、项目管理和项目绩效等方 面，综合考察该项目的完成情况、取得的成绩以及效益等，运用定量 和定性分析相结合的方法，总结经验做法，反思项目实施和管理过程 中的问题，以切实提升财政资金管理的科学化、规范化和精细化水平。 具体采用的评价方法如下： （ 1）政策、文献研究法 通过研究或解读项目的相关政策文献来获取项目的概况、绩效指 标等有用信息。 （ 2）标杆法 通过与最佳值进行比较，算出绩效值。 （ 3）社会调查法 主要包括问卷调查、访谈、现场勘查等，以获取一 手数据资料。 （ 4）抽样复核法 采用简单随机抽样的方法，对采集的数据信息按照一定的比例进 行抽样复核。 16 （三）数据采集方法及过程 采集的数据分定性、定量两种，其中定性数据主要通过问卷调查、 访谈、实地考察等社会调查方式进行采集；定量数据通过翻阅相关资 料、由项目单位填报基础表格的方式来进行采集，数据收集到位后， 对数据进行实地复核，确保数据的真实、准确。具体数据采集的方法 和过程如下： 1、基础数据采集 在热线办以及上海电信市民热线运营中心的的支持和配合下，项 目组完成了基础表的填报工作。 2、问卷调研 本次绩效评价项 目知晓度问卷调查对象为市民，满意度问卷调查 对象为热线办相关管理人员，在上海市热线办及运营中心的协调下， 项目组分别针对相关以上两类对象展开了知晓度、满意度问卷调研。 问卷调查报告见附件 2。 （ 1）上海市民知晓度问卷 项目组通过随机抽样的方式抽选上海市民进行了知晓度调研，问 卷发放总量为 400份，回收有效问卷 392份，问卷回收率为 98%。 （ 2） 主管部门管理人员 满意度问卷 根据上海市热线办提供的各主管部门管理人员的联系方式，项目 组通过电话、传真和邮件等方式对部分管理人员进行了满意度调研， 问卷发放总量为 10份，回收 有效问卷 10 份，问卷回收率为 100%。 3、访谈调研 根据工作方案，项目组对上海市热线办以及运营中心相关管理人 员进行了访谈，针对 2016年度上海市“ 12345”市民服务热线的立项 背景、资金管理情况、监督检查管理情况、采取的措施或者制度保障、 17 取得的成绩与效益、实施过程中的困难以及存在的问题和改进建议等 问题进行了详细了解。访谈报告见附件 3。 （四）绩效评价实施过程 项目组根据绩效评价的原理和规范，对项目调研过程中获取的数 据和信息进行归纳、总结和分析，结合工作方案中制定的绩效评价指 标体系对项目进行评分。并在此基础 上提炼结论撰写绩效评价报告， 上报委托单位。具体实施过程如下： 1.基础数据采集和分析 2017 年 8 月 8 日 8 月 10 日，项目组在充分调研的基础上， 根据上海市热线办以及运营中心填写和反馈的基础表数据，对 2016 年度项目资金的到位落实情况等数据进行了整理和分析。 2.社会调查 2017年 8月 11日 8月 20日，项目组对上海市热线办及运营 中心相关管理人员进行了访谈， 主要了解 “ 12345”市民服务热线的 开通现状，了解该 项目 的 管理 情况 、 监督考核情况、实施过程中遇到 的 困难 及 建议等。 此外，项目组随机选取部分 上海市民进 行了问卷调查，了解其对 上海市“ 12345”市民服务热线知晓度；对主管部门管理人员进行了 问卷调查，了解其对上海市“ 12345”市民服务热线的制度完善、制 度执行等方面的满意度。 3.数据分析及撰写报告 18 2016年 8月 20日 8月 30日， 项目 组根据绩效评价的原理和 规范，对 收集到的所有材料和 数据进行甄别、分析和评分，并提炼结 论撰写 了本次绩效评价 报告 。 三、评价结论和绩效分析 （一）评价结论 1.评价结果 项目组根据市财政局关于印发 （沪财绩 201422号文）提出的绩效评价指标 框架，细化形成 了本项目的指标体系及评价标准，经过数据采集、问卷调查、访谈， 以及数据分析等环节，完成了 2016年上海市“ 12345”市民服务热线 项目绩效评价工作，最终评分结果：总分为 87.26，属于“良” 10。 其中，项目决策类指标权重为 11 分，得 11 分，得分率为 100%；项 目管理类指标权重为 24分，得 19.37分，得分率为 80.71%；项目绩 效类指标权重为 65分，得 56.89分，得分率为 87.52%。各部分权重 和绩效分值如下表 3-1所示： 表 3-1 2016 年上海市“ 12345”市民服务热线项目绩效分值 指标 A.项目决策 B.项目管理 C.项目绩效 合计 权重 11 24 65 100 分值 11 19.37 56.89 89.93 得分率 100% 80.71% 87.52% 87.26% 各部分得分率如下图 3-1所示： 10绩效得分 90 分以上（含 90 分）为“优”， 75 分 -90 分（含 75 分）为“良”。 60-75分（含 60 分）为“ 合格 ”， 60 分以下为不 合格 。 19 图 3-1 2016 年上海市“ 12345”市民服务热线项目绩效得分率 2.主要绩效 2016年上海市“ 12345”市民服务热线项目整体处于良好水平。 在项目决策方面，市民服务热线工作的开展能够支持热线办战略 目标的实现，符合热线办日常工作的开展要求；立项依据充分；立项 程序规范； 进行了绩效目标申报，指标设置具体细化可衡量，且年度 任务与计划对应。 在项目管理方面，预算执行率良好；财务管理制度健全；资金使 用合规；财务监控有效；项目管理制度健全 ,合同管理、外包质量管 理需要仍需加强、跟进。 在项目绩效方面，热线接通率、一次性解决率、有责投诉率、有 责退单率、专项质量监控错误率、 FAQ知识库建设题数、宣传平台数、 年发稿量均达到要求的标准；话务人员培训考核情况、信息共享情况 良好；知识库维护机制、应急预案机制健全；但是市民及管理人员满 意度、承办单位按时办结率有待提高、人工服务平均排队时长有待降 低。 20 （二）具体绩效分析 本次绩效评价各项指标得分情况见表 3-2所示。 表 3-2 2016 年上海市“ 12345”市民服务热线项目绩效得分表 指标 权重 业绩值 得分 A 项目决策 11 11 A1 项目立项 7 7 A11 战略目标适应性 2 项目符合热线办日常工作的开展要求，与热 线办战略目标相适应。 2 A12 立项依据充分性 3 项目与热线办的职责密切相关，且该项目的 实施有充分的政策依据 3 A13 项目立项规范性 2 项目按照规 定的程序申请设立，经过必要的 集体决策等 2 A2 项目目标 4 4 A21 绩效目标合理性 2 目标设置合理，可衡量、且能够实现，且为 促进热线办的工作开展所必需，符合客观实 际 2 A22 绩效指标明确性 2 进行了绩效目标申报，指标设置具体细化可 衡量，且年度任务与计划对应 2 21 B 项目管理 24 19.37 B1 投入管理 5 4.87 B11 预算执行率 3 98.69% 2.87 B12 预算调整规范性 2 预算调整流程规范，提交材料完整 2 B2 财务管理 10 10 B21 财务管理制度健 全性 2 财务管理制度健全 2 B22 资金使用情况 4 未发现截留、挤占、挪用、虚列支出等情况， 资金使用合规 4 B23 财务监控有效性 4 项目实施采用服务外包的方式，项目实施接 受热线办的业务领导和监督考核，且支付流 程严谨，有效地实现了成本控制以及规范运 行，保障资金安全 4 B3 项目实施 9 4.5 B31 项目管理制度健 全性 3 对项目合同管理、外包质量控制进行了指定， 同时制定了相关业务制度保障项目实施。 3 B32 项目管理制度执 行有效性 6 1.5 B321 合同管理制 度执行有效性 3 项目合同执行过程中出现了 3处缺失 0 22 B322 外包质量控 制执行有效性 3 对于年度接通量激增的问题上，考核机制存 在滞后 1.5 C 项目绩效 65 56.89 C1 项目产出 40 33.77 C101 热线接通率 4 81.53% 3.08 C102 FAQ知识库建设 题数 2 19440 2 C103 热线应答量计 划完成率 4 109.11% 4 C104 宣传平台数 2 通过 12345 官方网站、 12345 微信公众号，上 海电视台、上海广播电台、解放日报、新民 晚报、劳动报、东方网及澎湃新闻共计 9种。 2 C105 一次性解决率 4 49.42% 4 C106 有 责投诉率 4 0.087 4 C107 有责退单率 4 0.98% 4 C108 来电人工回访 率 4 10.58% 2.81 C108 专项质量监控 错误率 4 13% 2.8 C109 办结及时率 4 88.08% 2 C110人工服务平均排 队时长 4 2016年全年，人工服务平均排队时长为 53 秒 3.08 C2 项目效益 25 23.12 C21 市民知晓度 3 74.49% 3 C22 被回访市民综 合满意度 3 93% 3 C23 管理人员满意 3 88.67% 3 23 度 C24 影响力 16 14.12 C241 话务人员离 职率 4 34.35% 2.12 C242 话务人员培 训考核情况 4 2016全年，参加培训话务人员数量达到 5003 人次，培训合格话务人员数量达到 4777人次， 培训合格率达到 95%。话务人员培训考核情况 良好 . 4 C243 知识库维护 机制健全性 4 知识库维护机制