认知智能大门：企业如何构建NLP能力.pdf

认知智能大门 企业如何构建 NLP能力 当你看到下面这张照片，你会想到什么？机器人能听懂 我说话吗？机器人会像人一样喜怒哀乐吗？这是大家对 人工智能(“AI”)最初的幻想，也是AI研究的终极目标。 1 引言 认知智能大门，企业如何构建NLP能力 | 引言 NLP（Natural Language Processing, 自 然语言处理）是AI的子领域，同时涉及 语言学和计算机科学，被比尔盖茨称 作“AI领域皇冠上的明珠”。微软全球 执行副总裁沈向洋认为在AI领域“得语 言者得天下”。OpenAI(2015年成立的 一家人工智能公司)开放了GPT-3的访问 接口，它可以根据描述生成HTML布局 和代码、创建UI设计、生成机器学习代 码，将口语化描述转化为法律语言， 对于各大企业来说， NLP到底能带来 什么？NLP技术是企业在认知智能时代 实现转型升级的关键技术，主要用于解 决人与人的交互问题、企业间的交互问 题、硬件与人的交互问题。企业服务在 发展的过程中，唯一不变的追求是“降 本”，“增效”与“提质”，NLP能够 为企业提供： 数据驱动的业务洞察：通过企业内外服 务积累的海量结构化数据和非结构化数 据，洞察客户需求和业务痛点，帮助企 业找到需要补足的短板，提升业务质 量。如通过对互联网上的新闻文章、论 坛评论以及客户反馈等海量文本数据进 行分析，可以抽取与目标企业的核心话 题，分析出其竞争对手的产品策略和发 展趋势，了解到客户对企业及其产品的 舆论评价等。 甚至可以根据关键词进行文学作品的创 作，让人们体验到AI的强大之处。 在中国新基建背景下，NLP将迎来更 快发展。以AI为代表的新技术基础设 施将进一步支撑传统基础设施转型升 级。NLP作为AI的核心技术之一，已经 成为企业在认知智能时代实现转型升级 的关键。 交互客户服务：智能化的交互方式打造 全流程无间断的客户服务系统，提高用 户体验，并通过分析交互反馈，聆听客 户声音，解决客户关心的问题。如当下 典型的应用“智能客服机器人”，代替 人工座席，帮助回答90%的问题，大大 降低客服成本。目前德勤DS COE团队自 主研发的Bot-Alpha机器人工厂能够支持 业务人员根据自己的业务需求，通过图 形界面的方式迅速创建自己的机器人， 并应用到实际业务场景，能帮助企业迅 速提高运营效率。 高效运营工具：通过打造智能化的运营 工具，帮助企业缩短业务流程，实现业 务自动化。在企业运营过程中，很多时 候交互需要涉及到语言和文字信息，利 用NLP技术可以辅助企业做到文档处理 的智能化。如企业运营中会涉及到很多 1.1 得语言者得天下 1.2 NLP为企业带来的价值 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4 3 清华大学刘知远教授认为，当今深度学 习和知识图谱是NLP技术发展的两大引 擎。深度学习技术能够让计算机具备思 考的能力。知识图谱能够提供计算机进 行思考的知识基础。在知识图谱加持 下，计算机已经能进行简单的知识推理 和认知，在智能问答、智能搜索和智能 风控等方面崭露头角。融合知识图谱的 NLP技术已经打开了计算机实现认知智 能的大门。 文本合同拟定、校验、审核和归档等， 利用NLP技术可以实现自动对文档进行 结构化信息抽取，进行合同风险点的识 别，法律合规风险的评估以及与标准合 同模板的比对等。 重复性劳动的替代：通过AI机器人代 替重复性较高的工作，降低企业运营 成本。NLP与RPA进行结合是当前AI在 企业进行运用的一大亮点，利用NLP技 术识别出任务，然后再利用RPA执行任 务，可以极大代替重复性劳动。如发票 报销是一个耗时耗力的工作，可以利用 OCR+NLP技术识别出发票内容和报销目 的，然后利用RPA进行报销内容的填写 和报销流程的处理，能够完全实现发票 报销的自动化。 认知智能大门，企业如何构建NLP能力 | 引言 2 NLP在企业的落地过程中有诸多挑战，本文将从策略规划、场景选择、成本投入， 数据获取，组织及人才以及技术六个方面，分别阐述并提出应对方案。 1.3 NLP能力建设成功的六大要素 战略规 划 商业价值捕 获 数据获 取 组织 /人才 技术 场 景 选 择 成 本 投 入 认知智能大门，企业如何构建NLP能力 | 引言 策略规划 制定企业 NLP能力建设战略时，需要根 据获取的难易程度认识 NLP的能力层次。 企业 NLP能力可以分成“能用”、“好用” 和“智用”三个层次。需要在进行 NLP能 力建设的时候，按照逐层递进的路径开 展实践。 能用：具有基础的开发环境，能针对特定 场景定向开发，使企业具有 NLP应用定向 开发能力。企业可在此阶段对具体的业务 场景进行“一对一”的智能提升，初步享 受 NLP能力带来的红利。 明确了 NLP能力层次后，企业可根据自身 业务情况，制定分步执行路线图。首先要 确定企业应用 NLP技术的愿景，然后根据 自身业务特点与 NLP技术结合。具体路线 图可以参考： 第一步，规划远期目标，对比愿景和当前 的技术能力，分析全业务线，规划 NLP的 潜在场景。 第二步，NLP开发的基础设施建设，选择 典型业务场景，进行应用定向开发。 好用：具有统一的 NLP开发平台，面向所 有业务场景进行统一开发部署，实现模型 复用，使企业具有 NLP平台化开发能力。 能够统一 NLP技术能力，并不断丰富模型 以快速响应业务需求。 智用：具有统一的知识服务平台，将企业 所有结构化和非结构化数据进行融合， 实现知识复用，使企业具有 NLP知识服务 能力。企业在此阶段能够源源不断地将 知识渗透到企业各方，实现知识驱动业务 创新。 第三步，搭建 AI平台实现 NLP应用开发的 平台化、自动化和全生命周期管理，实现 NLP模型的共享。 第四步，搭建知识中台，基于 NLP和知识 图谱，整合内外部数据，统一企业知识 服务。 第五步，全面实现知识驱动业务创新的发 展模式，将知识服务渗透到企业生产运 营决策的细节中。 2.1 企业NLP能力分成“能用”、“好用”和“智用”三个层次 2.2 NLP的实施路线图应该从“远处着眼，近处着手” 3 2 策略规划：结合自身业务实际，制定 NLP能力建设战略 在底层数据与技术基础未扎实的情况下，NLP能力建设规划不可盲目求快、求全。制定 策略规划时，需要综合考虑企业 NLP能力、业务发展重点和数字化现状，科学有序地建 设企业 NLP能力。 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4认知智能大门，企业如何构建NLP能力 | 策略规划：结合自身业务实际，制定NLP能力建设战略 由于 NLP技术的复杂性和专业性，传统企 业往往缺少技术积累。另外，每个企业的 业务领域和商业模式千差万别，企业也难 以依靠软件购买的方式一次性完成 NLP 能力的建设。因此，需要找到合适的技术 服务商，与企业共建 NLP能力。 然而，NLP技术服务商鱼龙混杂，选择和 管理合作伙伴是一个挑战。选择时，需要 运用有效的方法论对服务商进行评估，帮 2.3 引进合适的技术服务商合作共建才能又快又好的建设NLP能力 4 助企业建立一个稳定的生态圈，以避免 合作伙伴频繁更换而造成损失。本文从 技术服务商的业务模式、技术与产品能力 以及商务与交付能力三个维度，构建了完 整的技术服务商评估体系，见下图。 业务模式 技术与产品能力 商务与交付能力 技术服务商选择体系 管理制度 组织形式 技术领域 算法先进性 交付能力 服务模式 技术范围 项目管理 方案特征 落地能力 合作默契程度 外部合并 产品沉淀 综合服务商 细分领域独角兽 创业公司 认知智能大门，企业如何构建NLP能力 | 策略规划：结合自身业务实际，制定NLP能力建设战略 5 3 场景选择：典型业务场景应用是NLP 能力构建实践的最佳起点 应用场景挖掘是 AI项目成功的关键因素。战略定点完成后，需要 NLP技术部门牵头，与业务部门一起整理潜在的 NLP应用场景，最 终形成 NLP应用场景开发部署蓝图。在场景梳理的过程中，若没有 NLP技术人员参与，可能会存在场景过度乐观、脱离技术或者漏 掉支持场景的情况。 下图是某消费品企业涵盖企业全价值链的 NLP潜在应用场景举例： 典型业务场景需要企业结合业务价值和 技术可行两方面进行选择。业务价值需 要关注预期收益、投入成本、业务边界 以及部署阻力；技术可行需要评估技术 难度、数据基础、计算资源和开发周 期。综合考虑以上要素后，企业可以选 择1-2 个典型业务场景进行试点开发。具 体步骤可以参考如下： 研发管理 行业发展趋势 消费者意见洞察 竞争对手动态 产品概念挖掘 供应链管理 单据识别 地址对齐 合同信息抽取 生产制造 维修经验检索 障碍关联分析 营销管理 热门事件聚集 消费者反馈分析 客户画像 售后服务 客服机器人 客诉分析 公司舆情监督 3.1 全面梳理业务场景，构建潜在的NLP应用场景库 3.2 选择典型业务场景进行试点开发 概念验证：根据当前的业务需求和资源 基础，规划较小的实施范围，进行POC 开发以完成概念验证，原则上不超过3 个月。 分期上线：将长期的业务目标进行阶段 划分，每个阶段以层层递进的方式进行 功能升级，每个阶段需控制在3-6 个月。 经验总结：每个阶段都需要进行经验总 结，并在项目完成后形成企业独有的 NLP项目实施方法论和流程。 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4认知智能大门，企业如何构建NLP能力 | 场景选择：典型业务场景应用是NLP能力构建实践的最佳起点 6 4 数据获取：持续的数据 更新是项目成功的基础 数据数量和质量是 AI项目成功实施的基 础，NLP项目也不例外。保证数据数量和 质量需要做好数据需求评估、数据持续 供给和数据质量监控。 数据需求评估需要特别注意数据的获取 成本、技术难度和法律风险。尤其是 NLP 数据缺少通用的数据集，在针对某项业 务进行数据获取时，需要综合考虑，准备 数据标注和数据增强的工作。避免数据 获取方案脱离成本和技术限制，或者有 合规风险。 数据持续供给需要形成完整、流畅的数 据供给机制，包括数据的收集、清理、标 注、加工和集成等环节。具体执行中，首 先要调研数据现状，结合可视化的方式， 形成数据的标注方案，获取模型启动的 第一批数据。其次，根据第一批数据，得 到基线模型，依据模型表现，对数据标 注进行调整，持续优化模型训练和数据 标注工作，获得达到上线标注的 NLP模 型。NLP模型上线以后，需要收集用户反 馈，形成自动化的数据反馈和标注机制， 持续学习。 数据质量监控需要融合在数据持续供给 的过程中，可以通过数据分析和数据采 样检查的方式，发现数据质量的具体问 题，并提出改进的方法。 认知智能大门，企业如何构建NLP能力 | 数据获取：持续的数据更新是项目成功的基础 7 5.1 面向特定场景需求，进行NLP模型的应用开发 是NLP能力建设的初级阶段 场景C 数据准备 数据准备 数据准备 数据标注 数据标注 数据标注 模型开发 模型开发 模型开发 模型训练 模型训练 模型训练 模型部署 模型部署 模型部署 模型测试 模型测试 模型测试 场景B 场景A 数据平台计算资源网络服务训练环境标注服务 5 结合NLP能力的层次打造稳步推进的 技术路线 前文提到 NLP能力分成“能用”、“好用”和“智用”三个层次，本部分将对实现三个层次分别给出具体的技术行动方案。 面向场景的NLP应用的定向开发模式 在 NLP初级阶段，企业应该专注 NLP基 础建模能力的建设，包括软、硬两方面的 实力。 硬实力方面，首先建设数据平台，实现多 方数据的接入、存储、管理和统一的对外 服务。其次，准备计算资源，通过购买物 理 GPU服务器或租用云服务器。接着，搭 建 NLP模型训练环境，在 GPU服务器上搭 建深度学习框架、NLP算法库和模型库。 再次，搭建网络环境，实现线上模型发 布。最后，通过自建或者外包的方式，搭 建标注服务。 软实力方面 ,应组建核心 NLP技术团队， 研究技术发展的最新进展，掌握最新技 术，并深入企业业务场景，透析 NLP技术 的应用点。该阶段会形成如下图的开发 模式，NLP技术人员可以在基础环境下 针对特定的业务需求进行定向开发。 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4认知智能大门，企业如何构建NLP能力 | 结合NLP能力的层次打造稳步推进的技术路线 8 5.2 平台化的NLP开发，是一个企业NLP能力成熟的标志 场景应用平台运维管理 数据处理 底层资源 业务支持 通用NLP模型库深度学习框架NLP算法库 NLP 算法层 初级的 NLP定向应用开发，支持企业对特 定业务场景的 NLP应用，但这种模式存在 如下问题：“烟囱式”开发导致项目之间 缺少共享、不易集成，重复开发、成本高， 能力缺乏沉淀；底层资源缺少统一的资 NLP应用的开发上线，涉及到业务支持， 数据处理，模型学习和模型监控四个方 面。平台支持按业务需求设计实施方案， 通过模板来规范方案设计。平台支持统 智能客服 数据标注 大数据集群 方案设计 NLTK TensorFlow Bert Jieba Pytorch GPT 项目注册服务编排 Spacy Keras ELMO . Caee . 模板创建 效果追踪 个性化推荐 数据预处理 GPU算力管理 舆情分析 数据集划分 文档处理 权限管理 设备管理 运维监控 版本管理 特征工程 源调度和管理平台，容易造成资源浪费； 缺少统一的模型发布和监控平台，模型 管理难。 基于 AI平台开发 NLP的方案应运而生，其 一的数据获取、数据标注、特征工程以及 数据集划分等，以数据处理服务的方式 统一进行发布。模型学习包括线下模型训 练、模型评估以及可复用模型库、算法库 核心目的是打通多条业务线之间的开发 需求，为业务层打造一个共享的 NLP模型 服务，并支持平台化、自动化和全周期管 理。下图给出了一个 AI平台（NLP部分）的 建设功能架构示例： 管理。模型监控包括自动部署运行、 性能监控和对外服务接口管理等。 认知智能大门，企业如何构建NLP能力 | 结合NLP能力的层次打造稳步推进的技术路线 9 企业如何从海量数据中获取信息和知识，最终达到企业智慧，决定了企业最终的智能化程度。知识中台通过整合企业内外多方面的 数据，并进行统一加工处理形成企业的知识，以知识服务的方式支撑企业的智能化运营和业务创新，支撑企业决策的每个细节，快 速响应内外部的变化。 NLP和知识图谱是构建企业知识中台的关键技术，其核心功能包括知识表示、知识生产、知识加工和知识应用四个部分。下图给出 了知识中台的功能架构示例： 5.3 知识服务代表着企业NLP能力驱动业务创新的未来 应用场景 数据源 关键技术 核心功能 知识表示知识加工知识生产知识应用 企业搜索 公共开放数据 运维历史数据 网络媒体数据客户反馈数据 营销活动数据 自然语言处理 知识图谱 深度学习 知识建模 知识表示 图谱构建 知识分类 知识聚合 知识关联 数据接入 知识挖掘 知识理解 知识推理 知识问答 知识可视化 智能客服企业知识库 个性化推荐 行业图谱 决策引擎 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4认知智能大门，企业如何构建NLP能力 | 结合NLP能力的层次打造稳步推进的技术路线 10 利用 NLP技术进行智能化的企业转型，不 仅是一种技术的引进应用，更多的是企业 思维和运营模式的变化。NLP项目的实施 过程中会遇到各种困难或阻力，包括企业 对 NLP能力水平的误解，项目实施牵扯的 各方利益再分配以及项目投入和预期之 在 NLP技术团队建设方面，团队至少应包 含行业专家、NLP数据科学家、NLP算法 工程师和 NLP产品经理四个角色。其中行 业专家负责提供特殊行业的业务知识；数 据科学家基于业务需求开发相应的 NLP 算法；算法工程师负责总体的系统架构， 功能开发和 NLP模型上线工作；产品经理 负责理解业务需求，制定并推进开发计 6.1 避免NLP团队沦为业务部门的技术外包 6.2 NLP团队建设需要以内部培养为主 6 有效的组织和丰富的人 才资源是企业NLP能力建 设的保障 间的不匹配等。需要建立一种自上而下的 项目推进制度，成立由 CIO，甚至 CEO直 接领导的部门，由该部门统一协调各个业 务部门完成项目，避免 NLP团队成为业务 部门的外包开发人员。 划，保证项目交付。 针对四类人才需求，团队建设需要结合 人才招募和内部培养。然而，目前 AI人才 匮乏和自身业务的独特性，企业更需要加 强人才内部培养，通过项目实施“以战代 练”的方式进行团队的磨合和培养，打造 适合企业自身业务的技术团队。 认知智能大门，企业如何构建NLP能力 | 有效的组织和丰富的人才资源是企业NLP能力建设的保障 11 7 成本投入：有计划的持续投入和良好 的成本管控是NLP能力建设的基础 NLP能力建设的战略实施需要有配套的 资金与时间投入。在NLP能力建设的初 期，需要搭建软硬件资源，组建具有 专业能力的技术团队，同时引入技术服 务商。在项目实施过程中，需要获取相 关数据，对数据进行标注和处理，优化 算法的性能，以达到业务部门的实际需 求。在项目上线运行后，需要持续监 控算法性能，并引入自学习机制不断 优化。最终，搭建AI平台，更好地支持 NLP应用的规模化开发。 为了保证 NLP能力建设的可持续性，所有 的花费都需要进行提前规划和审查。首 先需要进行详尽的成本核算，细分成本 类型，明确成本结构，避免资源的重复投 入；其次，要建立项目预算的审核审批制 度，明确审批人责任；同时，充分调研市 场，获取合理的价格信息；最后，制定合 理的 KPI考核，激发团队的战斗力，提高项 目实施效率。 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4认知智能大门，企业如何构建NLP能力 | 成本投入：有计划的持续投入和良好的成本管控是NLP能力建设的基础 12 8 企业成功案例分享 在利用 NLP技术推进企业智能化方面已 有很多成功落地案例，并帮助企业极大提 高了生产效率，例如： AI智能培训：某国际手机生产厂商在全 国有 2000多家门店，3万多名门店导购人 员，由于门店导购人员相对不太稳定和厂 商培训内容经常发生变化，传统通过人 工培训的方式，很难满足课程内容实时 更新和保证培训效果的需求，该企业通 过部署智能培训机器人，利用机器人扮 演多种顾客角色，并将培训内容编排到 培训机器人知识库的方式，成功实现了 7*24小时实时培训和培训内容迅速更新 的目标。 兴趣发现与推荐：某国有大型商旅集团 通过对其旗下历史积累的 2万多条线路的 宣传文稿，利用 NLP技术对其进行分析， 构建了具有 2000多个标签的旅游特色标 签体系，很好地描述了其旗下产品每条线 路的旅游特色，并利用该标签体系结合历 史数据，能够准确的描述每个旅游用户的 兴趣，从而实现了对旅游用户做到千人千 面的产品推荐和旅游服务。 业务尽调及审查审批：对于某大型国有 商业银行的小额信贷业务，通过搭建基于 知识图谱的信贷业务风控平台，将原有来 自多业务、多渠道、多管理系统的复杂多 元异构数据，抽离成符合银行自身业务特 认知智能大门，企业如何构建NLP能力 | 企业成功案例分享 色的各类实体、关系及属性。结合指标、 规则、模型体系，对客户准入、尽调强 化、违约识别、不良预警、组合风险管理 等业务场景提供了多维度分析。授信业务 办理时间缩短至 30分钟左右；显著提升 贷后水平，将不良贷款率控制在 4%以内， 相较平台上线前至少降低了 70%。实现了 银行普惠金融场景下各类信贷业务贷前、 贷中、贷后的全面覆盖，有效增强授信业 务全流程的风险管理能力。 11 The semiconductor industry in Asia Pacific | The Asia Pacific Big 4认知智能大门，企业如何构建NLP能力 | 结语 9 结语 AI发展今天，已经走过了计算智能和感 知智能阶段，开始迈入认知智能。NLP 技术作为认知智能的核心， 能够帮助企业转型升级，驱动企业业务 创新，享受知识服务带来的红利。企业 从“能用”到“好用”再到“智用” 的NLP能力建设过程中，需要“远处着 眼，近处着手”，先进行战略定点，后 逐步开展场景定向开发能力建设，AI平 台建设和知识服务建设，通过自上而下 推进的方式和持续人才培养的战略，保 证项目的顺利推进。同时，谨慎合理的 选择恰当的技术服务商也关系到项目的 成败。 12 联系我们 尤忠彬 德勤管理咨询中国数据科学卓越中心 领导合伙人 电子邮件： 王鹏 德勤管理咨询中国 总监 电子邮件： 认知智能大门，企业如何构建NLP能力 | 联系我们 Deloitte（“德勤”）泛指一家或多家德勤有限公司，以及其全球成员所网络和它 们的关联机构（统称为“德勤组织”）。德勤有限公司（又称“德勤全球”）及其 每一家成员所和它们的关联机构均为具有独立法律地位的法律实体，相互之间不因 第三方而承担任何责任或约束对方。德勤有限公司及其每一家成员所和它们的关联 机构仅对自身行为及遗漏承担责任，而对相互的行为及遗漏不承担任何法律责任。 德勤有限公司并不向客户提供服务。请参阅 了解更多 信息。 德勤是全球领先的专业服务机构，为客户提供审计及鉴证、管理咨询、财务咨询、 风险咨询、税务及相关服务。德勤透过遍及全球逾150 个国家与地区的成员所网络及 关联机构（统称为“德勤组织”）为财富全球500 强企业中约80%的企业提供专业服 务。敬请访问 名专业人员致 力成就不凡的更多信息。 德勤亚太有限公司（即一家担保有限公司）是德勤有限公司的成员所。德勤亚太有 限公司的每一家成员及其关联机构均为具有独立法律地位的法律实体，在亚太地区 超过100 座城市提供专业服务，包括奥克兰、曼谷、北京、河内、香港、雅加达、吉 隆坡、马尼拉、墨尔本、大阪、首尔、上海、新加坡、悉尼、台北和东京。 德勤于1917 年在上海设立办事处，德勤品牌由此进入中国。如今，德勤中国为中 国本地和在华的跨国及高增长企业客户提供全面的审计及鉴证、管理咨询、财务咨 询、风险咨询和税务服务。德勤中国持续致力为中国会计准则、税务制度及专业人 才培养作出重要贡献。德勤中国是一家中国本土成立的专业服务机构，由德勤中国 的合伙人所拥有。敬请访问 ，通过我们的社 交媒体平台，了解德勤在中国市场成就不凡的更多信息。 本通讯中所含内容乃一般性信息，任何德勤有限公司、其全球成员所网络或它们的 关联机构（统称为“德勤组织”）并不因此构成提供任何专业建议或服务。在作出 任何可能影响您的财务或业务的决策或采取任何相关行动前，您应咨询合资格的专 业顾问。 我们并未对本通讯所含信息的准确性或完整性作出任何（明示或暗示）陈述、保证 或承诺。任何德勤有限公司、其成员所、关联机构、员工或代理方均不对任何方因 使用本通讯而直接或间接导致的任何损失或损害承担责任。德勤有限公司及其每一 家成员所和它们的关联机构均为具有独立法律地位的法律实体。 2021。欲了解更多信息，请联系德勤中国。 Designed by CoRe Creative Services. RITM0625301