亚马逊AWSSagemaker机器学习平台研究.pdf

亚马逊 AWS Sagemaker 机器学习平台研究  中国移动研究院  2020 年 10 月   2 / 9 摘要  近年来在全球范围内越来越多的企业都在积极探索将人工智能和机器学习技术落地到具体的业务场景中，然而人工智能技术的广泛应用却存在专业人才不足、技术难度大和成本高等诸多制约。亚马逊 AWS 推出的全托管端到端机器学习平台 SageMaker帮助企业从很大程度上解决了这些困难。 SageMaker 通过提供从数据标记、模型训练和模型部署等一系列核心功能来帮助开发人员快速搭建、训练和部署模型，其核心功能 Autopilot 更是实现了 “ 一键式 ” 的模型训练与部署，同时通过模型优化、模型评估和模型监控等辅助功能来增加平台的易用性、便捷 性，提升用户体验。 SageMaker 在云端吸引了大批欠缺机器学习经验的普通开发者，是 AWS 人工智能布局的一个重要里程碑。  3 / 9 目录  一、 SageMaker 的工作流程  . 4 二、 SageMaker 的主要功能  . 4 三、 SageMaker 解决自动化机器学习的痛点  . 7 四、 SageMaker 的成功应用案例  . 7 五、总结与启示  . 9 4 / 9 一 、 SageMaker 的工作流程  SageMaker 通过提供一个从训练数据生成、模型训练到模型部署的核心工作流程来帮助开发人员快速上手。  第一步训练数据生成， SageMaker 提供了两种方式：一种是用户自己上传未标注的数据，使用 SageMaker 提供的 Ground Truth 工具，利用机器学习和人工标注相结合的方式完成训练数据的标注；二是开发者直接下载开源的已标注的数据集或者直接上传用户线下已标注好的数据集。   第二步是模型训练，主要分为两部分，首先是模型的初始选择与训练，可从 SageMaker 提供的众多算法中选择一个机器学习算法进行模型训练；其次是模型的评估，通过 SageMaker 提供的接口对模型的准确率进行评估。  第三步模型部署，开发者可以使用 SageMaker 提供的托管服务直接将模型部署到公有云或者私有云上。  二、 SageMaker 的主要功能  为了实现机器学习流程的一站式全流程管理， AWS 建立了近千人的 SageMaker 开发团队，除了发布核心工作流程外，还发布了模型优化、弹性推理、实验监测、实验调试和模型监控等辅助功能。此外， AWS 应用市场提供了可以直接在 SageMaker 中调用执行的超过 200 多种预训练模型。所有这些都在机器学习算法开发的不同环节中提升了用户体验，增强了 SageMaker 的易用性和5 / 9 便捷性。  SageMaker 的核心功能 Autopilot 是业界首个完全的自动化机器学习服务，通过自动检查原始数据，进行特征处理，选择最佳算法集，同时训练和优化多个模型并跟踪其性能，帮助自动构建，训练和优化模型，实现了“一键式”的模型训练与部署。Autopilot 包含三个实验阶段： 1）数据分析，确定要解决的问题类型，如二分类、线性回归，然后由 Autopilot 提供十个不同候选管道，每个管道包含不同的选机器学习算法对数据进行预处理，将结果转交给特征工程阶段； 2）特征工程， Autopilot 为每个候选管道创建训练和验证数据集，并进行模型的训练； 3）模型调优， Autopilot 对每个候选管道及其预处理的数据集启动一个超参数优化作业，每个作业会设置 不同的超参数值，快速生成高性能的模型。目前支持生成 TensorFlow， Apache MXNet， PyTorch、Chainer 和 ONNX 模型。最后开发人员可以从各作业返回的结果中选取效果最佳的模型进行部署。  Autopilot 是 SageMaker 最受用户好评的和最引人注意的功能，它从根本上实现了机器学习中的数据处理、算法选择和模型训练的全自动化，开发者只需要输入训练的数据和要输出的结果，然后交给 Autopilot 来自动完成其它所有的工作，用户只需等待Autopilot 输出高质量的模型，实现了真正的“傻瓜式 ”机器学习模型选择、训练与评估，有效地降低了机器学习的门槛，对于缺少开发经验的普通用户是一项非常实用的功能。  6 / 9 此外， SageMaker 平台还提供了许多优质的工具让开发者、运营人员在机器学习全流程管理中有一个流畅的体验。SageMaker Ground Truth 数据标记允许用户采用机器学习的方法使用自动标记功能和人工服务相结合的方式，帮助快速构建高质量和准确的训练数据集。 SageMaker Neo 自动优化机器学习模型，并针对目标硬件平台将模型编译成可执行文件；优化后的模型运行速度可提升至两倍，而内存占用量 不到十分之一，并且准确度没有损失。 SageMaker Experiments 允许开发者将模型优化存储为“ Experiments”，并使用可视化界面浏览； Experiments 捕获每次迭代的输入参数、配置、结果等，并允许开发者浏览和检查它们的性能； Experiments 可以实现跟踪、记录和比较数千个机器学习任务，包括任务的内部参数，算法，数据集和模型等，都能通过图形或表格的方式灵活观察迭代变化的情况，对比并调出表现最合适的模型。 SageMaker Debugger 实时捕获模型训练过程中的实时信息用于分析整个 训练过程，并优化模型以获得更高的准确率；它还可对常见问题发出警告，并提供最佳实践建议。SageMaker Model Monitor 实时监视生产过程中运行的机器学习模型，并在模型的输出不符合预期效果的时候发出警告信息。当模型使用在推理环节时，还可以通过 Amazon Elastic Inference服务允许用户将低成本 GPU 驱动的加速器，或 AWS 自主开发的Inferentia 推理加速芯片，附加到模型推理运行在的弹性计算、SageMaker 实例或弹性容器任务中，可有效地降低运行深度学习7 / 9 推理的成本多达 75。  三、 SageMaker 解决自动化机器学习的痛点  为了解决传统机器学习不能集成开发，开发过程繁琐的痛点，SageMaker 提供了一个基于浏览器的用于机器学习的集成开发环境（ IDE） SageMaker Studio。开发者可以编辑浏览源代码、链接库和文档，调用 AWS 上的训练数据集和计算资源，并在其中执行所有机器学习开发步骤，完成数据选取、模型构建、模型训练、实验监控、算法调试等所有的工作，实现了一站式的机器学习算法开发，大大简化了机器学习开发流程。  由于深度学习算法训练过程不透明，导致模型无法解释一直是学术界面 临的一个主要问题。 SageMaker 为神经网络的可解释性提供了一种途径。  SageMaker Debugger 通过在训练过程中自动收集模型的关键指标，并进行定时发送，使得开发者可以实时地了解模型的性能和准确性，来帮助开发者理解模型。  此外， SageMaker 相对于 AWS 提供了更加细粒度的弹性 GPU计算资源和软件开发环境，开发者不仅可以随时调用 AWS 提供的GPU 计算资源，实现多 GPU 的集群化训练。这样一来既节省了成本，也缩短了项目开发周期。  四、 SageMaker 的成功应用案例  AWS SageMaker 自动 化机器学习平台旨在消除企业使用人工智能的门槛，把机器学习能力输送给每一个企业和机构，全球已8 / 9 经有数以万计的企业和客户成功使用 SageMaker 来加快机器学习解决方案的部署，包括 T-Mobile、 ADP、 Voodoo 等。  北美运营商 T-Mobile 使用  AWS SageMaker 的机器学习平台来提升自身的客户服务。 T-Mobile 开发出一套用于自然语言理解的问答机器学习模型，该模型能够实现从大量文本数据中提取信息，包括每天数十万量级的传入客户请求，以及包含可能回答客户查询的答案的知识库。在数据标注的过程中， 为了通过  AI 注入数据标签， T-Mobile 使用 SageMaker Ground Truth 工具进行自动标记，然后通过机器学习模型预测哪些信息能够满足特定客户的需求，实时为客服提供相关联的信息以确保快速准确地解决每个客户的问题，也通过机器学习预测客户打电话过来需要什么样的服务。  ADP 是一家领先的全球技术公司，提供人力资本管理解决方案。 ADP 使用 AWS SageMaker 设计机器学习算法来快速识别人力模式，并在结果（例如员工流动或加薪影响）发生之前进行预测。ADP利用 SageMaker实现了将机器学习 模型部署的时间从  2 周减少到了  1 天。  Voodoo 是一家领先的移动游戏公司，拥有  20 多亿的游戏下载量和  4 亿多每月活跃用户。 Voodoo 通过使用 SageMaker 在  AWS 上实现了机器学习和人工智能工作负载标准化，可以在不到一周的时间内，只通过小型团队的技术支持即可将准确的模型投入生产，并且能够在此基础上随着团队和业务增长不断进行构建。  9 / 9 五、总结与启示  AWS SageMaker 的推出降低了机器学习的开发门槛，使更多的企业可以快速有效地构建自己的人工智能能力并落地到具体的应用场景中 。 SageMaker 也统一了机器学习的开发工具集，让开发人员可以在一个统一集成的可视界面中可视化数据、编写代码、训练模型、跟踪实验、以及进行模型的监控和调试，从而大大提高了开发人员的工作效率。