工业大数据分析指南.pdf

工业大数据 分析指南 工业大数据分析指南 I 序言 如今，全球掀起了以制造业转型升级为首要任务的新一轮工业变革，工业大数据作为引领这场变革的主要驱动力，已经成为当今工业领域的热点之一。 新一代信息技术与制造业的深度融合 ,将 促进 工业领域的 服务 转型和 产品 升级，重塑全球制造业的产业格局。为紧紧抓住这一重大历史机遇，抢占制造业新一轮竞争制高点， 党中央高度重视并作出长期性、战略性部署。党的十九大报告指出，要“ 加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合 ”。 工业大数据是智能制造的核心，以“大数据 +工业互联网 ” 为基础，用云计算、大数据、物联网、人工智能等技术引领工业生产方式的变革，拉动工业经济的创新发展。 工业大数据分析技术作为工业大数据的核心技术之一，可使工业大数据产品具备海量数据的挖掘能力、多源数据的集成能力、多类型知识的 建模能力、多业务场景的分析能力、多领域知识的发掘能力等，对驱动企业业务创新和转型升级具有重大的作用。可以从以下三个方面来理解。 首先，资源优化是分析的目标。企业之间竞争的本质是资源配置效率的竞争，优化资源配置效率是企业技术创新应用的主要动力，也是工业大数据分析的核心目标。工业大数据分析是实现新一代信息技术与制造业融合的重要技术支撑，其目的是不断优化资源的配置效率，实现生产全过程的可视化、高端定制化生产、产品生产节能增效、供工业大数据分析指南 II 应链配置优化、企业智能化管理等，达到提升质量、降低成本、灵活生产、提高满意度等目的，促 进制造业全要素生产率的提高。 其次，数据建模是分析的关键。来源于 产品生命周期的各个环节中的海量数据，为工业大数据分析提供了前提和基础，而海量的工业数据如果不经过清洗、加工和建模等处理是无法直接应用于实际的业务场景。工业大数据分析通过模型来描述对象，构建复杂工业过程与知识之间的映射，实现知识清晰化、准确化的表达。 最后，知识转化是分析的核心。确定性和稳定性是工业应用的两个基本特点，这就决定了工业大数据分析技术就是感知信息和提炼知识，其核心在于如何把海量数据转化为信息，信息转化为知识，知识转化为决策，以应对和解 决制造过程的复杂性和不确定性等问题。 工业大数据分析指南是在新形势下对工业大数据分析关键共性问题进行的辨识、抽象和提升，适应当前工业大数据的应用需求和技术变革，具有较为广泛的通用性和相对普遍的指导意义，适于工业领域内的企业、机构的研究和参考。 希望通过与业界的分享，共同推动工业大数据开发利用和应用推广，为制造强国和网络强国建设添薪助力！ 谢少锋 工业大数据分析指南 III 编写说明 工业大数据是工业领域相关数据集的总称， 是工业互联网的核心，是智能制造的关键。工业大数据分析技术作为工业大数据的核心技术之一，是工业智能化发展的重要基础和关键支撑。 为此，在工业互联网产业联盟的指导下， 工业大数据特设组 主持 编写了这本工业大数据分析指南。 本书旨在对通用的工业大数据分析方法和分析流程进行归纳总结，对其关键共性进行辨识、抽象和提升，而非针对某一特定行业、企业或产品进行阐述。本书更加关注于方法论而非某些具体的技术，因此具有更加广泛的通用性和相对普遍的指导意义。 本书共分为 9 章，第 1 章首先论述了工业大数据分析的概念、特殊性以及常见的问题；第 2 章提出了工业大数据分析框架，简要介绍了 CRISP-DM 模型，并 针 对模型落地的难点和模型使用的指导思想 展开讨论 ；从第 3 章到第 8 章，依次对业务理解、数据理解、数据准备、数据建模、模型验证与评估、模型部署这 6 个 CRISP-DM 模型的基本步骤进行了详细的阐述，从需求分析到目标评估，从数据来源到数据分类，从数据预处理到建模过程，从模型验证到部署问题处理，对每一个步骤中的原理方法、分析过程、处理方式、问题排除等都一一进行了讲解和说明； 最后，第 9 章对工业 大数据 分析 的未来发展进行了展望。 本书由工业大数据特设组组长单位清华大学牵头编写，在编写过程中得到了工信部领导的悉心指导和 相关单位的有力支撑。特别感谢工业大数据分析指南 IV 清华大学孙家广院士、工信部信软司 谢少锋 司长等给予的全面指导。同时， 北京工业大数据创新中心的李三华、田春华，清华大学 的 任艮全、徐哲 、 强逍 等在本书的编写阶段也给予了无私的帮助， 在此表示诚挚的谢意。 工业大数 据作为新兴概念，其数据分析的原则、手段、方法和流程还很模糊，对海量数据的 挖掘、分析和处理 等技术仍在不断的发展和进步 ， 由于作者自身的能力和水平有限，本书不可避免的存在诸多的缺点和不足，期待各位读者能够积极发现问题，并予以批评指正。 编写单位： 清华大学 编写组成员： 王建民、 郭朝晖、 王晨 工业大数据分析指南 I 目 录 序言 .I 1. 工业大数据分析概论 . 1 1.1 工业大数据分析的概述 . 1 1.1.1 工业大数据分析的概念 . 1 1.1.2 工业大数据分析的相关技术 . 2 1.1.3 工业大数据分析的基本过程 . 2 1.1.4 工业大数据分析的类型 . 4 1.1.5 工业大数据分析价值 . 5 1.1.6 工业大数据分析支撑业务创新 . 6 1.2 工业大数据分析的特殊性 . 8 1.2.1 从工业数据分析到工业大数据分析 . 8 1.2.2 工业大数据与商务大数据分析 . 10 1.2.3 工业大数据建模的难点 . 11 1.3 工业数据分析中的常见问题 . 12 1.3.1 业务和数据理解不当导致的失误 . 12 1.3.2 建模和验证过程的失误 . 12 1.3.3 避免失误的方法 . 13 2. 工业大数据分析框架 . 14 2.1 CRISP-DM 模型 . 14 2.2 CRISP-DM 模型的落地难点 . 15 2.3 工业大数据分析的指导思想 . 16 3. 业务理解 . 19 3.1 认识工业对象 . 19 工业大数据分析指南 II 3.1.1 工业系统的抽象化 . 19 3.1.2 工业系统的功能描述 . 20 3.1.3 系统功能到技术原理的理解 . 20 3.1.4 系统功能与业务场景的关联 . 21 3.2 理解数据分析的需求 . 21 3.2.1 工业过程中的数据分析需求 . 21 3.2.2 数据分析的价值需求 . 22 3.2.3 具体业务场景的数据分析需求 . 23 3.2.4 数据分析需求的梳理方法 . 23 3.3 工业数据分析目标的评估 . 24 3.3.1 工业知识的理解 . 24 3.3.2 工业知识的合用性 . 24 3.3.3 专业领域知识的融合 . 25 3.4 制造的全生命周期 . 26 4. 数据理解 . 27 4.1 数据来源 . 27 4.1.1 业务与数据的关系 . 27 4.1.2 离散行业的数据源 . 28 4.1.3 流程行业的数据源 . 28 4.2 数据的分类及相互关系 . 30 4.2.1 工业数据的分类 . 30 4.2.2 数据间的关联关系 . 31 4.3 数据质量 . 32 4.3.1 数据质量的定义 . 32 4.3.2 数据质量的组成要素 . 33 工业大数据分析指南 III 4.3.3 数据质量的影响因素 . 33 5. 数据准备 . 35 5.1 业务系统的数据准备 . 35 5.2 工业企业的数据准备 . 36 5.3 物联网的数据准备 . 38 5.4 建模分析的数据准备 . 39 5.4.1 数据预处理概述 . 39 5.4.2 数据异常处理 . 40 5.4.3 数据缺失处理 . 41 5.4.4 数据归约处理 . 41 6. 数据建模 . 42 6.1 模型的形式化描述 . 43 6.1.1 基本描述 . 43 6.1.2 模型的深入表述 . 43 6.1.3 对建模思想的影响 . 45 6.2 工业建模的基本过程 . 46 6.2.1 建模的基本思路 . 46 6.2.2 模型融合的方法 . 46 6.2.3 模型的优化过程 . 47 6.3 工业建模的特征工程 . 48 6.3.1 数据初步筛选 . 48 6.3.2 特征变换 . 48 6.3.3 特征组合 . 49 6.3.4 特征筛选 . 50 6.3.5 特征的迭代 . 50 工业大数据分析指南 IV 6.4 工业数据分析的算法介绍 . 51 6.4.1 传统的统计分析类算法 . 51 6.4.2 通用的机器学习类算法 . 52 6.4.3 针对旋转设备的振动分析类算法 . 52 6.4.4 针对时序数据的时间序列类算法 . 53 6.4.5 针对非结构化数据的文本挖掘类算法 . 54 6.4.6 统计质量控制类算法 . 54 6.4.7 排程优化类算法 . 55 7. 模型的验证与评估 . 55 7.1 知识的质量 . 55 7.1.1 知识的确定性与准确性 . 55 7.1.2 知识的适用范围 . 56 7.1.3 知识的质量与可靠性 . 56 7.2 传统数据分析方法及其问题 . 56 7.2.1 基于精度的验证方法 . 56 7.2.2 精度验证方法的局限性 . 57 7.2.3 解决验证问题的传统方法 . 57 7.3 基于领域知识的模型验证与评估 . 58 7.3.1 对适用范围的评估 . 58 7.3.2 对精度的评估 . 60 7.3.3 场景的综合评估 . 61 7.3.4 模型的迭代评估 . 61 7.4 总结与展望 . 61 8. 模型的部署 . 62 8.1 模型部署前应考虑的问题 . 62 工业大数据分析指南 V 8.1.1 模型部署对工作方式的改变 . 62 8.1.2 模型部署的标准化与流程化 . 63 8.1.3 模型部署的自动化与智能化 . 63 8.2 实施和运行中的问题 . 64 8.2.1 数据质量问题 . 64 8.2.2 运行环境问题 . 64 8.2.3 精度劣化问题 . 65 8.2.4 范围变化问题 . 65 8.3 问题的解决方法 . 65 8.3.1 数据质量问题 . 65 8.3.2 运行环境问题 . 66 8.3.3 精度劣化问题 . 66 8.3.4 范围变化问题 . 66 8.4 部署后的持续优化 . 67 9. 展望未来 . 67