大数据咨询方法论白皮书.pdf

大数据咨询方法论白皮书Big Data Consultancy White Book目 录Catalogue大数据咨询的时代背景大数据咨询的定义和需求来源大数据咨询的核心特征和挑战大数据咨询的核心方法论大数据咨询工具：360数据管家奇点云大数据咨询探索与实践15791719数据中台成为数字化转型的基础设施数据中台演进的四个阶段第一阶段 第二阶段 第三阶段 第四阶段单一业务系统阶段处理分析报表的需求解决报表和BI的需求系统对接OLTP和OLAP数据库阶段数据仓库阶段数据平台阶段数据中台阶段1数字经济尚方兴未艾，智能经济却已经大步而来。2019年政府工作报告，正式提出了智能+战略：深化大数据、人工智能等研发应用。打造工业互联网平台，拓展“智能+”，为制造业转型升级赋能。 2019年5月，在全球智慧物流峰会上，阿里巴巴CEO张勇也喊出了数智化的口号：未来的物流一定是从数字化到数智化，数智世界将是我们共同面临的时代。人 工 智 能（ A I ）将 成 为 经 济 发 展 新 引 擎 ，已 经 成 为 全 行 业 的共识。普华永道报告认为，到2030年时，AI对全球经济的贡献将高达15.7万亿美元，这超过了目前中国和印度的经济总量之和；埃森哲分析报告称，2035年，AI将帮助人类经济年增长率翻番；麦肯锡发布人工智能对全球经济的影响报告，认为未来10年AI为全球GDP将贡献1.2%增智能经济成为发展的新引擎大数据咨询的时代背景2大数据咨询方法论白皮书随着企业把越来越多的业务和流程搬上云，以及使用了新的数字技术进行研发、生产、制造和销售领域的革新，数据问题开始大量暴露出来。统计口径不一致导致的数据质量问题；采集技术问题导致采集的数据一半是空值；缺乏实时计算能力，不能提供实时数据，导致管理的滞后性；数据分析和调研严重滞后于业务进展，不能实时决策数据问题已经成为企业数字化转型的关键问题，数据资产将成为企业核心的战略资产。只有数据问题被解决，企业才能真正实现数字化转型。2019年9月，联合国发布了最新的数字经济报告，报告认为，数字经济扩张的驱动因素是数字数据和数字平台，在收集使用和分析大量数字数据的能力推动下，数字经济继续以极快的速度发展。从全人类的角度来看，2015年是数据增长的里程碑。2015年一年产生的数据量，是人类过去历史上产生的数据量的总和。从2015年之后，人类的数据量进入指数级增长，每年增长40%-50%。随着数据量的增长，一个全新的数据价值链开始浮现。从数据采集、数据存储到数据治理再到数据应用，数据生产进入了全新的数据工业时代，海量非结构化的数据被结构化，从日志数据到视图声数据，人类开始以全新的数据视角审视这个世界。并且，越来越多的数据产品、越来越多的数据生态开始在这个过程中被创造出来，商业数据、社会数据、政府数据前所未有地交融在一起，为人类创造新的价值。数据问题成为数字化转型的关键问题随着越来越多的企业上云，如何更好地利用云计算、大数据和人工智能的力量就成为了他们探索的主题。要如何通过技术来赋能企业数字化转型？如何让技术投入产生业务价值？是否需要调整组织？企业提出了越来越多的问题。数据中台，狭义上，就是解决这一系列问题的基础设施。2018年以来，随着阿里巴巴双中台架构的普及，越来越多的企业把中台视为面向未来的企业进化必经之路，开始寻求数据中台服务公司的帮助。2019年，甚至可以称为数据中台元年。Information Created Worldwide =Expected to Continue Accelerating180% Structured/Tagged1601401201008060402002005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 20162017E 2018E 2019E 2020E 2021E 2022E 2023E 2024E 2025EZetabtytes(ZB)2005:0.1 ZB2010:2 ZB, 9%2015:12 ZB, 9%2020:47 ZB, 16%2025E:163 ZB, 36%2015年一年产生的数据量，是人类过去历史上产生的数据量的总和。2015年之后，人类社会的数据量每年增长40%-50%。2007年，阿里巴在战略会议上决定阿里未来要成为一家数据公司。但真正在数据上有所建树，却要把这个时间延后到2009年，阿里云也诞生在这一年。大体上可以把阿里的整个跨越过程分成三个阶段：从2003年成立以来，淘宝收集了大量的数据，其中90%是非结构化的日志数据，当有了这些数据之后，所有人都想看见数据背后的真相：我的用户从哪里来，他们买了什么，为什么购买，转化率如何这些问题我们大体都可以归结为两个基本问题：发生了什么？怎么发生的？和去IOE同步发生的，是阿里加大了对于BI（商业智能）的需求，用数据看见答案的BI，在这个阶段是阿里存储和计算资源消耗的主力军。阿里巴巴也是第一个设立CDO（Chief Data Ocer，首席数据官）的公司，第一任CDO是后来的阿里巴巴CEO陆兆禧，有意思的是，后来成立的数据平台部因此也习惯性被内部称为CDO。阿里巴巴的启示数据智能是未来第一个阶段：2009-2012年，关键词是看见每天处理数据量100PBPBTB2007 2009 2012 2015 2019连接 看见 使用 赋能如何连接买家和卖家？发生了什么？怎么发生的？为什么发生？未来将发生什么？能否用机器来处理？不去IOE会死阿里云成立数据平台部成立50%的服务器用于处理数据而不是处理业务BI对存储和计算机消耗最大人群定向对存储和计算消耗最大推荐算法对存储和计算消耗最大从人指挥机器到机器指挥人全面上云70%以上的GMV由机器运营3千人千面一个标志性的事件是2012年数据平台部的成立，这个被称为CDO的部门，源于七公组建的数据平台团队，在这个团队手上，诞生了一系列数据分析和挖掘工具，包括在云端、数 据 魔 方、淘 宝 时光 机 、淘 宝 指 数、T C I F 等 等。这 里 特别要提一下TCIF（淘宝消费者数据工厂），由现在奇点云的创始人行在创立，拉通了阿里巴巴所有的消费者数据，并且完成了3000+标签体系的建设，这些标签每个用阿里妈妈做精准营销的同学应该都见过，就是达摩盘里面那些勾选的选项。2012年的标志性事件，就是TCIF的存储和计算消耗量超过了BI，以TCIF为代表的人群定向成为了计算资源的消耗大户；另一个标志性的指标是，阿里巴巴有50%的服务器不再处理任何事务，而仅仅用于处理数据。这个阶段，阿里巴巴开始真正实现了用数据预测未来的问题，更好地帮助业务去回答：为什么发生？未来将发生什么？第二个阶段：2012-2015年，关键词是使用同样，2015年也有两个标志性事件：一是阿里云数加平台的成立（行在创立），这代表阿里巴巴开始把内部形成的大数据能力外化，赋能社会去建立大数据能力；二是推出千人千面算法，推荐算法一跃成为了存储和计算资源的头号消耗大户。推荐算法不仅仅是我们看到的淘宝界面那么简单，在某种程度上，推荐算法让阿里巴巴跨越了从人指挥机器到机器指挥人的奇点，今天阿里巴巴75%以上的GMV都由机器来运营，流量由机器来精准分配，相比之下，天猫淘宝等等全部合在一起也只有几千个运营小二，人效高得可怕。经过这三个阶段，我们可以认为，阿里巴巴已经围绕数据完成了数据工业化生产链条的搭建，并且围绕着数据链条建立了丰富的数据生态通过低成本的业务在线化连接企业和客户，再通过数据在线化看见业绩 和顾客，然后建立数据使用能力来预测未来，最后用数据智能赋能业务转型成服务公司或者平台公司。包括最初的连接买家和卖家的阶段在内，连接-看见-使用-赋能四个阶段，让阿里巴巴成功跨越数据指数级增长的奇点，构建起数据智能的未来。第三个阶段：2015年至今，关键词是赋能总结：大数据咨询方法论白皮书“4大数据咨询的定义大数据咨询是由奇点云在实践过程中所提出的定义，我们认为大数据咨询是在传统咨询以外，基于技术驱动数字化转型的需求，通过咨询的方式，帮助企业更好地去规划数据智能的未来，围绕数据构建企业的数字化转型能力和数据生态，让数据真正发挥业务价值，更好地进行企业的战略规划、组织设计和人才管理等等。5大数据咨询的定义和需求来源大数据咨询方法论白皮书大数据咨询的需求来源大数据咨询最初的需求，来自于企业数字化转型中如何建设数据中台以及数据资产管理体系的诉求。这些诉求包括：如何面向未来建立合适的企业数据战略？ 如何规划建立企业数据中台基础设施？数据资产是企业战略资产数字化转型战略目前遇到的主要是数据问题用什么技术来建设企业数据中台？用什么方式来建设企业数据中台？如何规划建设企业数据资产管理体系？ 如何让数据资产增值和变成业务价值？数据资产管理体系需要从零到一的建设经验需要有数据资产管理体系的实施能力如何建立企业内部数据生态？如何通过组织保障和数据生态让数据变成业务价值传统咨询业务范畴需求产业研究市场分析业务选择商业设计组织模式组织管控组织发育定岗定编激励体系绩效管理培训管理评聘任用解决大数据咨询业务范畴战略规划 组织设计 人才管理技术驱动. . . .67咨询类型数字化转型战略咨询需要具备端到端的解决能力帮助企业成为面向未来的数据公司品牌咨询财务咨询管理咨询IT咨询商业设计数字化转型战略咨询数字化转型现状评估、诊断和对策和数据相关的商业和组织设计策略数 据（ 中 台 ）战 略 咨 询数据中台/平台建设数据资产管理体系业务调研数据摸底组织设计 技术驱动 场景落地大数据咨询人才咨询数学化转型需求和问题数学化转型能力建设未来所有的公司都将是数据公司，目前，基于云计算、大数据和人工智能，新一代大数据咨询应运而生，通过数据战略/治理/规划/交付等方式，帮助企业建立数字化转型的平台能力和数据能力，通过算法赋能商业，让数据创造价值。大数据咨询的核心特征和挑战1.数字化转型战略咨询企业数字化转型面临业务和组织、人才的瓶颈，数据相关痛点高发，企业需要面向未来建立可扩展的数字化转型能力，在此基础上使用SKOTT模型和数据发展阶段模型等对企业数字化转型现 状 进行 评 估 和诊断，协助企业统一高层认知、进行商业设计和组织设计、制定未来2-3年的数字化转型规划等等。2 . 数 据（ 中 台 ）战 略 咨 询企业已经认识到数据对于企业数字化转型的核心作用，并且把数据视为公司核资产，有意愿采用最新的数据技术和理念，比如数据中台，在此基础上使用数据成熟度方法论（8大领域、36个维度）等主要实践方法论对企业数据资产化、业务智能化现状进行评估和诊断，协助企业进行现代数据资产管理制度的建设规划。3.业务调研和数据摸底企业将要或者规划通过引入数据技术来解决具体的业务场景问题，基于该数据项目需求开展该领域及项目相关领域的业务调研和数据摸底，充分了解业务目标、流程、场景基础上，对数据采集、治理、存储、使用现状等进行深入摸底，对项目需求建立正确理解，并为下一步实施提供充分的资料和建议。8大数据咨询方法论白皮书大数据咨询和传统咨询有两个主要区别一是其咨询方法论来源于数据中台建设经验和数据资产管理体系建设经验。奇点云所提出的大数据咨询方法论正是来自于创始人12年的阿里巴数据经历，以及3年的数据创业实践，奇点云创始人及核心团队都完整经历了阿里巴巴数据发展的四个阶段。其中，行在本人创建了阿里巴巴第一个数据仓库（DW）；第一次打通了阿里巴巴消费者数据建立了TCIF（淘宝消费者数据工厂），现在阿里巴巴的消费者标签都源自于TCIF；创建了阿里云数据平台数加，把阿里巴巴的数据能力外化赋能社会。二是大数据咨询的目标是端到端帮助企业建设数字化转型能力，在目前阶段，还需要具备丰富的项目实施经验乃至交付能力。数据中台狭义上是一整套技术能力的集成，但要真正为企业产生价值，就需要从商业设计和组织设计的角度，真正找到落地的业务场景，通过建立数据资产管理体系、辅助管理决策、算法代替经验公式等方式来真正实现企业的数据决策，以及业务端的降本增效。奇点云70%以上都是IT工程师，拥有完整的云+端大数据产品，以及数年来累积的数据中台实施经验，这些都是大数据咨询的必要条件。1.理念冲突面向未来的数据中台建设不仅是技术的集成，更是一种新的数字化转型理念，需要企业管理团队转变观念，把数据资产作为企业的战略资产来经营，这和企业原有的理念将产生一定的冲突。数据资产管理体系建设，也将逐步改变企业的决策习惯和工作习惯，乃至对组织提出新的要求，这些都会造成企业新旧思想的冲撞。2.长远和近期目标的平衡数字化转型需要持续长期的累积，特别是数据资产管理体系建设，更需要有长远的规划和蓝图设计，才能一以贯之执行下去；但是，对于业务部门来说，短期内，数据需要能够为业务提供价值，才能证明数据资产管理和数据中台建设的必要性。如何在长远和近期目标之间取得平衡，需要对业务、技术、组织三者进行综合考量。3.组织和人才所有高频的重复的事务性和劳务性工作，未来都将被机器所取代，这会改变既有的企业组织模式和管理模式。另外，企业也需要向外招聘和培养自己的高技能人才，比如业务架构师和数据架构师等等，对于大部分传统企业的薪酬体系和激励机制，高级能人才招聘和培养都会带来很大的挑战。大数据咨询的需求类型大数据咨询面临的挑战