云上618从容应对流量洪峰.pdf

0 云上618 ，从容应对流量洪峰 研究机构 报告主编 于百程 报告编审 李昕 报告主笔 王浙华 云上618 ， 从容 应 对 流量 洪峰 2021 添加小壹微信，加入行业群 每日获取更多深度报告0 云上618 ，从容应对流量洪峰0 云上618 ，从容应对流量洪峰 2021 年 6 月 18 日零点刚过，京东云每秒用户访 问峰值 同比提升 152%， 访问带宽同比提升 185% 。 京东云混合云 操作系统云舰（JDOS ）在线管理 Pod 数量超过 200 万， 运行容量峰值核数超过 1000 万。 今年 618 京东和淘宝披露了云计算技术提升带来的碳减 排数据。同时，众多云服务商，如京东 云、阿里 云、腾 讯云、华为云等 以 低价促销的形式让利 受众，吸 引广大 电商商家和开发者以更低的成本上云。 根据分析，电商平台上云趋势主要有推 动全量上 云、注 重降本增效和助力环境保护三个方面， 电商商家 上云趋 势则呈现降价促销吸引商家上云和云服 务助力商 家销售 两个方面。 摘要 bstract1 云上618 ，从容应对流量洪峰 导语 . 3 一、618 上 云历史 . 3 （一）云服务为 618 保驾护航 . 3 （二）618 主场背后的京东云 . 3 1.上云战略地位显现 . 4 2.大力投入加快上云 . 4 3.全部上云彻底容器化 . 4 4.成立京东科技子集团 . 4 二、2021 年 618 中的云支持 . 4 （一）本年度 618 盛况 . 4 （二）京东云提供的技术支持 . 5 1.京刚虚拟化架构 . 6 2.实时数据分析平台（JCHDB） . 7 3.混合云操作系统云舰（JDOS） . 7 （三）618 云服务的其他支持 . 7 1.推动碳减排 . 7 2.降低上云成本 . 8 三、 电商上云 趋势 . 8 （一）电商平台上云趋势 . 8 1.推动全量上云 . 8 目录 ontents2 云上618 ，从容应对流量洪峰 2.注重降本增效 . 9 3.助力环境保护 . 9 （二）电商商家上云趋势 . 9 1.降价促销吸引商家上云 . 9 2.云服务助力商家销售 . 93 云上618 ，从容应对流量洪峰 导语 在各大电商 618 活动的背后， 是云技术支撑着如此庞大的数据流量 ， 通信云的力量使得 直播间一波又一波的通知消息不断触达更多用户， 分布式容器化的系统架构使得电商平 台能够从容应对庞大的访问量和交易数据。 经过数年来的研发与考验， 云技术已一步步渗透进从下单到配送的各个环节。 本文以今 年与数科合并后的京东云为主要案例，分析云技术在电商平台中的发展和作用。 一、 618 上云历史 （一 ）云服务为 618 保驾护航 近年来， 电商618 活动不断升温 。6 月 19 日凌晨 ， 京东集团宣布，从 2021 年6 月1 日 0 时 到6 月18 日 24 时，京东 618 大促活动累计 下单金额超 3438 亿元，较 2020 年京东 618 的累计下单金额 2692 亿元增长 27.7% 。 2021 年天猫618 期间， 品牌商家新增近 6000 万会员， 目前在天猫上已经有 20 家品牌商 的品牌会员数突破 100 万， 部分品牌超过 50%的 订单来自会员 。 同时，今年 618 期间天 猫每笔订单的碳排放量同比下降 17.6% 。 “抖音 618 好物节”数据报告显示，自 5 月 25 日至 6 月 18 日，其直播间时长累计达 2852 万小时，直播间点赞共 769 亿次，有 22.3 万款地方好物通过抖音平台卖向全国。 本次 618 期间， 各电商平台都没有出现任何系统故障， 从容应对着庞大的数据流量， 而 这都归功于电商平台背后的云服务支持。 众多电商平台中， 京东是 618 活动的主场， 而 今年京东 618 的成功，京东云起着关键作用 。 （二）618 主场 背后的京东云 京东云数据披露， 2021 年6 月18 日零点刚过， 京 东云每秒用户访问峰值同比提升152% ， 访问带宽同比提升 185%。京东云混合云操作系统云舰（JDOS ）在线管理 Pod 数量超过 200 万， 运行容量峰值核数超过 1000 万 ， 再次以 超高弹性从容应对海量并发需求。 本次 618 期间（2021 年 6 月 1 日 0 时至 6 月 18 日 24 时），京东平台所有订单均在云上完 成，实现全天核心服务不降级、零重大事故、用户无感知。 京东云的发展低调却迅速， 除了每年的618 活动， 我们很少在新闻上看到京东云的身影 ， 然而， 京东云却已悄然成为了京东技术战略的核心。 今年3 月， 京东云业务正式并入京 东数科，成为京东科技子集团的重要 组成 部分。4 云上618 ，从容应对流量洪峰 1.上云战略地位显现 在2008 年到2012 年这段中国电商发展的黄金时期中， 京东原有的系统难以应对日交易 量飞速增长带来的压力 ，2011 年京东 618 出现部分系统宕机， 此后几个月一场图书促销 活动中系统再次故障 ，这两次教训让京东深刻认识到技术提升的必要性。 从此， 京东的技术团队开始着力解决集中式系统的问题并开发新的方案重构系统， 推动 系统走向分布式。 同时， 京东开始筹备 集团系统 从物理机走向虚拟化转型， 以提升服务 器资源利用率并推动资源的灵活调度。 2.大力投入加快上云 在京东向云计算领域技术研发、 服务器上持续投入数亿元后， 其云计算系统很快开始了 内部测试。 尽管京东 并没有立刻在媒体上将云计算业务公诸于众，但成立于 2012 年 3 月的北京京东尚科信息技术有限公司即是如今的京东云，可见京东在 2012 年已经布局 云计算业务。 同年， 京东聘请众多 IT 领域高管 人才， 推动 IT 技术与京东业务部门相融 合， 促进京东平台转型上云。 3.全部上云彻底容器化 根据京东云产研负责人透露，京东集团在 2013 年就开始用容器，云服务很早就为京东 的发布效率、 资源利用率和单元化部署方面带来了巨大效益。2014 年开始， 京东为了扩 展国际化业务， 就已经对底层云平台进行了彻底的容器化。 到 2016 年的 618， 京东以 15 万个Docker 实例实现了所有业务全部容器化(docker 是一个用Go 语言实现的开源项目， 可以方便的创建和使用容器)。 4.成立京东科技子集团 今年 1 月11 日，京东集团宣布将云 、AI 业务与 京东数科整合，正式成立京东科技子集 团。1 月29 日，京东科技子集团正式成立，原京 东数字科技、原京东云与 AI 事业部为 京东科技子集团，原京东数科、京东智联云品牌不再使用，统一品牌为京东科技。3 月 31 日， 京东集团发布公告称已通过签 订最终协议， 将京东云和 AI 业务剥离给京东数科， 总价值为 157 亿元，京东集团在京东数科的股权增加至约 42% 。 二、2021 年618 中的 云支持 （一 ）本年度618 盛况 2021 年6 月18 日0 时至1 时， 每秒用户访问峰值较去年 618 同期提升 152%， 京东云混 合云操作系统云舰（JDOS） 在线管理 POD 数量超过 200 万，运行容器峰值核数超 1000 万。 今年618 京东金融增长强劲， 18 日开场10 分 钟京东支付交易笔数同比增长超100% ， 618 期间基金日均申购金额同比增长 147%， 保险日均交易额同比增长 166% 。 京东智能客 服7*24 小时全天候服务，18 日开场1 小时京东 智能客户累计服务 810 万次，京小智为 平台商家提供智能客服服务已覆盖超 16 万商家。5 云上618 ，从容应对流量洪峰 表 1 ：京东云 618 简报（2021.6.18 0:00-1:00 ） 机构 事件 京东云操 作系统 每秒用户访问峰值较去年 618 同期提升 152% 京东云混合云操作系统云舰 （JDOS） 在线管理 POD 数量 超 过 200 万 运行容器峰值核数超 1000 万 京东金融 开场 10 分钟京东支付交易笔数同比增长超 100% 618 期间基金日均申购金额同比增长 147% 保险日均交易额同比增长 166% 京东智能 客服 18 日开场 1 小时京东智能客户累计服 务 810 万次 京小智为平台商家提供智能客服服务已覆盖超 16 万商 家 资料来源：零壹智库 6 月 18 日， 京东与 64.3%的自营供应商实现智能供应链协同， 京东智能供应链每天给出 超 40 万条供应链智能决策，基于智能决策的预 售前置使得今年京东 618 助力 200 个城 市实现分钟级送达。整个 618 期间，京东物流全 国日均单量预测准确率超过 95.5%，全 国92%区县和84%乡镇消费者享受到“当日达”和“次日达”。 （二 ）京东云提供的技术支持 今年 618，京东物流的首单配送仅用时 4 分钟。 京东物流业务模块众多，而在京东云的 支持下， 云原生的技术中台， 支撑了下单、 揽收 、 分拣、 运输、 配送等全业务流程 ， 同 时通过仓库管理、 订单管理、 智能调度、 实时结 算等开放技术能力， 实现了复杂环境下 的敏捷运营。 据京东云介绍， 作为全球容器化最彻底的云平台之一， 其拥有全球最大规模的 Docker 集 群和 Kubernetes 集群。2014 年， 京东将 Docker 容器技术大规模应用至生产环境， 是云 原生技术的早期实践者和受益者。 今年 6 月15 日， 京东云首次发布京东 618 十大技术应用趋势， 包括涵盖更懂用户的 C2M 反向定制与智能客服 ， 更懂商品的多模态内容生成与区块链防伪追溯 ， 更懂场景的智能 供应链决策 、 一体化供应链和虚拟数字人 ， 以及 更强的基础设施保障， 即支持超大规模 数据融合的隐私计算平台 、 基于云原生的混合数字基础设施和液冷数据中心 。6 云上618 ，从容应对流量洪峰 表 2 ：京东 618 十大技术应用趋势 技术 趋势 介绍 C2M 反向定制 让用户决定生 产 业界首个全链路无人工干预的智能化反向定制系统。 今 年，京东 618 至少帮助 1000 个新品类同比增长 100% 。 智能客服 人机交互从幕 后走到台前 全球最高频率的智能人机交互， 涵盖售前、 售中、 售后、 物流的全链路， 2020 年双十一， 累计提供咨询与导购服 务 8432 万人次。 多模态营销内容生 成 比达人还会写 全球最大规模的商品内容的智能生成， 用户点击率超越 “带货达人”40%，已累计生成超过 3000 万内容。 区块链防伪追溯 防伪追溯，一 码到底 全生命周期的防伪追溯， 覆盖京东冷链生鲜、 母婴、 酒 类、 美妆、 奢侈品、 跨境商品、 医药等领域 11 万+ 商品。 智能供应链决策 实现“31.2” 这一世界级数 字 利用智能预测、 智能调拨、 智能补货、 智能履约 ， 实现 库存周转天数降至 31.2 天。 一体化供应链 超 200 城实现 分钟级送达 京东物流打造一体化供应链， 通过系统算法、 供应链计 划与多层级的库存前置，从容面对亿级订单。 虚拟数字人 高拟人度的表 现力和感染力 “扮演” 主播、 客服、 柜员、 导游、 老师等角色 。APP 、 小程序、网站也是京东云虚拟数字人的存在 。 支持超大规模数据 集的隐私计算平台 数据安全是 “第一准则” 自主研发 的万象+隐私 计算平 台，融合 联邦学 习、多方 安全计算、 分布式 TEE 等技术 ， 安全计算性能行业领先， 远超传统效率 100 倍以上。 基于云原生的混合 数字基础设施 遍布全国近 60 座城市 京东 618 购物节订单 100% 云上完成 ， 京东物流、 京东金 融等已全量上云 。 液冷数据中心 碳排放年减 20% 以上 京东云超级数据中心， 利用自然冷源， 直达芯片级高效 冷却。2021 年 京东 618 实现碳排放同比降 低 5% 。 资料来源： 京东数科，零壹智库 而京东云的十大技术应用趋势， 无法离开京东云底层技术架构的创新与优化， 在本年度 的618 活动中， 京东云的京刚虚拟化架构、 实时 数据分析平台、 混合云操作系统云舰共 同发力，为 618 保驾护航。 1.京刚虚拟化架构 京刚是京东于今年 2 月 26 日发布的新一代自研 软硬一体化架构，同时也是软硬一体虚 拟化技术的典型代表。 它全面支持云主机、 裸金 属云主机、 原生容器。 通过将虚拟化转 移到 专用硬件中进行加速， 京刚可以极大的保留物理机自身的计算资源和性能， 将虚拟 化损耗降至 0。 在京刚正式发布前， 京刚架构已经成功应用于京东双十一、 京东健康疫苗预约与核酸检 测等业务场景，解决了高峰值的性能瓶颈问题。7 云上618 ，从容应对流量洪峰 2.实时数据分析平台 （JCHDB ） 云原生实时数据分析平台 JCHDB 支撑京东零售全域精细化用户运营平台、数据分析 平台、 商品运营平台、 交易业务报表分析平台等核 心系统， 提供秒 级海量数据处理能力。 截至目前， 京东云原生实时数据分析平台累计实时分析数据 3 万多亿条， 用数据智能加 速业务增长。 JCHDB 是京东智联云基于开源 ClickHouse 打造的分析型云数据库， 具有分布式架构， 可 实现多核、多节点的并行化查询，其查询性能比传统开源数据库的高 1 2 个数量级。 主要适用于以下两种场景： 需要 对海量 数据进 行在 线分析 的场景 ，例 如用 户行为 分析， 网络广 告及 其实时 竞价， 以及一些物联网场景中， 对数据库进行准实时的在线分析处理等。 需要各种 BI 分析及数据报表的场景。分析型 云数据库 JCHDB 具有高效的压缩算法和 杰出的并行查询能力，能够在海量数据的业务场景下快速响应业务的分析需求。 3.混合云操作系统云舰（JDOS ） 混合云操作系统云舰（JDOS ）统一计算资源底座，实现对 1000 万核计算资源的弹性调 度与管理， 让有限的计算资源在不同任务间无缝切换， 用到极致。 在云原生技术中台稳 定支持下， 实现资源快速灵活平滑扩容， 部署更 快、 弹性更好， 使整个系统能够从容地 应对 618 流量洪峰。 云舰 （JDOS）由 3 家云厂商，4 大区域， 近 50 个 大型数据中心， 近 60 朵城市云，77 个 离线数据中心组成， 是能支持数十万智能设备， 服务近 5 亿用户的大规模混合 IT 设施。 （三 ）618 云服务 的其他支持 今年 618 参与平台众多， 淘宝、 京东、 拼多多、 抖音等都取得了亮眼 的成绩， 其中 淘宝 和京东 披露了云计算技术提升带来的碳减排数据。 同时， 众多云服务商， 如阿里云 、 腾 讯云、 华为云 、 京东云 等都纷纷加入到 618 活动 中， 低价促销的形式让利受众， 吸引广 大电商商家和开发者以更低的成本上云。 1.推动碳减排 今年 淘宝的 618 数据披露更侧重于对环境的保护 及减负方面 ，618 期间，淘宝天猫每笔 订单碳排放量同比下降 17.6% ，据阿里巴巴介绍，碳排放下降主要由三部分构成：算法 优化带来单位算力耗能下降； 风电、 光伏等清洁能源占比提升 带来单位能耗碳排放下降； 智能装箱、地网光伏带来的物流环节减碳 。 阿里云 IDC 能源与碳管理高级专家程明介绍， 消纳 1 度风电可减少 800 克碳排放， 今年 618 期间，张北数据中心可以少排放二氧化碳 8160 吨。京东数据研究院院长 刘晖表示： “碳排放减少的背后， 是公司加大新能源使用量， 减少快递包装。 另外， 数字化供应链 技术扮演了重要角色。”8 云上618 ，从容应对流量洪峰 图 1 ：阿里巴巴碳减排发展历程 资料来源：阿里巴巴 与此同时，京东也于 6 月 18 日披露了有关碳减 排的相关情况，表示 618 期间碳排放同 比下降 5%的目标已经基本实现。 2.降低上云成本 今年 618，包括京东云、阿里云、腾讯云、华为云在内的国内领先云服务厂商几乎都参 加了 618 活动并给出了很大力度的折扣优惠 。 尽管各家的折扣力度和优惠金额都有所不 同， 但都在一定程度上降低了电商商家及开发者上云的成本。 在 618 流量冲击和云服务 价格下降的双重推动下， 将有越来越多的电商商家或开发者选择购买云服务来降低运营 成本，提高经营效率。 三、 电商 上云趋势 （一 ）电商平台上云趋势 1.推动全量上云 国内两大电商平台 淘宝和京东 都已经实现了全量上云， 淘宝依托阿里云技术 ， 京东则 依 托京东云技术。 电商平台全量上云， 不但大大方 便了数据的存储和共享， 更使得从下单 到配送中各个环节的协作和项目管理实现无人化、 自动化。 电商平台全量上云， 作为能9 云上618 ，从容应对流量洪峰 大大提升经营效率、 减少人力成本、 产生持续价 值的战略手段， 将成为未来众多电商平 台的转型方向。 2.注重降本增效 今年 618，京东云基于云原生架构，在线管理 PoD 数量超200 万、运营容器峰值核数超 1000 万，实现大规模降本增效 单位订单资源成本下降 30% ，交付效率提升 1.5 倍。 可见， 电商平台系统的分布化、 容器化转型， 在 极大降低资源成本的同时， 也能提高资 源效率 ，在有限的时间内满足更多业务需求，持续为企业带来经济效益。 3.助力环境保护 数据中心作为云计算业务中的耗电大户， 在云计算不断发展的过程中， 对其节能减排的 要求也越来越迫切。 阿里巴巴 、 京东 等头部电商通过不断的算法优化降低每笔订单能耗， 同时建设以云计算架构为基础的共配物流中心和智能装箱算法， 推动实现绿色物流， 减 少物流环节中的碳排放。 阿里巴巴还为数据中心使用风电等绿色能源， 全方位推动云计 算业务的低碳减排。 （二 ）电商商家上云趋势 1.降价促销吸引商家上云 今年 618 期间， 阿里云、 腾讯云 、 京东云 等国内 领先的云服务 厂商几乎都开展了降价促 销、 限时秒杀等活动， 以更低的价格吸引商家和 开发者购买云服务器、 云数据库等。 云 服务厂商的降价活动， 不但能提升自身云服务器、 云数据库等产品的销量， 也能帮助更 多商家以更低的成本实现上云。 2.云服务助力商家销售 目前， 越来越多的云服务产品能够帮助电商商家进行销售决策。 如京东云的实时数据分 析平台 JCHDB 能帮助商家进行海量数据的在线分析， 辅助商家发布热门产品。 根据京东 最新发布的 618 十大技术应用趋势， 多模态营销内容生成功能， 是全球最大规模的商品 内容的智能生成， 用户点击率超越 “ 带货达人 ”40% ， 已累计生成超过 3000 万内容， 帮 助商家进行产品营销宣传， 提升产品销量。10 云上618 ，从容应对流量洪峰11 云上618 ，从容应对流量洪峰12 云上618 ，从容应对流量洪峰13 云上618 ，从容应对流量洪峰