开发运维一体化（DevOps）两岸共通标准研究报告.pdf

海 峡 两 岸 信 息 产 业 和 技 术 标 准 论 坛技 术 报 告 汇 编开 发 运 维 一 体 化 两 岸 共 通 标 准 研 究 报 告DevOps Cross-strait Common Standard ResearchReport中国电子工业标准化技术协会中国电子技术标准化研究院华聚产业共同标准推动基金会台湾云端物联网产业协会共同公布目 录前 言 .1第 一 章 DevOps 简 介 .21.1 创 新 思 维 与 革 新 .21.2 未 来 发 展 前 景 .5第 二 章 DevOps 发 展 情 况 .62.1 萌 芽 与 缘 起 .62.2 淬 炼 与 演 进 .72.3 适 用 类 型 渐 增 .92.4 组 织 文 化 与 管 理 能 力 .11第 三 章 DevOps 应 用 场 景 .123.1 研 华 WISE-PaaS/EnSaaS 物 联 网 云 平 台 DevOps 实 践 .123.1.1 案 例 简 介 .123.1.2 需 求 分 析 .133.1.3 解 决 方 案 .153.1.4 总 结 .233.2 G ogolook全 球 千 万 用 户 等 级 App 的 DevOps 架 构 .243.2.1 案 例 简 介 .243.2.2 需 求 分 析 .253.2.3 解 决 方 案 .263.2.4 总 结 .323.3 腾 讯 社 交 网 络 业 务 持 续 运 维 方 案 与 实 践 .343.3.1 案 例 简 介 .343.3.2 需 求 分 析 .363.3.3 解 决 方 案 .373.3.4 总 结 .473.4 华 为 华 为 云 软 件 开 发 服 务 DevCloud.483.4.1 案 例 简 介 .483.4.2 需 求 分 析 .483.4.3 解 决 方 案 .503.4.4 总 结 .56第 四 章 海 峡 两 岸 DevOps 关 键 技 术 .594.1 Docker 及 应 用 编 排 技 术 .594.2 微 服 务 应 用 .604.3 安 全 工 具 .614.4 自 动 化 测 试 .624.5 流 程 管 理 .624.6 领 域 型 解 决 方 案 .63第 五 章 市 场 潜 在 DevOps 标 准 化 需 求 .645.1 DevOps 标 准 化 需 求 分 析 . 645.2 DevOps 标 准 化 建 议 .655.2.1 基 础 标 准 .655.2.2 产 品 /解 决 方 案 标 准 .665.2.3 安 全 标 准 .665.2.4 服 务 标 准 .675.2.5 流 程 /过 程 管 理 .675.3 总 结 .68附 录 1： 名 词 术 语 对 照 表 . 69附 录 2： DevOps 共 通 标 准 研 究 报 告 参 编 单 位 及 人 员 名 单 .71附 录 3： 中 电 标 协 和 电 子 标 准 院 简 介 .72附 录 4： 华 聚 基 金 会 和 台 湾 云 协 简 介 .741前 言云 计 算 作 为 信 息 技 术 领 域 的 一 种 重 大 创 新 应 用 模 式 ， 是 战 略 性 新 兴 产 业 的 重 要 组 成部 分 ， 为 推 动 两 岸 云 计 算 标 准 融 合 与 共 通 ， 促 进 两 岸 云 计 算 产 业 合 作 与 发 展 的 理 念 ， 自2013 年 10 月 “ 第 十 届 海 峡 两 岸 信 息 产 业 和 技 术 标 准 论 坛 ” 开 设 云 计 算 分 论 坛 以 来 ， 在 两岸 云 计 算 专 家 共 同 努 力 下 ， 双 方 在 合 作 机 制 、 标 准 、 产 业 、 开 源 组 织 等 方 面 进 行 了 广 泛沟 通 ， 成 功 牵 引 和 带 动 两 岸 云 计 算 产 业 及 标 准 务 实 合 作 。在 2017 年 第 十 四 届 活 动 中 ， 许 多 与 会 学 者 专 家 和 产 业 代 表 一 致 认 为 ， 云 服 务 发 展 至今 已 扭 转 整 个 世 界 、 产 业 、 消 费 习 惯 甚 至 生 活 形 态 ， 而 背 后 支 撑 这 些 服 务 的 软 件 的 重 要性 已 不 可 同 日 而 语 ， 不 仅 默 默 支 持 业 务 ， 更 成 为 拓 展 业 务 的 关 键 要 素 ， 也 被 赋 予 成 重 塑企 业 软 件 开 发 流 程 和 组 织 文 化 的 神 圣 使 命 ， 而 DevOps 的 出 现 ， 改 变 了 企 业 开 发 与 交 付软 件 的 方 式 ， 打 破 了 开 发 和 运 营 团 队 的 文 化 隔 阂 与 壁 垒 ， 被 视 为 当 今 企 业 转 型 的 有 力 工具 ， 包 括 Amazon、 Facebook、 Netflix 等 国 际 企 业 均 因 采 用 DevOps 流 程 大 幅 提 升 市 场 竞争 力 。为 推 动 推 动 两 岸 在 DevOps 方 面 的 相 互 了 解 与 合 作 机 会 ， 海 峡 两 岸 云 计 算 分 论 坛 组成 海 峡 两 岸 云 计 算 工 作 组 ， 组 织 双 方 企 业 和 专 家 ， 在 今 年 首 次 针 对 这 个 议 题 共 同 编 着 了 开 发 运 维 一 体 化 （ DevOps） 两 岸 共 通 标 准 研 究 报 告 ， 邀 集 了 两 岸 知 名 且 具 代 表 性 的企 业 案 例 分 享 ， 从 理 论 、 实 务 与 标 准 等 方 面 加 以 探 讨 ， 希 望 提 供 两 岸 产 业 界 参 考 ， 希 望通 过 此 工 作 ， 对 接 海 峡 两 岸 产 业 合 作 需 求 ， 推 动 两 岸 合 作 实 质 落 地 。2第 一 章 DevOps 简 介软 件 工 程 发 展 史 上 ， 工 程 师 们 为 了 解 决 各 时 代 不 同 软 件 开 发 环 境 和 效 率 、 质 量 与 速度 问 题 ， 不 断 推 出 相 关 软 件 开 发 标 准 和 规 范 ， 譬 如 早 期 ISO9001 进 化 到 CMMI， 或 从 瀑布 式 开 发 演 变 到 今 日 的 敏 捷 （ Agile） ， 其 目 的 皆 与 软 件 开 发 程 序 与 时 俱 进 ， 满 足 当 代 产业 脉 动 需 求 。 近 年 ， 互 联 网 和 云 端 服 务 大 规 模 普 及 ， 彻 底 颠 覆 了 由 来 以 往 的 竞 争 格 局 ，客 户 需 求 变 化 多 端 ， 商 业 模 式 日 新 月 异 ， 以 移 动 APP 为 核 心 市 场 成 为 兵 家 必 争 之 地 ， 在此 产 业 发 展 背 景 之 下 ， 企 业 软 件 开 发 速 度 和 质 量 受 到 空 前 重 视 ， 而 特 别 能 满 足 此 类 产 业需 求 的 DevOps 方 法 便 应 运 而 生 。市 场 对 于 DevOps 的 发 展 和 应 用 虽 不 陌 生 ， 但 各 方 定 义 目 前 却 仍 未 江 山 一 定 ， 原 因是 现 阶 段 尚 未 出 现 正 式 的 DevOps 国 际 标 准 （ ISO 与 IEEE 皆 草 案 制 定 中 ） 。 本 研 究 报 告综 合 目 前 全 球 IT企 业 如 Amazon、 HP、 IBM、 微 软 等 以 及 Garner等 知 名 研 究 机 构 对 DevOps的 定 义 加 以 融 合 为 ： “ DevOps 象 征 IT 文 化 的 转 变 ， 着 眼 于 采 用 敏 捷 、 精 实 的 系 统 化 作法 ， 达 成 快 速 的 IT 服 务 交 付 ， 其 本 质 是 一 种 分 工 ， 强 调 在 人 群 与 文 化 层 面 ， 试 图 促 进 开发 和 运 营 团 队 的 合 作 ， 亦 即 通 过 开 发 、 测 试 、 运 维 等 角 色 职 责 的 分 工 ， 来 实 现 工 程 效 率最 大 化 ， 进 而 满 足 业 务 需 求 。 ”1.1 创 新 思 维 与 革 新传 统 企 业 分 工 模 式 无 法 反 应 新 业 务 工 作 需 求 是 DevOps 崛 起 的 原 因 之 一 ， DevOps 提出 了 许 多 创 新 概 念 和 实 施 方 法 ， 消 除 了 这 些 因 为 重 复 性 工 作 和 资 源 不 均 导 致 的 效 率 低 落问 题 ， DevOps 分 工 和 传 统 模 式 的 区 别 如 图 1-1 所 示 。3图 1-1 DevOps 分 工 和 传 统 模 式 的 区 别图 片 来 源 : sohu/a/146111672_403354举 例 来 说 ， 过 去 软 件 研 发 通 常 将 开 发 、 IT 运 维 与 QA 质 量 保 障 ， 设 为 各 自 独 自 的 部门 ， 开 发 部 门 的 驱 动 力 是 频 繁 交 付 新 功 能 ， 因 此 开 发 和 部 署 无 需 考 虑 IT 支 持 或 QA 跨 部门 支 持 ， 而 运 维 部 门 则 关 注 在 IT 服 务 的 可 靠 性 和 运 作 效 率 ， 各 部 门 目 标 彼 此 冲 突 、 时 而相 擘 ， 久 而 久 之 ， 开 发 和 运 维 部 门 产 生 一 道 鸿 沟 ， 拖 累 整 个 企 业 交 付 业 务 的 速 度 ， 可 能冲 突 场 景 如 下 ： 开 发 人 员 往 往 没 有 考 虑 程 序 对 运 维 造 成 的 可 能 影 响 ， 在 交 付 程 序 之 前 ， 自 然 也 不会 邀 请 运 维 人 员 参 与 架 构 决 策 或 程 序 评 审 ； 开 发 人 员 修 改 配 置 或 环 境 后 ， 并 未 及 时 告 知 运 维 人 员 ， 导 致 新 的 程 序 无 法 执 行 ； 运 维 人 员 对 应 用 程 序 缺 乏 了 解 ， 不 易 正 确 选 择 执 行 环 境 和 发 布 流 程 ； 运 维 人 员 希 望 尽 量 避 免 修 改 功 能 ， 降 低 异 动 可 能 引 发 的 宕 机 风 险 ； 决 策 阶 层 不 了 解 团 队 工 作 状 况 ， 业 务 部 门 亦 无 法 掌 握 需 求 被 处 理 的 进 度 ； 开 发 团 队 工 具 不 同 ， 不 同 团 队 沟 通 不 易 。上 述 场 景 并 不 罕 见 ， 因 为 在 多 数 企 业 里 ， 应 用 程 序 发 布 是 一 项 涉 及 多 团 队 、 风 险 高 、压 力 大 的 任 务 ， 各 团 队 立 场 很 容 易 针 锋 相 对 。 但 DevOps 提 供 协 同 工 作 的 流 程 和 方 法 ，4搭 配 自 动 化 工 具 ， 来 打 破 不 同 部 门 之 间 的 壁 垒 ， 打 通 以 前 曾 是 瓶 颈 的 每 个 环 节 ， 大 幅 减少 甚 至 消 除 这 些 障 碍 ， 主 要 差 异 在 于 ： 先 以 价 值 产 出 为 目 标 导 向 ， 再 向 下 展 开 流 程 和 方 法 ； 以 应 用 程 序 为 中 心 来 理 解 基 础 设 施 ； 定 义 简 洁 明 了 的 流 程 ； 更 小 、 更 频 繁 的 变 更 ； 让 开 发 人 员 有 更 多 权 限 能 控 制 生 产 环 境 ； 尽 可 能 自 动 化 ； 促 成 开 发 与 运 维 协 作 。有 些 专 家 认 为 DevOps 是 敏 捷 （ Agile） 和 精 实 （ Lean） 开 发 概 念 的 延 伸 ， 主 要 在 打破 过 往 封 闭 回 路 ， 从 需 求 分 析 、 系 统 设 计 、 程 序 开 发 、 安 装 测 试 、 系 统 运 维 的 每 一 个 独立 的 阶 段 ， 要 求 开 发 人 员 、 运 维 人 员 等 尽 可 能 以 自 动 化 方 式 执 行 任 务 ， 例 如 由 工 具 进 行自 动 化 测 试 、 自 动 化 部 署 ， 减 少 手 动 及 传 递 或 等 待 的 时 间 ， 避 免 人 为 错 误 ， 改 善 软 件 交付 质 量 ， 另 外 ， 也 将 自 动 化 相 关 资 料 提 供 给 所 有 参 与 的 人 ， 根 据 量 化 的 资 料 加 以 滚 动 式改 进 。 DevOps 以 频 繁 更 新 降 低 系 统 风 险 如 图 1-2 所 示 。图 1-2 DevOps 以 频 繁 更 新 降 低 系 统 风 险图 片 来 源 :维 基 百 科 upload.wikimedia/wikipedia/commons/1/1c/Agile-vs-iterative-flow.jpg5从 一 些 导 入 案 例 来 看 ， 实 施 DevOps 确 实 能 对 企 业 生 产 起 巨 大 作 用 ， 以 开 发 部 署 速度 为 例 ， 传 统 开 发 周 期 常 用 大 规 模 、 不 频 繁 的 发 布 ， 所 以 常 常 以 “ 季 ” 或 “ 年 ” 为 单 位发 布 ， 改 用 DevOps 或 迭 代 式 开 发 后 ， 大 幅 缩 短 成 为 以 “ 天 ” 或 “ 周 ” 为 单 位 周 期 ， 1 年发 布 18 个 版 本 ， 甚 至 1 天 发 布 18 次 都 不 令 人 意 外 。 DevOps 持 续 频 繁 的 发 布 ， 每 次 发 布变 化 自 然 相 对 变 少 ， 每 次 部 署 也 就 不 会 对 生 产 系 统 造 成 巨 大 影 响 ， 因 此 应 用 程 序 会 以 平滑 的 速 率 逐 渐 增 生 ， 也 让 企 业 不 用 担 心 系 统 崩 溃 和 服 务 失 效 的 风 险 。1.2 未 来 发 展 前 景目 前 许 多 企 业 已 经 开 始 关 注 DevOps， 不 论 是 从 交 付 和 部 署 流 水 线 的 自 动 化 起 步 投 入小 规 模 试 点 ， 或 从 底 层 基 础 架 构 的 容 器 化 开 始 探 索 这 块 领 域 ， 都 看 中 它 在 扭 转 传 统 软 件开 发 时 过 于 片 段 与 无 法 快 速 回 馈 需 求 改 变 的 缺 陷 ， 不 过 ， 从 整 体 来 看 全 球 除 了 大 型 联 网业 者 之 外 ， 其 他 还 是 处 于 比 较 前 期 的 尝 试 阶 段 ， 缺 乏 大 规 模 、 系 统 性 的 导 入 。总 结 而 言 ， 在 传 统 软 件 开 发 和 基 础 设 施 程 序 管 理 的 组 织 ， 其 内 部 开 发 、 运 维 和 测 试经 常 互 不 相 通 ， 但 通 过 导 入 DevOps 科 技 化 方 法 、 自 动 化 工 具 等 ， 就 可 以 更 快 、 更 有 效率 的 开 发 和 改 进 ， 让 组 织 能 对 客 户 提 供 更 快 、 更 好 的 服 务 。 因 此 ， 即 使 有 些 专 家 认 为 虽然 它 不 是 一 个 具 体 的 技 术 ， 但 仍 对 它 的 未 来 发 展 寄 予 厚 望 ， 并 认 为 将 进 一 步 结 合 新 工 具和 新 技 术 后 迅 速 在 市 场 普 及 。6第 二 章 DevOps 发 展 情 况DevOps 兴 起 并 非 一 朝 一 夕 ， 事 实 上 ， 在 历 经 近 10 年 的 进 化 改 进 后 ， DevOps 的 含 意已 不 再 只 是 单 纯 字 面 意 思 的 开 发 运 维 一 体 化 ， 而 具 有 组 织 文 化 变 革 的 意 涵 ， 成 为 贯 穿 产品 与 软 件 研 发 生 命 周 期 ， 包 括 纵 向 打 通 需 求 、 设 计 、 开 发 、 编 译 、 构 建 、 测 试 、 部 署 、运 维 ， 横 向 打 通 架 构 、 开 发 、 测 试 、 质 量 监 管 、 运 维 、 运 营 等 概 念 。2.1 萌 芽 与 缘 起一 般 认 为 DevOps 之 所 以 兴 起 ， 在 于 进 入 云 计 算 时 代 ， 企 业 核 心 商 业 行 为 与 网 络 密不 可 分 ， 大 量 的 应 用 服 务 将 载 体 迁 移 到 云 端 ， 使 过 去 网 络 底 层 架 构 、 中 介 软 件 和 环 境 设定 工 作 承 载 变 得 不 再 沉 重 ， 取 而 代 之 的 挑 战 是 如 何 满 足 快 速 市 场 变 化 与 需 求 ， 推 出 对 应的 获 利 服 务 ， 对 这 些 如 同 企 业 命 脉 的 应 用 服 务 ， 势 必 要 加 速 开 发 、 不 断 更 新 、 持 续 交 付 ，速 度 等 同 商 机 ， 所 以 网 络 大 腕 级 企 业 和 领 域 专 家 的 软 件 工 程 师 们 ， 都 相 继 提 出 各 自 的 解决 方 案 。时 间 回 溯 2008 年 ， 全 球 信 息 科 技 产 业 出 现 一 些 重 大 讯 息 ， 比 如 金 融 海 啸 引 发 经 济 危机 、 微 软 拟 以 446 亿 美 元 收 购 雅 虎 遭 拒 、 Google 推 出 手 机 专 用 的 Android 平 台 、 全 球 最大 的 垃 圾 邮 件 发 送 商 McColo 遭 断 惩 处 、 以 及 奥 巴 马 运 用 网 络 科 技 当 选 美 国 总 统 ， 使 人们 了 解 到 互 联 网 对 当 代 局 势 影 响 的 重 要 性 。场 景 转 到 加 拿 大 多 伦 多 敏 捷 会 议 （ Agile Conference） 、 Patrick DeBois 和 Andrew Shafer两 位 专 家 对 传 统 软 件 开 发 流 程 深 感 受 挫 ， 故 深 入 讨 论 敏 捷 架 构 的 发 展 性 ， 业 界 人 士 咸 认这 场 会 议 让 DevOps 概 念 萌 芽 。 次 年 ， 两 位 Flickr 工 程 师 JohnAllspaw 和 Paul Hammond在 美 国 加 州 Oreilly Velocity 大 会 发 表 “ 1 天 部 署 10 次 ” 引 发 热 烈 回 响 ， 而 此 一 演 说 启 动了 Patick DeBios 在 同 年 10 月 于 比 利 时 根 特 市 创 办 全 世 界 第 一 场 DevOpsDays 活 动 ， 当 时此 消 息 在 twitter 上 快 速 传 播 时 ， 许 多 人 将 DevOpsDays 缩 写 简 化 成 “ DevOps” ， DevOps7一 词 就 此 正 式 诞 生 。自 此 之 后 ， DevOps 经 常 变 成 各 大 IT 论 坛 和 演 讲 焦 点 议 题 ， 迅 速 在 世 界 各 地 蔓 延 ，至 今 全 球 各 地 DevOpsDays 已 举 办 超 过 60 场 ， 若 再 加 上 其 他 与 各 种 形 式 相 关 讨 论 或 分 享更 为 可 观 ， 意 味 有 愈 来 愈 多 的 人 对 这 个 词 所 包 含 的 理 念 与 实 践 ， 有 非 常 深 刻 的 共 鸣 。经 过 数 年 的 产 业 倡 议 ， DevOps 发 展 日 趋 成 熟 ， 在 2010 年 美 国 山 景 城 DevOpsDays活 动 中 ， Damon Edwards 提 出 以 “ CAMS” 来 诠 释 DevOps， 即 文 化 （ Culture） 、 自 动 化（ Automation） 、 度 量 （ Measurement/Metrics） 和 分 享 （ Sharing） ， 之 后 ， 又 有 Jez Humble把 原 本 用 于 丰 田 生 产 方 式 的 精 益 （ Lean） 管 理 原 则 加 以 转 变 并 融 合 其 中 ， 变 成 “ CALMS” ，其 精 神 更 能 抓 住 DevOps 的 深 意 ， 即 除 了 技 术 之 外 ， 还 有 管 理 与 组 织 文 化 的 议 题 ， 也 就是 人 的 问 题 ， 概 述 如 下 ： 文 化 ： 指 组 织 文 化 应 勇 于 变 革 ， 促 进 协 同 工 作 与 沟 通 ； 自 动 化 ： 指 尽 可 能 降 低 价 值 链 中 可 能 存 在 的 人 为 干 扰 环 节 ； 精 益 ： 指 及 时 制 造 （ 开 发 ） ， 消 除 一 切 浪 费 ， 利 用 快 速 推 出 逐 步 改 善 的 方 式 强 化产 品 的 弹 性 ； 度 量 ： 指 通 过 测 量 和 监 控 取 得 数 据 ， 并 通 过 数 据 改 善 循 环 周 期 ； 分 享 ： 指 开 放 与 他 人 分 享 成 功 或 失 败 经 验 ， 以 不 断 学 习 。2.2 淬 炼 与 演 进DevOps 工 具 对 其 快 速 普 及 扮 演 了 很 重 要 的 推 手 ， 不 论 是 商 业 软 件 或 开 源 软 件 ， 企 业能 够 选 择 使 用 的 工 具 ， 早 期 只 有 单 纯 构 建 、 部 署 、 运 维 阶 段 的 个 别 方 案 ， 到 今 天 细 化 成可 以 分 别 支 撑 构 建 、 持 续 整 合 、 持 续 交 付 、 配 置 管 理 、 日 志 纪 录 、 监 控 、 协 同 运 作 、 测试 等 不 同 流 程 的 工 具 包 ， 整 合 出 几 乎 等 同 全 方 位 解 决 方 案 ， 使 用 这 些 工 具 的 成 功 案 例 ，又 被 当 成 新 进 企 业 的 工 作 指 引 ， 协 助 企 业 挑 选 和 搭 配 符 合 自 己 公 司 自 动 化 程 序 无 缝 接 轨