资源描述
泛在计算服务 白皮书 (2020年) 云计算开 源产业 联盟 OpenSource Cloud Alliance for industry ,OSCAR 2020 年10 月 II 版 权 声 明 本 白皮书版 权属于云 计算开源 产业联盟 ,并受法 律保护。 转载、 摘编或 利用其它方式使用 本调查报告文字或 者观点的, 应注明 “ 来源: 云计算 开源产业联盟” 。 违反上述声明者, 本联盟将追 究其相关 法律 责任。 编 写 说 明 : 牵头编写单位: 中 国 信 息 通 信 研 究 院 、 中 国 移 动 通 信 集 团 有 限 公 司 研 究 院 参与编写单位: 北 京 亚 信 创 达 科 技 有 限 公 司 、 、 中 国 联 合 网 络 通 信 有 限 公 司 研 究 院 、 中 兴 通 讯 股 份 有 限 公 司 、 中 国 移 动 通 信 集 团 浙 江 有 限 公 司 、 上 海 云 轴 信 息 科 技 有 限 公 司 、 烽 火 通 信 科 技 股 份 有 限 公 司 、 华 为 技 术 有 限 公 司 、 普 元 信 息 技 术 股 份 有 限 公 司 编 写 组 成 员 : 中国信息通信研究院:栗蔚、徐恩庆、董恩然 中国移动通信集团有限公司研究院:张婷婷、王升、郭莎莎、李莹、班有容 北 京 亚 信 创 达 科 技 有 限 公 司 : 李 飞 中 国 联 合 网 络 通 信 有 限 公 司 研 究 院 : 曹 畅 、 李 建 飞 中兴通讯股份有限公司:李响 中 国 移 动 通 信 集 团 浙 江 有 限 公 司 : 顾 黎 斌 上 海 云 轴 信 息 科 技 有 限 公 司 : 付 丽 丹 烽火通信科技股份有限公司:张傲,邹素雯,石志凯 华为技术有限公司:高巍 普 元 信 息 技 术 股 份 有 限 公 司 : 孟 庆 余 I 前 言 自 云 计 算 的 概 念 首 次 由 谷 歌 前CEO埃里克施密特在2006 年8 月 的搜索引 擎会议 上 提出, 已 有近14年 的时间, 这些年 来 , 云计算 已经 成为信息 技术产 业 发展的战 略重点 , 全 球的信息 技术企 业 都纷纷向 云 计算转型, 享受 “ 云” 服务带 来的优 势。 丰富而 集中化 的云服务 理念 和IT 架构方式 已经 深入企业 的各个 应 用领域 。 与此 同时 , 互联网发 展 正逐步从 消费互 联 网向产业 互联网 转 变, 随着 智慧工 厂 、 云游戏 、 自 动 驾驶等 新兴应 用的 出现, 某些应 用出 于对低 时延或 安全 性的考 虑, 需要数据 就近处 理 和分析, 驱动计 算从 云端下移 到接近 数 据源的边 缘。 伴随着边缘计算 的 快速发展,当前ICT 产业面临着由“云 、网、端” 三级向 “云、 网、 边、 端” 四级架 构 转型的变 革, 分布 式云与核 心云 之间的云 边协同、 云网协同, 分布式 云之间的 边边协 同 等问题场 景也 越来越成 为业界 关 注的焦点 。 在计 算服 务分布式 化的过 程 中必然形 成 产业生态 的分化 , 政府、 企 业、 高 校 等各自建 设的基 础 设施计算 服务 能力过剩, 利用率 水平参差 不齐, 社 会性计算 资源的 统 筹和服务 能力 尚不完全 。 因 此从 传统信 息基础设施 到纵向应 用拉通 , 横向资源 的协 同的 融合 信息 基础设施 新基 建模式 将 成为必然, 如何促 进 社会各产 业 计算资源 的融合 共 享, 计算服 务能力 流动, 形成 满足应 用无感知 的共 享 式 社 会 性 计 算 交 易 服 务 成 为 新 型 计 算 服 务 模 式 需 要 考 虑 的 重 要 问 题。 云计算 、 边缘 计算 以及终端 芯片工 艺 制程的发 展必然 驱 动整个社 会的计算 资源和 能 力分配更 加分散、 更加泛在 化, 即距 离用户不 同距 II 离会散布 着不同 规 模的算力。 如何高 效利用这 些算力, 保证云边 端算 力的无缝 协同, 同时 借助5G 无损、 确定 性网络使 数据与 算 力得到快 速 的连接、 处 理, 使 算力也能 像电力、 热力一样 成为基 础 资源, 用户 可 以随用随 取而不 必 关心它的 产生与 位 置, 进而赋 能社会, 这正是泛 在 计算服务 尝试回 答 的问题。 本白皮书 以云计 算 、 边缘计算 发展理 念为基础, 在新基 建基础设 施促进计算+ 连 接 的 信 息 基 础 设 施 背 景 下 , 顺 应ICT 产 业 转 型 需 求 和 业务发展 趋势为, 向业界系 统阐释 泛 在计算服 务的产 生 背景驱动、 整 体架构、 关 键技术 及发展方 向。 我们 倡议业界 联合对 泛 在计算服 务技 术的方案 、 架构 、 演进路线 等进行 深 入研究和 实践, 共 同推进泛 在计 算 服务的 成熟, 实现 算网融 合的一 体化 交付, 计算能 力与 信息空 间、 物理空间 、社会 空 间的深度 融合。 III 目 录 1 泛 在计 算服务 产生 的驱动 力 . 1 1.1 架构 驱 动: 算 力泛 在 化, 呈 现 云网 边 端多 级 计算 服务 架 构 . 1 1.2 需求 驱 动: 应 用和 平 台的 普 适 多样 算 力需 求 已成 趋势 . 2 1.3 社会 驱 动: 区 块链 传 递信 任 与 价值 使 计算 可 信共 享服 务 成 为可 能 . 3 1.4 产业 驱 动: 算 网一 体 融合 趋 势 ,是 新 基建 基 础设 施服 务 商 可持 续 发展 的 新途 径 . 3 2 泛 在计 算的概 念与 技术特 征 . 5 3 泛 在计 算服务 的愿 景 . 8 4 泛 在计 算服务 的商 业模式 . 9 5 泛 在计 算的整 体架 构与关 键技 术 . 10 5.1 泛 在 计 算 的 整体 架 构 . 10 5.2 泛 在 计 算 的 关键 技 术 . 13 5.2.1 基础设 施层 关键技 术 . 13 5.2.2 管理调 度层 关键技 术 . 15 5.2.3 计费运 营层 关键技 术 . 16 5.2.4 算力分 级关 键技术 . 17 5.2.5 安全关 键技 术 . 19 6 泛 在计 算的关 键流 程 . 20 6.1 算 力 节 点 接 入与 认 证流程 . 20 6.2 算 力 连 接 交 易流 程 . 21 7 泛 在计 算的应 用场 景与实 践 . 22 IV 7.1 高性能计算(HPC ) 场景 . 23 7.2 云游戏场景 . 23 7.3 泛 在 计 算 当 前业 界 实践 . 25 8 展 望与 呼吁 . 26 云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 1 1 泛 在计算 服务产生 的驱动 力 1.1 架构驱动:算力泛在化,呈现云网边端多级计算服务架构 在产业应用在不断寻求 着计算效率和计算成本 平衡的驱动下,计算作 为信息 化处理的基础,随着其 载体芯片单体算力的不 断提升,其发展的历史 也是合久必 分,分久必合的螺旋式 上升,推进着 信息化调 度系统的不断 变革和优 化(如图1-1 所示)。随着计算密度 越来越高,分布越来越 广泛,未来集中与分布 式的界限将 变得更模糊,更为泛在 ,因此未来也 必将形成 一个集中和分散的统一 协同 泛在 计 算能力 框架。 图1-1 计算演进的螺 旋式 发展 边缘计算正在加速布局 ,边缘处理能力未来几 年将高速增长,尤其是 随着5G网络 的全面建设,其大带宽 和低时延的特征,将加 速算力需求从云端向边 缘的扩散。 同时,随着芯片工艺制 程从7nm向5nm 演进,端 侧的算力又将迎来提升 ,未来随着 物联网终 端节点的种类 丰富,个人PC 甚至家庭 网关都将可能 作为参与 算力 对外 提 供的 节点,这些泛终端 设备的普及形成了一些 数据就近处理的 场景, 由此也必将 2 促进 用户 周边信息化空 间内, 不同距离、不同 规模的算力形成 凝聚和 协同 ,计算 服务分布整体上将呈现云-管-边-端四级架构, 形成分布式加集中协同的新型信息 基础设施。 1.2 需求驱动:跨应用和平台的普适多样算力需求已成趋势 随着新型应用的不断涌现, 对算力精度、 强度、 时延转发等不同方面的需求各 异,因此云数据中心出 现了CPU、GPU 、FPGA等 多种硬件 平台。与此同 时国内IT 市 场硬软件百花齐放,也 在大力推动国产IT软硬 件发展 的过程中 云平台 的 异构化已 经是一个必然的趋势 。 但当 前各 种异构 加速 芯片 生态 封闭 , 编程 工具、 语言 专用 , 一 个应 用需要 基于 多种异 构芯 片开发 不同 代码, 且 代码无 法跨 芯片移植 。 对开发 者 来说 , 不 仅加重 了开发 负担 , 当 硬件升 级、 应 用迁 移时 , 可能 都需要 对开 发代 码 进 行 更 新 ; 对 云 服 务 商 来 说 , 需 要 采 购 各 种 异 构 硬 件 来 满 足 不 同 应 用 的 需 求 , 可 能导 致 不同 异构 硬件的 利用 率差异 较大 , 硬件 持有 成本高 企但 效率低 下 。 同时 , 统 一的 异构算 力管 理涉及 不同 加速芯 片的 加载、 抽象 、 虚 拟化 、 挂 载、 删除 等一 系 列生 命周期 管理 工作, 需要较 长时 间演进 成熟 。 因此 , 对应 简化 应用 开发 而言, 能 对算力 架构 的将异构 性 进 行屏 蔽, 实现一 套代 码在 不同架 构的 计算芯 片上 的有 效 运转, 是当前 云服 务商 和云 化应用 关注 的方向 之一。 目前设备厂商 与云服务商 之间相互配合,云服务 商 在业务层面做出创新 的同时,广泛接受应用 和大众对计 算服务的差异化需求的同时, 对设备厂商所提供的硬件提出 通用要求。 另一方面, 设备厂商 也可以综合多 家云 服务商需求的特点 , 提供通用型或专用一 体化设备 。 综合看来,以云服务商 领头,设备商作为后盾 的组合 适配应用多样化 通用需求 形 式,将 可能 是泛在计算的未来主力军。 云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 3 1.3 社 会 驱 动 : 区 块 链 传 递 信 任 与 价 值 使 计 算 可 信 共 享 服 务 成 为 可能 区块链正驱动网络从“ 信息互联网”到“价值 互联网”的变迁,作为 互联 网的第二次革命,它给 数字世界带来了“价值 表示”和“价值转移” 两项全新的 基础功能。 区块链已经不仅仅是一项技术、 一种工具, 更是一种思维方式, 区块 链作为一种新型的技术 组合,其去中心化、难 以篡改、不可抵赖、面 向场景等特 点可以为泛在计算带来一种全新的信用模式, 也使其数字服务更具竞争力。 因此, 泛在计算的服务化可以 考虑结合区块链来实现 可信交易,促进共享经 济式算力服 务模式的商业模式实现 。泛在计算的终端或云 资源池都可以注册在链 上,由泛在 计算交易平台将这些算 力源的使用情况记录上 链,并给予算力源一定 的“ 奖励 ” 或真实金额结算,链上 的算力源都具备权限查 阅自身的“代币”或交 易账单,并 可以使用“代币”兑换 奖励。在共 享经济繁荣 的社会背景下,区块链 技术的使用 可以激发算力服务提供 方提供算力共享服务的 积极性,并对算力消费 者进行交易 结算公开透明的账单, 甚至也可以基于区块链 的 区块信息进行算力追 溯和服务保 障,使能可信的泛在计算服务。 1.4 产 业 驱 动 : 算 网 一 体 融 合 趋 势 , 是 新 基 建 基 础 设 施 服 务 商 可 持续发展的新途径 在新基建背景下,未来 融合基础设施的提供者 可以是云服务商、运营 商甚至 是中小企业的数据中心 建设者和设备商。随着 泛在计算的云网边端大 架构融合, 云服务商在寻求5G 网络服务的增强和加持 (如AWS 、 阿里云 、 腾讯云等) ; 运营 商也在依托强大的网络 资 源积极布局云计算服 务转型信息化服务商( 如电信、移 动、联通等);设备商 依托各自的硬件技术栈 和生态积极拓展服务化 的平台能力 (如华为、浪潮等)。 而这个过程中也给了一 些中小企业算力提供者 以机会,通 4 过加入泛在共享的算力交易服务提升自己的价值和售卖市场。 总体而 言,产业生态 正在加速算网一体的融 合,积极谋求可持续发 展,只是不同的产业角 色切入点不 同。 从运营商的角度,作为ICT 行业技术演进的重 要参与者,运营商依托 “NFV/SDN ”技术,已 实现了对核心电信数据中心的网元虚拟化与网络的智能化 管理编排。通过网络的渗透化和联接价值, 初期电信数据中心产生的算力是为了 连接网络而存在的,而网络的价值仅仅在于连接个体,集中化算力只有云网两级 架构。但随着5G 的建设与边缘计算的发展,边缘云拓展了云计算的边界,呈现 云- 管- 边三级分布式架 构,算力下沉并分散,网络为算力服务,价值在于连接不 同位置、不同层级的边缘云。因此运营商也希望可以依托边缘海量的机房或第三 方云池甚至是端侧算力,打开生态,借助B5G/6G 的确定性、无损、时延敏感的 网络优势,向全社会售卖一种算力+ 确定性时延网络的产品,与业务关联却又适 度解耦,实现从服务消费互联网到服务产业互联网的转型。这 个阶段的特征是呈 现云网边端四级架构,算力具备专业化、智能化、均衡化、可交易等特征,运营 商可以充分利用社会的泛在算力,协同调度,赋能社会。 从传统云计算厂商视角来看,服务从云计算中心层层向外推送,成长路径是 自顶向下,由内而外。基于其自身强大的IaaS 和PaaS 能力,云计算企业采用分布 式技术将算力和存储向外拓展和延伸,而控制中心仍牢牢地掌握在中心节点。 但 随着计算架构的分布式化 ,如今以个人为主体的消费互联网已经发展到了相当规 模,人口红利带来的流量增长几近耗尽 。互联网公司需要向资本市场证明自己的 成长空间,最好的商业 模式就是打开一个新的市场空间,找到新的成长方向。携 消费互联网时代建立起的数字化光环,找到期待数字化变革的行业客户, 进一步 满足移动性、高算力等行业应用客户的需求。因此 用基于 边缘计算演进的泛在服 务 的理念说服行业客户进行探索,拿客户实例证明这是云计算发展的新空间。 也 将为 云计算公司力 开启新的商业逻辑 ,进一步打开其计算服务生态的新方向。 云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 5 从芯片/ 设备制造商等硬件厂商视角来看 ,也在从硬件制造商逐步向上渗透 软件开发和运行环境的生态,目前主要有两条路径: 一种 是瞄准特殊计算应用 (如自动驾驶、安防)的SoC 专用芯片,另一 种是通用加速器做独立芯片。前者 事实上竞争已经白热化,华为、高通、寒武纪等公司都纷纷推出专属的SoC 搭载 AI 加速模组,这类公司 属于端到端业务全栈模式,强调的是全栈最优;后者虽 然刚刚起步,但在未来在泛在计算的互操作性和灵活性提升上空间更大,目前许 多公司在这个市场布局主要是培养开发者生态,推出开发 版、软件编译环境和运 行态环境,例如Intel ,xilinx 等均在各自优势 领域形成软件开发生态。一旦能够 实现多硬件环境的适配和抽象,也将 极大驱动泛在计算服务实现硬件无关性 以及 无形调度迁移, 开辟更广阔的市场环境 。 2 泛 在计算 的概念与 技术特 征 泛在计算并不是一个新的概念,早在20世纪80年代,泛在计算之父,Mark Weiser 博士就提出了泛在计算的概念: 在本世纪初,清华大学徐光祐教授也给出了泛在计算的定义: Mark 博士定义的泛在计算是一个强调和环境融为一体的计算概念,而计算设 泛在计算 (又叫普适计 算) 即建立一个充满 计算 和通信 能力的环境, 同时使这个环境与人们逐渐的融合在一起。 -Dr Mark weiser 1988 -Dr Mark weiser 1988 泛在计算是 信 息空 间 与 物 理空 间 的融合, 在这 个融合的空间中人们 可以随时随地、透明地获得数字化的服务 。 -清华大学 徐光祐教授 2003 - 清 华 大 学 教 授 徐光 祐 2003 6 备本身则从人们的视线里消失。在徐光祐教授的泛在计算定义中,“随时随地” 指人们可以在工作、生活的现场就可以获得服务,并不需要离开这个现场去面 对、操作计算设备,计算就像空气一样无所不在;“透明”指获得这种服务不需 要花费很多注意力,即这种服务的访问方式是十分自然的甚至是用户本身注意不 到的。 两人对泛在计算的定义虽有不同,但核心思想是一致的,即构建一张无处不 在,万物互联的计算网络,在推动各种物端设备具备自通信、计算能力(即物端 计算或物联网)的同时, 将充斥在自然人环境中的所有计算能力抽象出来,为人 类和社会赋能,人们无需感知计算本身便能获取算力服务。 本白皮书中描述的泛在计算更偏向于如何通过算网一体提供计算服务。其中 的计算服务为大计算概念,参考云计算可包括的计算、存储、网络甚至更丰富的 抽象封装的算力服务(例如抽象的算法)等。其定义如下: 通 过自 动化 、智 能 化 调度 ,人们 可在 任何时 间任 何地点 无感 知的将 计算(算力 、存 储、网 络等)需 求 与云- 边- 端多 级计算服 务能 力连接 适配 ,通过 多方 算力贡 献者 和消费 者共 同 参 与, 实现算 力从 产生、 调度 、交易 到消 费的闭 环, 实现算 网一 体、算 随人 选 、算 随人动 的可 信共享 计算 服务模 式。 物联网技术、社交网络、移动互联网、智能终端、感知及交互技术的迅速发 展,推动了信息空间、物理空间和社会空间的融合;随着基础设施的广泛部署和 智能终端的泛在嵌入,计算能力以前所未有的程度深入到人们的生活,由此将衍 生出大量围绕人的服务。因此 泛在计算将成为人、环境和万物互联的新型数字化 基础设施,助力数字化新生态系统的形成,其包含的主要特征如下: 1) 算 网融 合:云 边端 三级算 力与 无损网 络的 融合 。从云计算、边缘计算、 到泛在计算的发展大趋势下,未来社会中会在靠近用户不同距离遍布许多不同规 模的 算力,通过全球网络为用户提供各类个性化的服务。从百亿量级的智能终 端,到全球十亿量级的家庭网关,再到每个城市中未来 移动边缘计算 (MEC) 带 来的数千个具备计算能力的基站,以及数百个 网络功能虚拟化 (NFV) 带来的云云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 7 中心机房(Cloud CO),以及每个国家数十个大型的云数据中心(DC),形成海量的 泛在算力从各处接入互联网,形成计算和网络深度融合的趋势。伴随着 5G 网 络、新型计算应用的不断落地,云和网络正在打破彼此的界限,相互融合,云在 网上、网在云中、网随云动。泛在计算依赖确定性、无损的网络能力将这些计算 资源拉通共享,形成算网融合的一体化产品。 2) 算 随人 选:根 据需 求自动 选择 算力资 源。 传统 云计算模式下用户使用算 力的流程大都通过云服务商门户(Portal) 进行分区(Region) 选择,从算力资源申 请到网络地址的发放,算力源的位置对于用户是可感知的,并且算力源并不会随 着业务位置的变化而变化。然而泛在计算环境中的算力资源呈现分布式、无序化 特征,如果还需要用户从海量的算力资源池中去挑选适合的节点,这将是灾难性 的体验。泛在计算通过业务系统对用户算力需求进行解析,将需求分解为详细的 算力资源需求、网络能力需求甚至算法依赖需求 ,由调度系统从海量算力池中自 动选择一个最适合用户的算力节点来承载用户业务,这一切对用户来说都是透明 无感的。 3) 算 随人 动:算 力的 移动性 管理 。大 量2B/2C 类 边缘计算业务如云游戏、 自动驾驶等,数据源处在不断的移动过程中,为保证用户体验,算力源与数据源 的连接也需要随用户位置不断变化更新。一个服务对于使用者来说,应该是透 明、无缝、无感的,正如语音通话服务一样,作为使用者不用去关心基站的位 置、基站的切换等网络的功能。所以对于云边端多级的算力基础设施来说,泛在 计算需要像一个算力操作系统一样,自动、智能、动态的去调配服务,完成对算 力的管理与无缝使用。泛在计算系统通过连接运营商侧的能力开放平台,获取用 户的位置 、连接状态、 移动信息等,同时结合不同边端节点的算力情况,根据算 法拉起或迁移服务应用,实现人(数据端) 与算(算力端) 的实时连接与动态调 整。 4) 可 信共 享:支 撑算 力资源 共享 交易的 可信 的营帐 交易 系统。 算力的泛 在 化决定了算力资源的提供者是多方的,而隶属于多方的算力的使用、释放、营 8 帐、计费、结算等多个流程需要公开透明、可靠可溯、计费准确、满足审计要求 的营帐交易系统,来解决不同算力提供者之间、算力提供者与泛在计算运营系统 之间的信任问题。泛在计算计费运营系统收纳各个资源提供者的算力报价,当算 力用户在统一的运营 Portal 上输入了算力 请求后,系统完成解析,给出一系列 算力资源列表与相应的报价,由用户自由选择;当用户选择了某个算 力资源,并 完成了算力使用后,系统会自动生成算力结账报表,该报表基于区块链平台生 成,不同的算力提供者的交易节点都可以上链,查询各自算力资源的使用情况与 营帐报表。同时,计费系统扣除泛在计算平台的抽成之后,剩下的费用返回给算 力资源提供者作为报酬;需要强调的是,整个泛在计算的交易是以“代币”形式 完成的,“代币”与“法币”之间存在着某种映射关系。 3 泛 在计算 服务的愿 景 泛在计算的愿景是:聚焦于高效利用全社会泛在的、多级的、无序的算力, 将之变为可整合、可调配、可交易的资源,保证云边端算力的无缝协同,同时借 助5G 无损、确定 性网络使数据与算力得到快速的连接、处理,并使算力、网络 可随用户需求的流动动态调整,使算力也能像电力、热力一样成为基础资源,用 户可以随用随取而不必关心它的产生方式与位置因素。 算力用户从提出算力需 求到算力部署完毕,连 接成功,需要整个泛在 计算架 构从云网边端四级生成 一致性协同策略,执行 协同操作,完成算力应 用部署到网 络打通等一系列工作。 为实现这个 理想 ,在云 网边端之 上,需要一个 多级的算网 管理编排器做全网的算 力与网络的调度、匹配 ,成为一个“算力操作 系统”,将 整个社会的算力节点与 网络管理纳入统一的体 系,每个边缘节点,每 个 云池,甚 至是每个端设备,都是 这个统一管理编排体系 中的一个算力节点,就 好像整个社 会是一个数据中心一样,从而构建“Computing power as a Datacenter ”。 云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 9 4 泛 在计算 服务的商 业模式 泛在计算是以平台型共 享经济服务模式为核心 ,数字化网络为依托, 搭建计 算服务交易平台,构建 计算服务和消费方的桥 梁,盘活新建和存量计 算资源,实 现”人人“为”人人” 的开放化解决方案,从 而形成计算界的类似京 东或淘宝的 共享交易模式。 计算服务提供方 : 可 以包 含 各 类 中 大 型 云 服 务商 , 提 供 网 络 和 边 缘 云服 务 的 运营商、存在闲置 算力 的 中小企业、各大 超算 中心,甚至个人终 端PC 或路侧 泛终端设备。 计算服务消费方: 可以包括任何有临时或长期资源需求的个人、 科研、 企事业 单位、政府和中小企业 。他们在计算资源的需 求特性上具有高算力、 广域链 接、 移动性、 临时性等不同特征, 均可通过泛在计算服务平台获取到所需的技 术服务。 在计算服务的调度和提 供过程中可通过深度融 合的算网一体服务进行 调度, 对应时延敏感性应用也可基于底层的6G 确定性网络来进行承载, 以增强算力服务 的精准性和服务质量。 10 5 泛 在计算 的整体架 构与关 键技术 5.1 泛在计算的整体架构 基于分级调度的泛在计算架构以NFV/SDN集中管理和云计算的 调度理念为基 础,通过集中化和分级化扁平平台实现对泛在计算设备的算力和网络信息收集、 应用管理调度和部署分发,为用户提供最优的算力分配及网络连接方案。该架构 具备以下主要特征: 1.对社会泛在计算设备和云边端三层多级算力的集中管理调度,实现控制与 数据平面的分离。 2.不改变当前底层网络架构与IP 协议实现,通过平台自身的多级 调度能力实 现互联协同 ,通过松耦合的平台调度逻辑实现调度。 3.一方面可以 兼容当前单体业务 和应用的架构的粗粒度 调度,同时也能支撑云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 11 各类 轻量 化微服务架构的细粒度调度 。但均需要提供能屏蔽底层异构硬件的 新型 开发 环境 。 4.由于采用 集中调度架构,调度 模块将不占用边缘计算节点有限的空间、供 电和算力资源。 泛在计算的分级调度逻 辑架构由(算力 和网络 )基础设施层、算网管 理调度 层 和计费运营层组成, 三层之间通过标准API互通, 完成算力生成、 调度和交易的 闭环。 网 络 基 础 设 施 层 提 供 网 络 资 源 并 实 时 上 报 网 络 状 态 , 包 括 数 据 中 心 各 级 SDNC、 网管设备与相应的网络设备, 构建低时延, 敏捷无损的算力传输管 道。 算力基础设施层聚焦算力的生成与抽象,包括核心云节点与边缘计算节 点,第三方云池以及泛在终端等,其中数据中心相关的网络与算力信息 可通过云管理器和网络管理器北向接口获取,终端设备的网络和算力状 态可通过在终端放置探针的方式获取。 管理调度层主要负责算力的注册,算网资源的整合,根据需求进行算力 路由调度,根据算网状态的变化或用户位置的更新进行移动性管理和算 力动态调整;根据资源拓扑进行算力分解,合理拆分算力需求;预留资 源,下发镜像,部署应用,配置网络等;同时,管理调度层还需要具备 安全、策略、资源等管理功能。其南向接口接受 基础设施层的算力注册 请求与算网状态报告,生成算力与网络拓扑,并实时更新,北向接受计 费运营层的算力需求输入,结合自身的算力调度算法、必要时分解算力 需求,筛选出最合适的部署节点,完成算法框架的安装,应用的部署, 网络与安全策略的配置。同时,当算力基础设施层的算网资源状态发生 变化,或算力用户的位置发生了更新,管理调度层需要根据更新的资源 拓扑或用户位置进行应用的迁移或重建。 12 计费运营层主要由三大模块组成,分别是运营模块、记账模块和计费模 块。运营模块主要包括算力分级、需求解析和算力测量等功能,并提供 交互界面、应用商店和 开发平台等。记账模块使用区块链平台实现,作 为联盟链超级节点成员,负责所有交易数据的上链、出块、记录和智能 合约的生成。计费模块主要根据交易数据生成相应的计费结果。 基于分级调度的泛在计算架构如下图 5-1 所示: 图5-1 泛在计算技术 架 构 图5-2是一张泛在计算系统部署的 构想图, 图中每个管理调度 系统的部署都 为 多级部署,且下级管理 调度系统向上级调度系 统周期性上报所纳管资 源的实时变 化情况, 并接受上级管理调度系统的调度指示。 如5.2示意图所示, 如果运营方 是 以省为单位作为主体运营方, 那么每个省的算 网 管理调度 平台分为两级, 省级 (二 级) 和边缘级 (三级) ,所以无论是最上级的 大区云节点 (一级)还 是下边的边 缘云节点或是三方节点 或是终端设备,最终的 算力注册信息都会汇聚 到省级算网 管理调度平台,由这个 平台作为算力调度的关 口,而每个省也都有各 自的算力交 易营帐运营系统,不同 省的算力用户都就近接 入各省的算力交易营帐 运营平台, 完成算力交易;不同省 之间的算力交易营帐系 统,或者不同运营商之 间,甚至是 不同云服务商之间的算 力交易系统都可以 使用 联盟链,参与记账共识 与生成智能云计算 开源 产业 联盟 泛在计 算服 务白 皮书 (2020 ) 13 合约, 解决交易的信任 问题。 这里要强调的是 , 对于端侧与三方云池 的算力上报, 当端侧与第三方云池的 数量过大时,为了防止 对边缘算网管理调度平 台的冲击, 可以算力通过边缘云节 点进行上报,这时候边 缘云节点充当算力代理 角色,初期 当这个数量不大的时候 ,端侧与第三方云池可 以直接向边缘算网管理 调度平台直 接上报。 图5-2 泛在计算系统 部 署架构 ( 仅为示 意图) 5.2 泛在计算的关键技术 5.2.1 算力抽象技术 泛在计算 的 基础设施层主要提供应用 所需的算力资源、 存储资源与网 络连接, 其中算力资源 由多种 不同类型指令集、不 同体系架构的异构硬件提供 。 随着新型应用的不断涌 现,通用处理器的计算 性能已经不能满足业务 需求, 云数据中心的计算架构 呈现出CPU、GPU、FPGA 等多种硬件异构化 部署的趋势。 在泛在计算云、边、端 组合提供算力的模式下 ,异构算力资源更加丰 富,不同厂 商、不同种类的计算硬 件可能 同时提供算力服 务。 目前,不同 厂商以及 不同类型 的硬件 要求开发者维护独立的代码库, 这些代 码库的 开发使用了不同的编程语言、 14 类库以及软件工具。这 使得在某一款硬件上开 发的应用代码只能在该 款硬件上部 署,将大大降低泛在算 力的整体利用率,使管 理调度更加复杂。同 时, 代码在不 同硬件上的迁移成为 了 一项极其复杂、耗时的 工作,难以 实现算随人 动 、算随人 选 。 具体而言, 在 当前的 异 构计算架构 下,某一 应 用既利用CPU做虚 拟机 ,又使 用了GPU 来做深度学习 或者人工智能。此时, 应用扩容或 迁移,综合 应用需求 调 度 了FPGA 提供 算力资 源,那么已有的代码需要大幅更新并重新编写。 因此,为提高算力 基础 设施层 的通用性、易用 性,实现应用 基于算力 而非硬 件 类型的部署 ,提升泛 在算力的整体利用率, 繁荣泛在计算生态,需 要降低应用 开发者在异构硬件上的 开发复杂度,屏蔽底层 计算硬件的差异(算力 抽象)。当 调用算力时,应用开发 者无需了解底层硬件的 具体 信息,理想目标为 开发者的一 套代码可以在任意底层 硬件上执行。为此,需 要在软件层面提供跨硬 件、跨厂家 的标准、开放的编程环境与编程接口。如图5-3所示。 图5-3 算力基础设施 层 算力抽象 除了算力资源以外,基 础设施层还需提供存储 以及网络资源。存储需 要满足 应用的容量需求,网络 主要是带宽和时延性能 。由于应用部
展开阅读全文