资源描述
开源社区 OCP 电信边缘计算平台 OpenEdge 解析 中国移动研究院 2020 年 12 月 2 / 18 摘要 5G 和边缘计算的发展,对边缘基础架构平台及相关的部署从 多个方面提出挑战,如设备功能、特性、部署环境、机房空间、 供电功率、实用性等。边缘计算平台是边缘侧业务的承载平台, 作为边缘云的重要组成 部分需要 满足多样性的硬件技术要求,提 供连接和能力开放。因此,边缘计算平台 已经 以一种核心载体的 形式成为边缘计算产业的核心,是运营商发挥业务增值的关键之 一。本报告从边缘计算平台的整体性架构考量和众多的特定技术 需求出发,对目前事实上在全球范围内最有影响力的硬件开源社 区 OCP( Open Compute Project)下属项目组 Telco&Edge 推出的 电信级边缘计算平台 OpenEdge,作了详细阐述和分析。 OpenEdge 集成式模块化的设计、管理和操作模式可以 更多 地开发各个组件 之间内在的联系,提高灵活性,激发平台潜力 。 3 / 18 目录 摘要 . 2 一、 电信领域边缘计算和边缘计算平台 . 4 二、 电信边缘计算平台特点 . 5 1、 平台整体架构特点考量 . 5 2、 平台技术需求特点考量 . 6 三、 OCP 社区、 Telco&Edge 工作组和 OpenEdge 平台 . 8 1、 边缘计算平台 OpenEdge 的开放式框架:边缘机箱 . 10 2、 边缘计算平台 OpenEdge 模块化设计 : Sleds . 11 3、 边缘计算平台 OpenEdge 的部署、运维和管控 . 14 4、 基于边 缘计算平台 OpenEdge 的用例、合作及商业拓展 . 15 四、 总结 . 17 4 / 18 一、 电信领域边缘计算 和边缘 计算平台 5G 标准 成熟和商用部署加速了相关行业中各种应用业务的 繁荣和 发展 。 随着新业务 类型 的不断增加,传统网络架构已经 难 以 满足需求 ,业界对下一代网络转型和演进的探索推出了 基于 SDN/NFV 技术的云 网融合 解决方案, 即 将计算放在云端处理、 终 端只做输入和输出 ,这使得 云计算成为核心网络架构的演进方向 。 另一方面,应用业务的 多样性 以及一些相关的特殊需求,如低 时 迟、高带宽、基于位置的数据集管控等,都对处于远端的云计算 架构提出挑战,推动将计算资源扩展到边缘侧位置。这些边缘位 置可能会在运营商、企业 客户 、垂直行业甚至云服务商的管控和 运维的领域。 网络 系统的计算能力从云端 向 边缘侧扩展, 使得 边 缘计算成为下一个 技术热点 。 从移动网络运营商( MNO)的角度来看,在无线边缘侧( 5G/LTE) 实现、部署边缘计算能力,可以 提供用户所需的 业 务和云端计算 功能的网络架构 , 用于加速网络中各项应用的 性能和改善用户体 验。这种边缘 模式可以满足 5G 时代下高密度海量 用户 (和终端) 的高质量网络 需求 ,具备超低时延、超高宽带、实时性强等特性 。 但是,运营商在边缘计算领域的主要挑战之一是要面对边缘 网络基础架构所需的大量投资,即需要部署足够广泛的边缘云和 边缘计算节点以便对面向边缘侧的应用程序的开发具有更强、甚 至独特的吸引力。通常,基于与终端用户或企业客户之间的物理 距离,边缘计算的部署节点可以分类为 FarEdge(距离很近)或 5 / 18 Edge(距离近)。位于不同节点的边缘设施也多种多样,可能是位 于无线站点的单机柜( Cabinet)中的几个计算设备,可能是电信 中心 机房( CO)中的一个或几个机架 ,可能是一个壁挂箱中包含 的微型数据中心( DC),甚至可能是一个“泛边缘”概念下的自动 驾驶汽车所构成。 无论采用何种方式,使用开放式白盒设备( 如 DCSG、 PON、服务器)以及具多样性的接入、传输和核心交换 /路 由的部署都将作为电信领域的新趋势,在电信边缘侧甚至企业 客 户边缘侧推动电信 业 务 的 增长。 边缘计算的发展,必然会对边缘基础架构平台及相关的部署 从多个方面提出挑战,如设备功能、特性、部署环境、机房空间、 供电功率、实用性等。边缘平台上需要加载必要的网络基础功能 ( essential functions)和丰富的业务应 用,并且作为边缘云的 重要组成 部分 满足 多样性的硬件技术要求,提供连接和能力开放。 因此,边缘计算平台 已经 以 一种核心载体的形式成为边缘计算产 业的核心之一。 二、 电 信边缘计算平台特点 1、 平台整体架 构特点 考量 从平台整体架构的角度出发,由于电信边缘侧的部署环境、 场景的多样性,边缘计算平台在物理规范、架构设计、兼容性、 扩展能力等方面需要一定的考量 。 6 / 18 物理规范 :电信运营商拥有大量属地(即 FarEdge/Edge)通 信机房,未来如果充分用于部署边缘计算平台,有助于大幅降低 成本,提升在边缘计算产业生态中的竞争 力。但边缘机房(如前 文提到的位于无线站点的单机柜)的物理条件与规模化的 数据中 心相比有很大的不同,这对平台本身提出了挑战。这种挑战在区 县及以下机房更加明显,即面临部署空间、机架尺寸、环境温度、 地板承重、设备供电、防 尘等多方面的条件 限制 。 架构设计的集成性和能力多样化 :边缘计算平台作为一种核 心载体,与边缘计算的各个重要技术节点关联密切,会影响到边 缘云、边缘网的建设策略。因此,平台的架构设计必须考虑到多 种组件的存在(包括计算、存储、交换设备 等 ),同时提供加载各 种硬件加速模块的能力 。 兼容性 :集成式架构和设备的多元 化 , 自然引起不同硬件设 计、组件选型、 BIOS 参数等带来的硬件性能 和 功耗等方面 的 较大 差异 。 扩展能力 :边缘侧业务和能力的部署具有动态性。因此,边 缘计算平台应该具有根据需要而灵活扩展的能力,即 scale-up 和 scale-out 的能力。这种扩展既包括平台本身,也涵盖跨平台的 能力。 2、 平台 技术需求特点 考量 从平台的技术需求出发,由于边缘侧必需的网络基础功能及 7 / 18 重要的业务种类繁多,而不同的应用其负载特征也存在差异,因 此边缘计算平台方案里可能涵盖的设备需要满足一些特殊需求: 平台(计算设备,即边缘服务器)的性能需求 : 不同 网元的 性能关注点有 所差异,未来面向高带宽、低时延应用场景,需要 较高的性能和稳定性, 例如 UPF 网元对网络带宽、转发时延和性 能稳定性要求极高 。 平台(计算设备,即边缘服务器)的时钟与同步精度要求 : 对于部分涉及计费功能的业务,边缘服务器需要具有较高的时钟 精度。 部分对时钟同步精度要求高的业务,如 RAN 无线同步基站 高精度时间,服务器需要支持以太网时钟同步 以及 GPS 和 PTP/IEEE-1588 整秒对齐 。 平台异构计算要求 :大量网元的虚拟化部署,如无线核心网 和 RAN 侧的 DU/CU 虚拟化等,需要配置基于 FPGA、 ASIC 等硬件 加速卡来满足性能要求。 例如 在一些算力需求高的场景下,如 AI/ML 或一些需要算力卸载( offloading)的计算,需要支持(分 离式的)高端加速卡。这些加速卡尺寸规格对边缘平台设计和可 扩展性也提出了要求 。 平台的运维管理问题 :众多不同类型、不同供应商的传统服 务器(即边缘计算节点)会造成服务器硬件管理接口需要管 理平 台大量的适配改造工作。 另外,不同的服务器硬件形态、面板及 端口布局同样会带来机架适配差异、本地运维复杂。 综上所述,基于边缘计算平台的整体性架构考量和众 多的特 8 / 18 定技术需求,我们认为在电信边 缘侧部署的边缘计算平台不应该 只是一种独立的设备,而应该是以一种“集成方式” ,涵盖机箱、 计算、存储、交换、加速等能力,并具有良好的可扩展性,满足 边缘业务多样性的要求。市场上的传统服务器种类众多,但在指 标上,如性能、兼容性、扩展性、边缘侧适应性等,都与边缘业 务所要求的丰富能力有差距,而且这种差距已在测试和现网部署 过程中逐渐凸显。 有鉴于此,边缘计算平台的定制势在必行。目前全球范围内 一个主要的电信级边缘计算平台是硬件开源社区 OCP( Open Compute Project) Telco&Edge 工作组推出的 OpenEdge 平台。 OCP/OpenEdge 是一个集成式的平台,利用开放式机箱,容纳计算、 存储、交换、加速等模块,使用集中供电、散热。我们将在下面 的章节对此项目展开论述。 三、 OCP 社区、 Telco&Edge 工作组和 OpenEdge 平 台 OCP,即 Open Compute Project, 成立于 2011 年,旨在建 立一个硬件开源生态系统,为数据中心相关产品的设计、实施以 及社区共享 奠定基础和原则。 OCP 从一建立就得到业界的关注 , 目前 已经成为事实上全球最有影响力的硬件开源社区,其成员横 跨 DICT 行业以及学校、研究机构,包括全球和本地运营商、芯片 和组件供应商、传统和白盒设备制造商、云服务提供商和互联网 9 / 18 公司、系统集成和解决方案提供商等。 OCP 以“ Open for All” 为宗旨推动开放式生态系统的建立,帮助参与者有效地掌握开源 硬件及其相关领域的进展,并相应地共享和推广其公司的产品。 OCP 社区电信领域工作组 Telco & Edge 在“开放边缘” 的框 架下,以电信边缘侧作为部署目标,采用模块化原理设计和实现 集成式的“多合一”边缘计算平台 OpenEdge。 OpenEdge 平台主推 的无缝集成主旨吸引了众多运营商、供应商、制造商、 ODM / OEM 厂商积极参与。作为一款电信边缘平台, OpenEdge 集成化方案主 要涵盖四个方面: 边缘机箱 ,即 OpenEdge chassis,作为整个边缘侧平台的开 放式基础硬件,可容纳各种形态的模块或组件,如电源、风扇或 加速器模块以用于边缘用例的功能提高等。机箱的物理尺寸还考 虑到边缘侧的一些特殊需求而量身定制,如可包容狭窄的楼层空 间、变化的散热条件、有限的供电能力等 。 设备组件或模块 ,项目术语称为 sleds,包括计算、存储、交 换、加速等。 计算模块即 面向边缘侧定制化 、可扩展和智能化的 服务器, 而其它形式的可扩展模块,包括智能网络交换机、高密 度存储、硬件加速卡等,具有超融合或分离式特性。 众多 模块 都 已设计制造出来,并通过开源方式贡献给了 OCP 社区 。 OpenEdge 平台的 部署、运维和管控 。 基于 OpenEdge 平台的边缘侧( Telco-edge) 客户用例及商业 拓展 。 10 / 18 1、 边缘计算平台 OpenEdge 的开放式框架:边缘机箱 边缘侧环境通常会受到物理条件的限制,例如空间狭窄、电 力有限、散热不足等。另外, 边缘计算平台通常有特定 技术需求。 因此,为了快速 有效地 满足这些苛刻的要求,同时可以最大程度 地共享辅助组件(例如 风扇、电源等), OpenEdge 平台采用了 模 块化设计原理。整个 平台基于整体性架构,设计实现作为平台集 成载体的开放式框架,即边缘机箱( Open Chassis)。目前 OpenEdge 平台的机箱主要由 Nokia 和 Wiwynn 公司实现。该机箱 拥有以下 特 点: 设计紧凑、 灵活,适配模块化设计:作为一款面向边缘侧部 署的平台,需要面对站点 设施在占地面积、冷却能力和供电能力 方面的 条件限制,因此 机箱设计灵活紧凑。 机箱外壳高度 3RU1, 深度 430-mm,可安装在 19 英寸机架,兼容 EIA-310 规范;支持 多样性的 1U 或 2U、半宽模块( sleds);实现集中供电( 1U 半宽 模块供电容量为 400W, 2U 半宽模块供电容量为 700W) ; 遵循开源社区 OCP 所倡导的很多设计理念,遵循无冗余设计 (vanity-free) ,即 基于 最简单的设计理念, 专注于 高可扩展性, 并尽可能地消除不必要的复杂性和额外装饰; “ 前 端 维护”集成化运维管理:平台拥有“大脑” 模块 RMC, 提供千兆以太网管理接口 ; RMC 通过平台 机箱 的 backplane 连接 到所有的模块,对整个边缘平台 作集中管理。另外, RMC 还拥有 1 未来针对更多的边缘场景,项目组计划推出 2U 机箱。 11 / 18 前端 10 兆以太接口,既可以作为独立 OpenEdge 平台上行连接到 外部交换机,也可以通过 daisy-chaining(菊花链) 方式链接 多个 OpenEdge 平台 ,取得跨平台的配置和管控,增强 可扩展性。 当然,平台机箱在设计上还面临一些 问题 。例如,平台的 backplane 给各个模块仅提供了电源分配和管理信号的布线 ( tracing), 并没有提供(与模块相连的)高速数据传输线路, 因此,平台上 多个模块之间 的 连接(如 交换机 、服务器) 必须使 用外部接口。 这里,我们需要强调 OpenEdge 机箱的技术指标是基于开源 社区 OCP 的当前规范,但是技术的持续发展会导致未来硬件设计 的修订。因此,机箱和模块的物理细节不需要过分局限于 OCP 的 当前规范,而 是 要留给各个制造商足够的发展 和 设计空间。 2、 边缘计算平台 OpenEdge 模块化设计 : Sleds 边缘侧多变的形态和业务需求,以及边缘站点的复杂性决定 了边缘计算平台需要更灵活、功能更多样化 ,解决 方案就是寻求 使用不同类型的模块( sleds),涵盖计算、存储、交换、加速等。 这些模块帮助边缘 平台扩展 功能,以取得在边缘侧更好的部署能 力和密度,从而满足电信边缘市场的挑战 性需求。 几年来, OCP Telco&Edge 工作组已经推出 了一些 不同 类型的 计算和存储模块。但是,边缘 在 变得越来越复杂、越来越智能, 这也意味着未来的边缘应用程序需要更大的灵活性和智能化。边 12 / 18 缘应用与计算(如分析)、存储(如 CDN)、网络(如 本地 I/O)等 相关, 它们差异化的规格和需求决定了有必要为 OpenEdge 平台 设计和实现更多的模块。 因此 , Telco Edge 项目参与者为 OpenEdge 平台推出了各种 各样的 设备,例如 边缘接入服务器、边 缘网关、边缘交换机、 uCPE 模块、 CDN/AI 加速器、基于 PCIe 的 智能网卡( SmartNIC) 和 FPGA 卡、基于 Arm 的模块等。 诺基亚是 Telco&Edge 工作组的 Project Lead 之一,其在平 台机箱、服务器等方面 给 OCP 社区有 诸多 贡献。 2020 年 4 月 ,作 为边缘侧集成方案的一个重要组成部分,诺基亚分享了一个 1U 半 宽的模块化交换机。该交换机符合 NEBS 3-级标准,可适用于室 内和室外边缘部署;其设计规范基于 OCP 原则(即效率、可伸缩 性、开放性、影响力等)和 OpenEdge 平台规范。交换机的控制单 元是基于 Intel ATOM CPU,具有功能可扩展性和应用程序灵活性 双重特点。交换机支持众多基础和高级 L2/L3 功能,拥有在边缘 和无线接入网络中 必需 的低延迟、高吞吐量性能。 项目组成员 Wiwynn 公司 也推出特定架构 的模块化交换机 , 通过无源光学器件 来降低光纤连接的复杂性 , 将模块化交换机(位于核心站点)与 远程 OpenEdge 平台上的无源交换机配对 , 主要适用于工厂 5G 专 网等类似场景。 2020 年 5 月, Telco&Edge 工作组 推出了融合型边缘接入服 务器( converged edge access server)模块。此服务器(连同 OpenEdge 平台)可部署于电信网络远边缘( far-edge)侧使用, 13 / 18 面向智能工厂、 AI 和 5G 无线接入等,其主要 目标之一是助力建 设专用移动网络( PMN)并在其上运行 IT/OT 应用和服务,进而通 过 AI 和自动化改善工厂现场环境和运营效率。 2020 年 10 月 , 项目组成员 Wiwynn 公司推出了一个新的模块 化边缘服务器 EP100-S1。 EP100 是一个 1U、单插槽服务器,支持 Xeon-SP 处理器和 Lewisburg PCH 的结合,目标是满足在边缘侧 的各种需求及用户部署实例,并希望在技术和成本之间找到 一个 平衡点。 此外,近年来 基于 Arm 的设备灵活 性 , 可支持需 求低延迟和 高数据处理能力的各种应用程序 ,使得 基于 Arm 的设计在边缘计 算平台的选择上越来越受 到关注 。 2020 年 6 月, Telco&Edge 项目 组 成员 Ampere与 Wiwynn合作开发了第一款基于 Arm的 OpenEdge 设备。该设备使用 Ampere Hawk 主板,拥有 32 核心 3.3 GHz 主 频的 eMAG 8180 处理器。这款设备还包括可用于插入 OpenEdge 机 箱的插入器( Interposer)和电缆。 OpenEdge 边缘平台的模块化设计可以方便地加载各种加速 卡,具有灵活性。诺基亚和英特尔在研究电信远端边缘站 点 部署 的一些典型用例 ( 如 vRAN) 时, 认为 开放式的生态系统将从集成 加速能力和功能灵活性中受益最大。因此,两家公司合作将基于 FPGA 的可编程加速器( N3000 w/Arria 10 FPGA)与 基于 PCIe 的 模块 ( form factor) 相结合。这种加速设备在边缘数据中心测试 解决方案时表现出了较高的物理和性能密度,并且具有足够的灵 14 / 18 活性帮助其他边缘 NFV 用户场景提高性能 。 OpenEdge 基于 all-in-one 设计理念推出的边缘计算平台, 集成了机箱、计算、存储、网络、加速等各种组件,并提供了跨 平台的可扩展性,是一种 相对 高效的硬件解决方案。相应地,为 了实现更好的部署和操作,这个平台系统需要有效的管理工具来 控制和管理多样性的硬件及其变体。 3、 边缘计算平台 OpenEdge 的部署、运维和管控 由于 OpenEdge 平台模块和组件的多样性, Telco Edge 工作 组开始探索各种选项,以便有效地配置和部署最适合用户需求的 平台硬件方案。诺基亚公开分享了其 Open Rack 模块化配置工具, 即 Nokia Configurator。作为一种交互式工具,其允许用户从 经 过验证的框架设置中选择适合的模块和组件,如服务器、存 储等, 配置平台方案。在确定硬件设置后,该工具将生成详细而完整的 配置文档;其后,边缘侧“系统集成商”可使用该配置文档 来构 建、集成、测试 、打包并以“交钥匙模式” (turn-key)给客户交 付产品。 整个 解决 方案还包括 DC 管理器( NADCM),可以用于自动 上传设备的 MAC 和 IP 地址,以及用于硬件配置的自动部署。 此外, Telco&Edge 工作组也在探索针对室内和室外不同环境 的 OpenEdge 平台安装选项。这些选项包括机架配置、机箱设置、 服务器模块选择、网络交换机、加速模块、电源等 , 目标是有效 解决从单个( OpenEdge)机箱到多个机架的配置。 15 / 18 当一个系统在边缘侧开始扩张 时,我们几乎可以预见到对模 块到模块、机箱到机箱、甚至机架到机架的可扩展性需求。而当 同样的系统部署到了用户现场,我们又希望存在某种定义明确的 编排和管理方案可以 改善 运维 性能 。当然,如果可能, 现场运维 团队 一定会努力寻求 一种有效的解决方案可以 对所有类型的模 块设备进行 统一的浏览 、检测和配置。此 外,开源软件的使用, 例如可以运行在 OpenEdge 交换机上的 SONiC2网络操作系统,也 会进一步增加系统的复杂性。所以,在综合考虑上面所有的挑战 之后,为了更好地集成、部署和操作 OpenEdge 平台, Telco Edge 工作 组正在通过社区合作, 构建定义明确的开放式管理、编排和 业务流程规范化工具。 4、 基于边缘计算平台 OpenEdge 的用例、合作及商业拓展 经过近几年的拓展,硬件开源社区 OCP 已经从最初的数据中 心范畴向电信领域扩展, 甚至开始涵盖 行业应用 和运营商边缘侧。 随着 5G 网络在全球范围内大规模商业部署,越来越多的用例开 始从云端向 边缘侧演进。在此背 景下, OCP Telco&Edge 工作组希 望 OpenEdge 边缘 计算 平台可以适用于更多的 5G 解决方案和用例。 用例 一 : 诺基亚和英特尔 认为 vRAN 可以作为运营商远端边 缘侧 (far-edge) 的 用例,部署在 OpenEdge 平台 上。两家 合作 开发 的 加速卡 N3000(前面章节提到 过 ),可以 满足 vRAN 的各种 2 SONiC 是 OCP 社区 Networking 工作组 所属的一个子项目。它最初由微软开发、 并在 2016 年开源 ,数年来已有几 十家公司(包括 OTT、电信及网络设备商、芯片厂商、集成商、企业客户)积极参与其中,成为业界关注的重点。 16 / 18 需求,包括 vDU/vCU 拆分、 vDU 的 layer-1 处理、 vDU 处理流水 线、 vRAN FEC 处理、 vRAN LDPC(5G)/Turbo(4G)通道编码等。 用例 二 : 无控制器开放 SDN 连接架构 (controllerless open SDN fabrics for Telco-Edge),适用于电信边缘侧部署。它的目 标是解决边缘云和分布式地区 云( 包括跨小地域的大型建筑物和 跨大地域的小型建筑 群 ) 所面临的一些基本挑战 ,主要围绕远程 部署的 电信或非电信数据中心设施,聚焦网络基本需求包括 低时 延 分布式体系架构、弹性 电信 等级、 网络切片、 现场操作 、零接 触配置( ZTP) 和编排、网络异常事后分析等 。 用例 三 : 关于 OCP OpenEdge 与其他开源社区的跨项目合作。 例如, Linux 基金会 LF Edge 所属的 Akraino 项目,就在其 Telco Appliance( TA)用例系列中,推出 Radio Edge Cloud (REC)用 例,提供可以支持 O-RAN 联盟和 O-RAN 软件社区 的无线 智能控制 器( RIC)设备。 REC 用例的架构有 4 层,其最下层的硬件就是 OpenEdge 平台,支持 基于 x86(诺基亚贡献) 和基于 Arm( Ampere 贡献)的 系统。 在商业拓展上, OpenEdge 平台充分利用 OCP 社区提供的市 场渠道,鼓励 Telco 项目的参与者把他们成熟的产品放置于社区 商城 ( Marketplace),并帮助作宣传 。 例如,诺基亚的 OpenEdge 机箱和模块化 1U/2U 边缘服务器, Wiwynn 公司的 3U 开放机箱都 可以在 OCP 的 Marketplace 上找到。 在行业应用上, 根据市场分析公司(如 Omdia)的调查,通过 17 / 18 OCP 认证的设备的使用和部署重心正朝着 电信 领域倾斜,而处于 边缘侧的高性能计算( HPC)在多个 行业 垂直领域被视为重要的增 长动力。此外, OpenEdge 设备还在能源 、 石油和天然气等新领域 得到关注。 四、 总结 综上所述, OpenEdge 平台设备具有以下四个 特 点 : 一是 集成 式模块化设计,兼具定制化特点,提供功能的多样性,提高硬件 的性能 /价格比 。二是 平台软硬件解耦、分离, 利用平台“大脑” RMC 和模块化交换机支持跨平台 可 扩展性,支持(目前 业界比较 流行的)开源网络操作系统 SONiC。三是 具备 部署、运维和管控 工具,可对在地理上分布 广泛 的计算节点进行可扩展式的管理, 提高有效配置和运维 性能 。四是 注重产业需求,围绕实践用例, 与多个开源项目紧密合作,促进商业拓展 。 作为全球最有影响力的硬件开源 社区 , OCP 帮助参与者适时 掌握开源硬件及相关领域最新进展,分享公司产品并促进产品认 可度。 OCP Telco&Edge 工作 组所属的 OpenEdge 平台 ,其 集成式 模块化方案 包括 硬件、软件、管控,涵盖机箱、外设(电源、风 扇、管理布线)、服务器、交换机、存储、加速 等 ,并提供可扩展 的跨平台能力。 OpenEdge 的 “ 融合式 ” 设计、管理和操作模式可 更多地开发各组件之间内在的联系,提高灵活性,激发平台潜力。 (作者:姜天戟、高嘉进、唐华斌、郁志强 ) 18 / 18 了解更多信息,请关注中移智库公众号
展开阅读全文