资源描述
本 报 告 由 中 信 建 投 证 券 股 份 有 限 公 司 在 中 华 人 民 共 和 国（仅 为 本 报 告 目 的，不 包 括 香 港、澳 门、台 湾）提 供。在 遵 守 适 用 的 法 律 法 规 情 况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时 请务必阅读正文之后的免责条款和声明。证 券 研 究报 告 行 业 动态 网络升级可提升算力效率，1.6T 光模块有望加速产业化 核心观 点 在 AI 数据 中心中，越来 越 多的客户 倾向于 选择更 大带 宽的网络硬 件。带 宽 越 高，单 位 bit 传 输 的 成 本、功 耗 以 及 尺 寸 更 有优势。800G 光 模 块 的 高 增 速 已 经 能 够 反 映 出 AI 对 于 带 宽 迫 切 的需求，其在 2022 年底开 始 小批量出货，2023 年和 2024 年的出货 量 都 将 有 望 呈 现 高 速 增 长 的 态 势。我 们 认 为，1.6T 光模块升级 周 期 有 望 缩 短。我 们 从 上 游 光 电 芯 片、连 接 器，中游光模块公司 以 及 下 游 云厂 商 客 户 等 维度，分 析 了 目前 1.6T 光模 块相 关的 进 展。1.6T 时代，相 比 较 铜 缆，光 模 块 是 主 要 方 案，光 模 块中 单 模 是 主 要 方 案，单 模 光 模 块 中 硅 光 和 薄 膜 铌 酸 锂 均 有 机 会取得突破。虽然 2023Q2 海外云厂商的 Capex 下降，但 各家云厂商对 未来 资本开 支维持 较乐 观的指引 口径，对 AI 业 务 发展均给予较高期 待。我 们认为 高速 光模块的 行业景 气度仍 在提 升。摘要 1、1.6T 光 模块 加 速发 展，网络 对 算力 系 统的 重 要性 持续 提 升。2022 年，传统 云计 算市场 光模块已 经升级 至 800G 速率，在 AI领域，我们认为无论是训练还是推理，2023 年-2024 年 期间800G 都将是 AI 数据中 心 的 首选。相较传 统的 IB/Ethernet 的网络，GH200 采用的 NVLink 网络部分的成本占比虽然大幅增长，但 网 络 在 数 据 中 心 中 成 本 占 比 仍 较 低，通 过 提 升 网 络 性 能来提升算 力 效率，性价 比很 高。带宽 越 高，单位 bit 传 输的成本更低、功 耗更低 以及尺 寸更 小。1.6T 光模块有望在 2024 年下半年小批量 出货，升级周 期缩 短，预计 提早一 年左右。2、OSFP-XD 可能 为 1.6T 光模块 主流 的 封装 方 案，光口 单 通 道200G，电 口 单 通道 100G。从上游 芯片来 看，200G PAM4 EML光 芯 片 目 前 进 展 相 对 比 较 快，1.6T DSP 电 芯 片 有 望 取 得 突 破；从 上 游 的 光 连 接 器 来 看，多 款 不 同 产 品 将 采 用 不 同 的 连 接 器；从 下游 的 客 户 来看，英 伟 达、谷歌 和 亚 马 逊可 能 会是 1.6T 光模块的主要 需求客户。以 英伟 达的 GH200 架构为例，假 设 PCIe 和NVLink 的下一代带宽增加一倍，那么在训练场景下，非常乐观的情况下 H100 与 1.6T 光模块 对应比 例有望 达到 1:12。3、北 美 云 厂 商 收 入 增 速 有 所 回 暖，各 家 云 厂 商 对 未 来 AI 的投资 指 引 乐 观。AWS 用于 AI 的超算集群，采用 无阻塞 网络，AI芯片包括 英伟达 GPU 和自 研的芯片，AWS 的网络 采 用 EFA 配合 SRD 协 议，因 此 光 模 块 及 交 换 机 预 计 也 采 用 定 制 化 方 案。Meta 的 用 于 训 练 的 超 级 集 群 的 网 络 与 英 伟 达 的 DGX A100 SuperPOD 胖树三层网 络架 构非常相 似，GPU 与光模 块的比例 也基本一致。谷歌 数据中 心探 索 OCS（optical circuit switch）光 交换 机 新 方 向，可 取 代 Spine 层 交 换 机。基 于 OCS 的 网 络 架 构中，对光 模块用 量影响 较小，但对光 模块 ASP 提升较 大。风 险 提 示：AI 需 求 不 及 预 期；竞 争 加 剧；国 际 环 境 变 化 影 响供应链安 全；行 业前沿 技术 研发进展 不及预 期等。维持 强于大 市 阎贵成 SAC 编号:S1440518040002 SFC 编号:BNS315 武超则 SAC 编号:s1440513090003 SFC 编号:BEM208 杨伟松 SAC 编号:S1440522120003 发布日期:2023 年 08 月 08 日 市场表现 相 关 研 究报 告-12%8%28%48%2022/8/52022/9/52022/10/52022/11/52022/12/52023/1/52023/2/52023/3/52023/4/52023/5/52023/6/52023/7/5通信 上证指数通信 行业动态 报告 通信 请务必阅读正文之后的免责条款和声明。目录 一、网络 在算力 系统中 的地 位有望继 续提升，1.6T 光模 块加速推 进.1 二、北美 云厂商 资本开 支指 引乐观，800G 及 1.6T 光模块需求或 爆发.8 三、投资 建议.15 四、风险 分析.16 图表目 录 图表 1：英伟 达 DGX A100 SuperPOD 系统示 意图.1 图表 2：光通 信行 业光 口 和电口 升级 迭代 示意 图.2 图表 3：英伟 达 GH200 VS H100 IB 集群 在大 内存 模型 下的表 现.2 图表 4：GH200 的 网络 连 接示意 图.3 图表 5：1.6T 的 OSFP-XD 封装 与 OSFD 和 QSFP-DD 封装的 对比.3 图表 6：OSFP MSA 和 4x400G MSA 的 1.6T 主要 方案.4 图表 7：OSFP-XD 的 DR8 网络拓 扑图.4 图表 8：OSFP-XD 的 4xFR2 网 络拓 扑图.4 图表 9：OSFP MSA 和 4x400G MSA 的 1.6T 主要 方案.5 图表 10：三菱 200G PAM4 EML 结构 示意 图.5 图表 11：博通 200G EML 及 PD 解 决方 案示 意图.5 图表 12：Marvell 用 于光 模块中 的 DSP 产品 升级 示 意图.6 图表 13：OSFP-XD 封 装形 式下部 分连 接器 的示 意图.6 图表 14：NVLink 不 同代 际 的升 级 Roadmap.7 图表 15：在 PCIe 和 NVLink 不同 情况 下 的 GPU 与光 模块比 例情 况.7 图表 16：北美 四大 云厂 商 资本开 支情 况（百万 美元）.8 图表 17：亚马 逊云 收入 情 况（百 万美 元）.8 图表 18：亚马 逊资 本开 支 情况（百万 美元）.8 图表 19：AWS 的第 一 代 EC2 UltraClusters 的网 络架 构介绍 示意 图.9 图表 20：AWS 的第 二 代 EC2 UltraClusters 的网 络架 构介绍 示意 图.9 图表 21：AWS 包含 EFA 的 HPC 软件 栈示 意图.10 图表 22：AWS SRD 协议 示 意图.10 图表 23：2020-2023Q2 年 Meta 收入 情况（百 万美 元）.10 图表 24：2020-2023Q2 年 Meta 资本 开支 情况（百 万 美元）.10 图表 25：Meta 的 SuperCluster 的 网络 架构 介绍 示意 图.11 图表 26：Meta 早期 发布 的数据 中心 网络 架构 示意 图.12 图表 27：Meta 新的 数据 中心设 备分 布示 意图.12 图表 28：2020-2023Q2 年 谷歌云 收入 情况（百 万美 元）.13 图表 29：2020-2023Q2 年 谷歌资 本开 支情 况（百万 美元）.13 图表 30：谷歌 Spine 层 交 换机逐 步替 换 成 OCS 交换机.13 WUBYxOtOpMqRtNtQsPtMoPbRaO8OpNoOpNsRfQpPvNlOmMyQ8OqRsPwMnNpNxNnRrN 行业动态 报告 通信 请务必阅读正文之后的免责条款和声明。图表 31：谷歌 包含 OCS 的 网络架 构示 意图.14 图表 32：谷歌 Palomar OCS 内部结 构示 意图.14 图表 33：谷歌 内置 Circulator 的光 模块 结构 示意 图.14 图表 34：2020-2023Q2 年 微软云 收入 情况（百 万美 元）.15 图表 35：2020-2023Q2 年 微软资 本开 支情 况（百万 美元）.15 1 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 一、网 络 在 算 力系 统 中 的 地 位 有望 继 续 提 升，1.6T 光模块加速推进 算 力 基 础设 施 是影响 AI 发 展 与 应 用的 核 心因 素，优 秀的 网 络 性能 可 以提 升 计算 效率，显 著提 升 算力 水 平。以 ChatGPT 为代表的 AIGC 技 术，依 靠强大的 AI 模 型和海量 数据，能够在 多个 应用场景 下产生 优质的 内容，有望推动 人工智 能更广 泛 地 应用。算 力作 为 AIGC 技 术的重要 支撑之 一，是 影 响 AI 发展 与应用 的核心 因 素。算力基 础设 施成 了目 前行 业 亟需布 局的 资源，目前 除了 CPU/GPU 等算力 硬件需 求强劲 之外，网 络端 也催 生 了更大 的 带 宽 需求，以 匹配 日 益 增长 的 流 量，未 来 随着 AI 应用 的 发展，对 于流 量 与 带 宽的 需 求 有望 进 一 步增 长。图表1：英 伟达 DGX A100 SuperPOD 系 统示意图 资料来源：英伟 达，中 信建投 2022 年 开始，北美 传 统云计 算 市 场 的 光 模块 已 经 开 始向 800G 速率 升级，在 AI 领 域，我们 认 为无 论 是训练 还 是 推理，800G 在 2023 年-2024 年，都将 是 AI 数据中 心 的 首选。从传统数通市 场的发展 历史来 看，光 模 块速率已经升级到 800G 的速率。从电口来看，单个 Serdes 的速率达到了 100G，而单个光路的速率也达到 了50G Baud（EML 的速率），经过 PAM4 调 制后达到 100G 速率。800G 光模块 2022 年底开始小批 量出货，2023年需求主 要来自 于谷歌 和英 伟达。随着 AI 的快 速发展，网络作 为重要 的组成 部分，北美 大 部分 AI 的 客户也 是采用 目前 行业 速 率最高 的 800G 光模块。2024 年，800G 光 模 块 的出 货 量有 望 大幅 增长。目前，英伟 达的 A100 GPU 主要对应使用 200G 光模块，H100 GPU 主要对应 使用 800G 光模块。每个A100 GPU 配一张 Mellanox HDR 200Gb/s Infiniband 网卡，每个 H100 GPU 配 一 张 Mellanox NDR 400Gb/s Infiniband 网卡。英 伟达在 H100 SuperPOD 的设计中，采用了 800G 的光模 块，在 光口采 用 1 个 800G 光模 块可以替代 2 个 400G 光模 块，在电口也 可以 将 8 个 SerDes 通道 进行整 合，与 光口 的 8 个 100G 通 道一一 对应。因此，在这 种设计 之下，交换 机的通道 密度提 高，物 理尺 寸显著降 低。2 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 图表2：光 通信行业 光口和 电口升 级迭代 示意图 资料来源：思科，中信 建投 增加 网 络带 宽 能够 显 著提 升算 力，且性 价 比很 高，GH200 便 是 重要 的 实例。NVLink 带宽 远大于 网卡侧 的PCIe 带宽，因此若将 NVLink 从 服务器 内部 GPU 互连 拓宽至不 同服务 器之间 的 GPU 互连，将显著提 升系统 的带宽。2023 年 6 月，英伟 达创 始人 兼 CEO 黄仁 勋 在 NVIDIA Computex 2023 演讲中 宣布，生成式 AI 引擎NVIDIA DGX GH200 现已投入量产。GH200 通过 NVLink4 的 900GB/s 超大网络 带宽能力 来提升 算力，服务 器内部可能 采用铜 线方案，但 服务器之 间我们 认为会 用光 纤连接。对于单 个 256 GH200 芯片的集群，计 算侧 1 个GH200 对应 9 个 800G 光模块；对于 多个 256 的 GH200 集群，计算侧 1 个 GH200 对应 12 个 800G 光模块。相较传统的 IB/Ethernet 的网络，GH200 采 用的 NVLink 网 络 部 分 的 成 本占 比 虽然大 幅 增 长，但 是因 为 网络 在数据 中 心 中的 成 本占 比 较低，因 此 通 过提 升 网络 性 能来 提升 算 力 效率，性价 比 实际 很高。图表3：英 伟达 GH200 VS H100 IB 集群 在大内存 模型下 的表现 资料来源：英伟 达，中 信建投 3 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 网络 对 AI 的 作 用愈 发 重 要，包 括 带 宽，架 构 和 协议 层。更高的 网络带 宽能 够在 单 位时间 传输 更多的 数据量，在 内存 增 加的 同 时带 宽 也相 应 提升，从而 变 相提 升 系统 的 算力 水 平；无 阻塞 的 网络 架 构能 够 保证 在 数据 量飙升时，数据在 整个集 群中 的传输保 持顺畅；协议 层 上 的优化，包括 Infiniband、NVLink 系统中 的协议、基 于RDMA 的以 太网协 议、云 厂 商定制化 的网络 协议，都能 保证数据 传输时 的高稳 定性、高可靠 性及低 时延等。图表4：GH200 的 网络连 接示意 图 资料来源：英伟 达，中 信建投 1.6T 光模块 有望在 2024 年下 半 年 小批 量 出货，比预 期提 早 一 年左 右。在 AI 数据 中心中，越来越 多的客户倾向于 选择更 大带宽 的网 络硬件。带宽越 大，单位 bit 传 输 的 成本 更低、功耗 更低 及尺寸 更小。800G 光模 块的 高增速 已经能 够反映 出 AI 对于带宽迫 切的需 求，其 在 2022 年底开始小批量，2023 年和 2024 年的出货量 都有望 大幅 增长。而 AI 对于 带宽的需 求是没 有 极限 的，得益于网 络较高 的性价 比，1.6T 光模块有望加速 应用。图表5：1.6T 的 OSFP-XD 封装与 OSFD 和 QSFP-DD 封 装的对 比 资料来源：OSFP MSA，中信 建投 目前 1.6T 光模 块 的 MSA 标准包括 4x400G 和 OSFP。4x400G MSA 成立于 2021 年 12 月，主要成员包括Arista、博 通、英 特尔和 Molex 等厂 商。4x400G MSA 成立之初，旨在 提供单 通 道 100G 的解决方案，可利用 现有 的 硬 件，快 速 实 现 量 产。但是若 200G 单 通 道 的 硬 件 逐 步 成 熟，4x400G 的 方 案 将 会 受 到 比 较 大 的 挑 战。而 4 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 OSFP MSA 成 立于 2016 年 11 月，面向 400G 及更高速率的光模 块，主 要成员 已有 100 多家，包括谷歌、Arista、Coherent、中 际旭创、思科 和安费诺 等厂商。OSFP MSA 对于 1.6T 光模块提供了 OSFP1600 和 OSFP XD 等两种封装方 式。图表6：OSFP MSA 和 4x400G MSA 的 1.6T 主 要方案 资料来源：OSFP MSA，4x400G MSA 官网，中信 建投 目前 OSFP-XD 封装 方 案为 1.6T 光模块 主 流 的选 择。OSFP-XD，即为 Octal Small Form Factor eXtra Dense Pluggable Module，是 超高 密度封装 方式的 可插拔 光模 块。在 2023 年 OFC 会议上，各家厂 商 展出 的 1.6T 光模块基本均为 OSFP-XD 封 装 的。其中，中际 旭创演示了 1.6T OSFP-XD DR8+光 模块，单 通道 200G，温度 范围0-70，功耗低 于 23W，传 输距离可 以达 到 2km；新 易 盛展示了 基于 OSFP-XD 的 1.6T 4xFR2 光模块，采 用4xSN 接 口，电 口 16 个 100G 通道，光口 4x400G FR2，采用 1291nm 和 1311nm 两个波长，同时 公司的 官网 上还 有 DR8 和 2xFR4 两款 产品；Coherent 则 展示了 基 于单通道 200G 的光 模块，该技术将 成为 800G Gen2 和1.6T 光模块的核心，有 望加 速未来 1.6T 的发展。此外，华工科技、光 迅 科技 和剑 桥 科技 等 也在积 极布局 1.6T的研发。图表7：OSFP-XD 的 DR8 网 络拓扑图 图表8：OSFP-XD 的 4xFR2 网络 拓扑图 资料来源：OSFP MSA，中信 建投 资料来源：OSFP MSA，中信 建投 1.6T 光模块按照 传 输 距 离、通道数和波长可以分为多种产品，下游客户可以根据实际需求定制化相关产品。目前电口的速 率为 100Gbps，而光口 将逐步 从 100G 升级 到 200G。以 IM-DD 的调制 方式，若光口 单通 道速率为 100G，则需要有 16 个光通道，包括 DR16（采 用一个波 长），4FR4（采 用 四个波长），2FR8（采用 八个波长）；若光 口单通 道 为 200G，则需 要 8 个光通 道，包 括 DR8（采用一 个波 长），4FR2（采用 两个波 长），5 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 2FR4（采 用 4 个波 长），FR8（采用 八个波 长）。以相 干的调制 方式，若单通 道速 率为 800G，包 括 ZR2（采用两个波 长）。我们认 为，光 口 单 通道 200G 预计是 1.6T 光模块未来 的 主 流选 择。图表9：OSFP MSA 和 4x400G MSA 的 1.6T 主 要方案 资料来源：OSFP MSA，中信 建投 从上游的 光 芯 片来 看，200G PAM4 EML 进 展 加速。1.6T 光模块的发展，核心 元件 是芯片，包括 光芯片和电芯片。其中 100G Baud EML，或叫 200G PAM4 EML，目前有 多家厂 商正在 加 速研发。三菱在 2023 年 3 月发布了 200G PAM4 EML 产品，可 用于 CWDM 的光 模块中，800G 采用四 个，1.6T 采用八个；Lumentum 的200G PAM4 EML 荣获 Lightwave 2023 创新奖，该产品 最大限度 地降低 了输入 电压 的波动，从而降 低驱动 芯片的功耗，不仅可 以用于 PAM4 调制，同时在 PAM6 和 PAM8 调制 上也有 应用的 潜力。博 通的 200G EML 也在加速 研 发中，2022 年公司 已经 可 以提 供 相关 的解 决 方 案，同 时公 司 可以 提供 创 新 的无 制 冷的 200G EML 激光器方案。图表10：三菱 200G PAM4 EML 结 构示意 图 图表11：博通 200G EML 及 PD 解 决方案 示意图 资料来源：三菱，中信 建投 资料来源：博通，中信 建投 从上游的电芯片来看，1.6T DSP 有望迅速取得突破。2023 年 3 月，Marvell 发 布 了 新 一 代 Nova 系列PAM4 DSP 芯片，采用 5nm 先 进制程。Nova 系列 的 DSP 中包含 Gearbox，将电 口 16 个 100G 的通道与 光 口 8个 200G 的通道进行适配，能够应用于 1.6T 的 DR8/DR4.2/2xFR4/LR8 光模块 中。同时，该 DSP 加入了 SNR 的性能监控、FFE-taps、PRBS 发生器等 功能。2023 年 OFC 期间，博通和 Semtech 联合演示 了 200G 单通道电 光链路，其 中采用 了博通 最新 的 112GBd PAM4 的 DSP 产品，为未 来 1.6T 网络奠定 了基础。6 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 图表12：Marvell 用 于 光模 块中的 DSP 产 品升级示 意图 资料来源：Marvell，中 信建投 从 上 游 的 光 连 接器 来 看，多款 不 同 产 品 将 采用 不 同 的 连接 器。根据光路 的数 量和 波 长的分 类，有 不 同的连接器产品 可以适 配，包 括 LC 连接 器、MPO 连接器、MXC 连接 器、CS 连 接器 和 SN 连 接器等 产品。比如，MPO-12 的双排连 接器可 以 用于 八通 道的 光 模块 中，上 排八个通 道用 于 Tx 发射 端，下排八 个通道 用 于 Rx 发射端；四个 SN 连接器 可以用 于 1.6T 4xFR2 光模块中。图表13：OSFP-XD 封 装 形式下 部分连 接器 的示意图 资料来源：OSFP MSA，中信 建投 从下游客户来看，英伟达、谷歌和亚马逊可能会是 1.6T 光模块的主要需求方。英 伟 达网 络 带 宽的 需 求非常强劲，在 GH200 中，NVLink 从服务 器内部 的 GPU 直接连接 释放到 服务器 之 间 GPU 的互连。NVLink 4.0 的带宽是目 前 PCIe 5.0 的 9 倍，因此 需要同 等倍数 的光 模块来支 撑如此 大的带 宽。若采用 1.6T 光模块，则 单 位bit 的成本、功 耗和尺 寸都将 显著降低，因此 1.6T 的需求可能 旺 盛。同 时，若 NVLink 升级 到 5.0，带宽将 进 一步提 升，那 么 对于 光 模块 的 需求 将 持续 增 长。我 们认 为，谷 歌 作为 在 数通 光 模块 市 场需 求 的主 力，对 光 模块 更新迭代的 需求一 直走在 行业 最前沿，加上 1.6T 带来的各种优势，因此 1.6T 也将成为谷歌 的主要 需求产 品。而亚马逊本 身的光 模块升 级计 划是从 400G 直接 到 1.6T 光模块，因此一 旦 1.6T 产品成熟，亚马逊 可能会 大量 采购。7 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 图表14：NVLink 不 同 代 际的升 级 Roadmap 资料来源：英伟 达，中 信建投 以英伟达的 GH200 架 构为例，假 设 PCIe 和 NVLink 的 下 一 代带 宽 增加 一 倍，那么 在 训 练场 景 下，非常乐观的 情况 下，H100 与 1.6T 光模块对应 比 例 有望 达到 1:12。假设 PCIe 6.0 的 带宽增加 一倍，那么从 GPU 到网卡适配 器的带 宽增加 一倍，光模块 的总带 宽也增 加一 倍。在胖 树三层 架构的 基础 上，H100 和 800G 的比例由1:3 上升到 1:6，与 1.6T 的比例则可能 达到 1:3。假设 NVLink 下一 代 5.0 的带宽 增加一倍，在 GH200 的产品中，H100 和 800G 的比例由 1:9 上升到 1:18，与 1.6T 的比例则有望 达到 1:9。在多个 256 集群的 GH200 产品中，假设 乐观 情况 下 PCIe 和 NVLink 同时升级到下一代 产 品，且 带宽 增 加一 倍，那么 H100 与 800 光 模 块比 例有 望达到 1:24，与 1.6T 光 模 块比 例 有 望达 到 1:12。图表15：在 PCIe 和 NVLink 不 同 情 况下的 GPU 与 光模 块比例 情况 资料来源：英伟 达，中 信建投（假 设 PCIe 6.0 的带宽 相比 5.0 增加一 倍，NVLink5.0 的带宽 相比 4.0 提升 一倍）8 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 二、北 美 云 厂 商资 本 开 支 指 引 乐观，800G 及 1.6T 光模块需求或爆发 北 美 云 厂 商 收 入 增 速 有 所 回 暖，短期资 本 开 支 同 比 下 降，但 各 家 云 厂 商 对 未 来 AI 的 投 资 指 引 乐 观。2023Q2，北美三家云厂商 亚 马逊、谷 歌和微 软的云 业务 收入总 计 541.64 亿美元（其中 Meta 的云相 关收入 未 披露），同 比增长 15.43%，环比增长 6.41%，增 速有所 提升。2023Q2，北美四家 云 厂商的资 本开支 为 334.2 亿美元，同比 下降 9.56%。其 中，微软的 资本开 支为 89.43 亿美元，同比增 长 30.16%，Meta 同比 下降 18.52%，谷歌同比增 长 0.88%，亚马逊 同比降低 27.15%。虽然 2023Q2 海外云厂商的 Capex 降 幅有所扩 大，但 是各家 云厂商对 未来（今年 下半年 及明 年）资本 开支维 持较为 乐观 的指引口 径，对 AI 业 务发 展均给予 较高期 待。图表16：北 美四大云 厂商资 本开支 情况（百万美元）资料来源：Wind，中信建 投 2023Q2，亚马逊的云业务 收 入为 221.4 亿美元，同比增 长 12.16%，环比增长 3.68%。虽然在 过去的 几个季度，AWS 客户 在云 计 算业 务的 开 支不 断减 少，但 是 目 前公 司 已经 看到 客 户开 始 将 注意 力 更多 放在 创 新上，同时考虑将 新的工 作负载 放在 云上。2023Q2，亚马逊的 资 本开支 为 114.55 亿美元，同比下 降 27.15%，环比下降19.37%。公司预计 2023 年的资本开 支略高于 500 亿 美元，同 比有一 定的下 降，其中用于 配送和 运输的 支出 有所下降，但是用 于 AI 的技 术基础设 施投资 有所增 加。图表17：亚 马逊云收 入情况（百万 美元）图表18：亚 马逊资本 开支情 况（百 万美元）资料来源：Wind，中信建 投 资料来源：Wind，中 信建 投 AWS 用于 AI 的 超 算 集 群，采 用 无阻 塞 网络，AI 芯片 包 括 英伟 达 GPU 和 自 研的 芯 片。第一代 EC2 Ultra-50%0%50%100%150%200%250%050001000015000200002500030000350004000045000亚马逊 微软 谷歌 Meta 亚马逊YoY 微软YoY 谷歌YoY Meta YoY-10%0%10%20%30%40%50%05000100001500020000250002020Q12020Q22020Q32020Q42021Q12021Q22021Q32021Q42022Q12022Q22022Q32022Q42023Q12023Q2AWS收入（百 万 美元）环比 同比-50%0%50%100%150%200%050001000015000200002020Q12020Q22020Q32020Q42021Q12021Q22021Q32021Q42022Q12022Q22022Q32022Q42023Q12023Q2资本开支（百万美元）环比 同比 9 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 Clusters 包含 4000 多张英伟 达 A100 GPU，网络 部分采 用 400G EFA 网 卡适配 器，单个服务 器有 8 张 A100 GPU，用 4 个 100G 的网卡连 接，网络带宽 有一定 的限制。近期，公司 推出了 第二 代 EC2 Ultra Clusters，该集 群包含20000 多张英伟达 H100 GPU，采用 第二 代 EFA 适 配器，带宽为 800G，从服 务器 连出去的 带宽 为 3.2T，大幅提升，且 同样采 用无阻 塞网 络架构，因此光 模块用 量 及 速率 将大 幅提升。Ultra Cluster 除了采 用英伟 达的 GPU，公司也有 自研的 Trainium 和 Inferential 的 AI 芯片 方案，最大规 模可达 到 3 万张 Trainium，算力 达到 6EFlops。图表19：AWS 的 第一 代 EC2 UltraClusters 的 网 络架构 介绍示意 图 资料来源：AWS，中信建 投 图表20：AWS 的第 二 代 EC2 UltraClusters 的 网 络架构 介绍示意 图 资料来源：AWS，中信建 投 10 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 AWS 的网络采用 EFA 配合 SRD 协 议，因 此 光模 块及 交 换 机预 计 也采 用 定制 化方 案。EFA 是 定制化 的 低延迟网卡 适配器，用于 支持 复杂的 HPC 工作 负载，支 持内核旁 路和 RDMA。相 比较 TCP 通信，网络延迟 更低，数据吞吐 量更高。EFA 允许 应用程序 直接访 问网络 接口，而无需 让操作 系统参 与，从而减少 开销且 使得应 用程序更有效 地运行。SRD 协 议，即 Scalable Reliable Datagram，基于 以太网 协议，是专门为 AWS 网络 构建和 优化的协议。在 HPC 中，数 据包延迟 和丢包 会增加 时延，降低扩 展效率。SRD 可 以提供可 靠的乱 序交付，增 加尽 量 多 的 网 络 路 径 发 送 数 据 包，在 接 收 处 快 速 排 序，既 可 以 降 低 传 输 延 迟，也 可 以 提 升 数 据 吞 吐 量。同 时SRD 有专 门 的 拥 塞控 制，保证 在 各 种 负载 下 较 高的 传 输 带宽 和 稳 定的 时 延。AWS 原 来的 光 模 块升 级 计 划 是 从400G 到 1.6T，但我们认为 网络带宽 需求不 断提升，2024 年公司的主要 需求 为 800G，但 1.6T 需求 也 有望加 速。图表21：AWS 包含 EFA 的 HPC 软 件栈示 意图 图表22：AWS SRD 协 议示 意图 资料来源：AWS，中信建 投 资料来源：AWS，中信建 投 2023Q2，Meta 净利润 为 77.88 亿美元，同 比增长 16.46%，环比 增长 36.42%，业绩表现出 色。2023Q2 公司的 资本 开支 为 61.34 亿美元，同比 下降 18.52%。公 司预计 2023 年资本 开支 为 270 亿美元-300 亿美元，本年度 第二 次 下 调全 年 预 期，主 要 原因 是 在非 AI 的 服务 器 上 节省 了 成 本，同 时 由于 项 目 延迟 和 设 备交 付 推 迟，这些减少的 资本开 支将递 延 到 2024 年。公司预计 2024 年资本开 支将保 持增长，驱 动力来自 数据中 心和服 务器，尤 其用 于 支撑 AI 方 面的 发 展。公 司 过 去在 人 工 智能 基 础 设施 上 投 入了 数 十 亿美 元，目前 这 些 投入 已 经 对公 司的相关业 务产生 了明显 的推 动作用，包括排 序和推 荐系 统的优化。图表23：2020-2023Q2 年 Meta 收 入情 况（百万美元）图表24：2020-2023Q2 年 Meta 资 本开 支情 况（百万 美元）资料来源：Meta，中 信建投 资料来源：Meta，中 信建投-30%-20%-10%0%10%20%30%40%50%60%0500010000150002000025000300003500040000收入（百万美元）环比 同比-40%-20%0%20%40%60%80%100%120%140%0100020003000400050006000700080009000100002020Q12020Q22020Q32020Q42021Q12021Q22021Q32021Q42022Q12022Q22022Q32022Q42023Q12023Q2资本开支（百万美元）环比 同比 11 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 2022 年 1 月，Meta 发布了“Research SuperCluster”项目，旨 在部署 超大规 模的 服务器集 群。第 一阶段 公司部署了 760 台英伟达 DGX A100 服务器，总共 包含 6080 只 GPU，且采用 200G Infiniband 的 3 层 Clos 网络架构连接。截至 2023 年 5 月，公司在 Meta s AI Infra Scale 活动上表 示第二 阶段 的部署之 前也已 经完成。目 前，Meta 该项目总 共包括 2000 台 DGX A100 服务器，总 共包含 16000 只 A100 GPU。而网络 部分，Meta 采取了 当前规模最 大的 Infiniband 网 络，包含 了 48000 条链路和 2000 台交换机。48000 台链路对应 96000 个连接点，每个连接点 为 DAC 模块或 者 光模块，假设全 部为光 模块，那么 在 Meta 的服务 器集 群中，A100 与光模块 的比 例为 1：6，与英 伟达胖 树三 层架构 计 算侧 的 比例基 本一 致。我们认为，Meta 的用于 训 练 的超 级 集群 的 网络 与英伟达的 DGX A100 SuperPOD 胖 树 三 层网 络 架构 非 常相似，GPU 与 光模块 的 比 例也 基 本 一致。图表25：Meta 的 SuperCluster 的 网 络架构 介绍示意 图 资料来源：Meta，中 信建投 追溯 Meta 老 数据 中 心的 网络 架 构，可 类 比胖 树 三层 Clos 架构。2014 年，Meta 基于简单模 块化的 设计思维，为 了 能 够 扩 展 更 大 的 服 务 器 规 模，对 现 有 的 网 络 架 构 做 了 一 定 的 更 新。该 网 络 架 构 的 最 小 单 元 为 1 个POD，每个 POD 包含 48 个服务器机 架，每 个机架 上都 对应一 个 TOR 交换机，每 个 TOR 交换机 包含 4 个 40G的上行链 路，而 下行链 路可 以提供 16 个 10G 的端 口。每个 POD 中的 48 个 TOR 交换机，与 4 个 Fabric 交 换机相连。而 POD 之 间连接 则 需要再加 上 Spine 层的交 换 机。该网 络可以 通过部 署更 多的交换 机来实 现无阻 塞 网络，也可 以 搭设 有 一定 收 敛比 的 网络。若搭 建 无阻 塞 网络，则与 胖 树架 构 非常 类 似。当 网络 数 据量 飙 升的 时 候，可以灵活地 增加更 多的交 换机，以满足 快速增 长的流 量传 输。12 请务必阅读正文之后的免责条款和声明。行业动态 报告 通信 图表26：Meta 早期 发 布的数 据中心 网络架 构示意图 资料来源：Meta，中 信建投 2023Q1，Meta 将 2023 年资 本开支的 预期 从 340 亿美元-370 亿美元下 调到 300 亿美 元-330 亿美元，主要 原因是数据中心建设的成 本降 低，因为新的数据中心 架构 性价比高，可以同时支持 AI 和 非 AI 的工作载荷。从Meta 以往的数 据中心 网络 架构和用 于 AI 训练 的 SuperCluster
展开阅读全文