---
格式版本: 2
标题: "超节点技术深度篇三：大模型并行通信拆解：DP、TP、PP、EP、CP 到底在网络里发生了什么_为什么初始化顺序是tp-cp-ep-dp-pp-CSDN博客"
原文链接: "https://blog.csdn.net/Tassel_YUE/article/details/161286563"
发布日期: "未标注"
发现时间: "2026-06-02T08:30:18+08:00"
入库时间: "2026-06-02T02:31:12.124Z"
来源平台: "博查 AI Search"
搜索渠道: "bocha_ai_search"
搜索词: "超节点"
匹配关键词:
  - "超节点"
  - "华为"
  - "中兴"
  - "H3C"
  - "GPU"
  - "光"
  - "Scale-up"
  - "CXL"
相关厂家:
  - "华为"
  - "中兴"
  - "H3C"
相关专家:
  []
内容类型: "网页"
抓取工具: "XCrawl Scrape"
清洗工具: "XCrawl Markdown + LLM 正文裁剪"
原始附件:
  []
AI优质: "否"
AI打分: 67
AI分档: "召回候选"
AI质检状态: "不通过"
AI打分理由: "CSDN博客二次整理华为/中兴/H3C白皮书，深度拆解大模型并行通信与超节点网络分层架构，技术细节扎实且高度契合主题。但属二手技术综述，缺乏具体硬件规格、量产交付及商业落地信号，来源权威性一般。"
AI质检模型: "qwen3.6-plus"
AI质检时间: "2026-06-02T23:07:36+08:00"
AI主题相关性: 18
AI来源权威性: 8
AI新颖性: 14
AI技术细节: 16
AI商业部署信号: 2
AI完整性: 9
采集批次: "2026年6月2日8点30分13秒"
采集批次ID: "20260602-083013-472"
去重键: "https://blog.csdn.net/Tassel_YUE/article/details/161286563"
---

# 超节点技术深度篇三：大模型并行通信拆解：DP、TP、PP、EP、CP 到底在网络里发生了什么

> 本文基于以下三份报告进行汇总、解释和二次整理：
> * 华为《超节点发展报告》
> * 中兴《超节点技术白皮书》
> * H3C《超节点技术白皮书》

#### 目录

* 本文你会看懂什么
* 先解释
* 关键术语先解释
* 报告中的技术表述
* 先看训练通信为什么会失控
* 一、先把训练通信分成三类
* 二、DP：All-Reduce 不是只看总带宽
* 三、TP：层内通信更像关键路径
* 四、PP：气泡来自计算不均和链路不均
* 五、EP：All-to-All 是 MoE 的网络核心
* 六、CP/SP：长序列把通信和缓存绑在一起
* 七、网络分层：Scale-Up、Scale-Out、Frontend
* 八、通信仿真：不是为了预测绝对值，而是找瓶颈
* 九、工程调度清单
* 十、总结
* 核心术语表

### 本文你会看懂什么

* 把 `DP`、`TP`、`PP`、`EP`、`CP` 映射成具体通信原语，而不是停留在并行概念。
* 为什么同一个训练任务里，不同通信流应该落到不同网络层：Scale-Up、Scale-Out、Frontend。
* 训练平台做拓扑感知调度时，应该看哪些通信路径和性能指标。

这篇文章从训练系统视角拆通信路径。

### 先解释

`大模型并行通信` 的意思是：当一个模型、一个 batch 或一段上下文被拆到多张 GPU/NPU 上执行时，这些设备之间 **为了保持计算结果一致、传递中间状态、同步参数或交换 token 而产生的数据流** 。

它要解决的不是“怎么把网线插得更快”，而是一个更具体的问题：模型被拆开之后， **哪些数据必须在设备之间移动** ，移动发生在训练 step 的哪个位置，能不能和计算重叠，以及它对拓扑、带宽和时延有多敏感。

可以先用下面这张表建立直觉。

并行方式| 可以先这样理解| 最典型的通信压力
---|---|---
DP| 多份模型副本各算一批数据| 梯度同步、All-Reduce
TP| 把一层里的矩阵计算切到多张卡| 层内高频同步、低时延通信
PP| 把模型层切成多个阶段| 阶段间激活值和梯度传递
EP| 把不同专家放到不同设备| token 分发、All-to-All
CP/SP| 把长序列或上下文维度切开| Attention 相关状态交换

所以本文讨论的“并行通信”，不是单一网络流量，而是一组由模型切分方式决定的通信模式。超节点的价值，也要放到这些通信模式里看。

### 关键术语先解释

术语| 技术含义| 报告中的使用方式
---|---|---
`DP`| Data Parallelism，数据并行。多张卡各自处理不同数据样本，再同步梯度或参数状态。| 华为报告第 11 页把 DP 列入训练并行维度，用于解释总卡数和通信量增长。
`TP`| Tensor Parallelism，张量并行。把单层里的矩阵或张量维度切到多张卡。| H3C 术语表将 TP 解释为把模型张量维度拆分到不同设备并行执行。
`PP`| Pipeline Parallelism，流水线并行。把模型层切成多个 stage。| 中兴报告将 PP 归为 Scale-Out 更适合承载的相对低性能要求流量。
`EP`| Expert Parallelism，专家并行。把 MoE 中不同专家放到不同设备。| H3C 术语表说明 EP 常用于 MoE，把不同专家分配到不同计算节点。
`CP/SP`| 上下文并行/序列并行。面向长序列，把上下文或序列维度切分。| 华为报告将 CP 与 TP、PP、DP 一起列入训练并行组合。
`All-Reduce`| 多设备先归约再把结果分发给所有设备，常用于梯度同步。| H3C 报告通信原语章节把 All-Reduce 作为分布式训练全局梯度同步原语。
`All-to-All`| 多设备之间互相交换不同数据，常用于 MoE 专家分发。| H3C 报告将 All-to-All 标注为 MoE 数据分发的典型通信原语。
`HBD`| High-Bandwidth Domain，高带宽域。| 中兴报告将 Scale-Up 网络承载 TP/EP 的通信区域定义为 HBD。
`MFU`| Model FLOPs Utilization，模型有效算力利用率。| H3C 报告把 MFU 作为衡量大规模训练通信效率的重要指标。

### 报告中的技术表述

这一篇主要依赖三条报告表述来建立分析框架：

来源| 技术表述| 本文如何使用
---|---|---
`华为报告`第 11 页| 训练集群总卡数由 DP、TP、PP、CP 等并行维度相乘而来，扩展并行维度会放大跨节点通信。| 用来解释通信量为什么会随模型和并行策略放大。
`华为报告`第 18 页| 传统八卡服务器受 PCIe 带宽与拓扑限制，TP/CP/EP 等并行域容易被限制在单机内；64 卡 EP 并行会遇到跨机通信瓶颈。| 用来解释为什么超节点要扩大 Scale-Up/HBD。
`中兴报告`第 23-25 页| Scale-Up 网络承载 TP、EP 等高性能通信流量，Scale-Out 网络承载 DP、PP 等相对低性能要求流量。| 用来建立后文“通信分层”的主线。
`H3C 报告`网络分层章节| Type 3 Scale-Up 网络承载 TP/EP 流量，Type 2 Scale-Out 网络负责跨 HBD 集群扩展。| 用来补充工程组网和调度视角。

一个`训练 step` 里，GPU/NPU 不是只做`矩阵乘法`，还会持续发生`参数同步`、`中间结果交换`、`激活值传递`、`专家分发`、`序列切分通信`。超节点的价值，要从这些通信的`频率`、`数据量`、`同步强度`和`拓扑敏感度`中看。

`华为报告`给出了不同并行模式下的通信特征表。

图源：华为《超节点发展报告》第 11 页，表 1。

这张表建议重点看三列信息：第一是 **通信发生在哪个并行维度** ，第二是 **通信是不是高频同步** ，第三是 **通信是否容易跨出单机边界** 。对于网络设计来说，最敏感的不是“总数据量最大”的流，而是那些发生频率高、同步要求强、难以被计算掩盖的流。

### 先看训练通信为什么会失控

`华为报告`第 11 页给了一个很适合放进技术分享的判断：训练集群总卡数通常是 `DP`、`TP`、`PP`、`CP` 等并行维度的乘积。固定全局 batch size 时，单纯增加 DP 会让每卡 micro-batch 变小，计算效率下降；继续扩大 TP、PP、CP，又会把更多通信推到跨节点路径上。

报告还用 GPT-3 到 GPT-4 的扩展做了量级对比：参数规模增加 10.8 倍时，总集合通信增加 34.1 倍，跨节点 RDMA 和光电转换增加 49.3 倍。这个数字说明，模型变大后，通信增长不是“跟着参数线性变大”那么简单，而是会被并行切分方式进一步放大。

`华为报告`第 18 页则给出另一个关键现象：传统八卡服务器受 PCIe 带宽和拓扑限制，`TP/CP/EP` 等并行维度容易被限制在单机内；而 DeepSeek V3、Qwen3 等 MoE 模型使用 64 卡 EP 并行时，传统跨机通信会成为瓶颈。

图源：华为《超节点发展报告》第 18 页。用途：说明更大的 Scale-Up 域如何支撑 TP、CP、EP 等并行策略扩展。

这张图的技术含义是：当并行域从单机八卡扩大到更大的高带宽域时，模型切分策略会多出新的搜索空间。TP、CP、EP 不再天然受限于单机拓扑，但前提是域内带宽、时延和拥塞控制能够支撑这些通信进入关键路径。

`中兴报告`把这个问题映射到网络分层：`Scale-Up` 网络承载 TP、EP 等高性能通信流量，`Scale-Out` 网络承载 DP、PP 等相对低性能要求流量。随着模型规模增长，TP/EP 规模扩大，对 HBD 的需求也会提高，但收益存在边际效应。

TP、EP 这类对低时延和高带宽更敏感的流量，被放进 Scale-Up/HBD；DP、PP 这类更适合分层扩展的流量，可以更多交给 Scale-Out。后面的调度策略，本质就是把并行组放到合适的通信域内。

### 一、先把训练通信分成三类

从网络设计角度，不建议先按 DP/TP/PP 分类，而应先按通信特征分类。

通信类型| 典型来源| 网络敏感点| 放置倾向
---|---|---|---
强同步高频通信| TP、EP、部分 CP/SP| 时延、抖动、拓扑跳数| Scale-Up/HBD
大流量同步通信| DP、ZeRO 类梯度/状态同步| 带宽、拥塞、重叠能力| Scale-Out 或跨 HBD
阶段传递通信| PP、Prefill/Decode 切分| 相邻阶段路径、气泡| 近拓扑放置

这个分类更接近工程判断。

如果某类通信在每层都发生，它对时延敏感；如果只在 step 边界发生，它更可能被带宽和重叠能力支配；如果通信在阶段之间发生，拓扑距离会影响流水线气泡。

### 二、DP：All-Reduce 不是只看总带宽

`DP` 的典型通信是梯度 `All-Reduce`。

从通信库角度看，All-Reduce 可以用 Ring、Tree、Hierarchical 等算法实现。不同算法对拓扑的要求不同。

算法思路| 特点| 适用关注点
---|---|---
Ring| 带宽利用率高，路径规则| 大消息、链路稳定
Tree| 步数少，聚合结构清晰| 较低时延和层级拓扑
Hierarchical| 先域内归约，再跨域归约| 超节点/多 HBD 场景

DP 可以跨超节点扩展，但跨域 All-Reduce 不能无脑放大。需要关注：
* 梯度桶大小。
* 通信与反向计算是否重叠。
* 跨 HBD 链路是否成为瓶颈。
* 是否做分层 All-Reduce。
* Scale-Out 网络是否承载了过多其他流量。

所以 DP 不一定最依赖 Scale-Up，但非常依赖稳定的 Scale-Out 和通信库分层策略。

### 三、TP：层内通信更像关键路径

`TP` 把单层张量计算切到多张卡上。

它最麻烦的地方不是数据量一定最大，而是通信进入了层内关键路径。一次 forward/backward 里，每层都可能发生张量切片之间的同步。

TP 典型通信包括：
* Column/Row Parallel Linear 后的结果聚合。
* Attention/MLP 切分后的中间结果同步。
* 小粒度但高频的 P2P 或集合通信。

这类通信有两个工程特征：
1. 等待时间很难被完全隐藏。
2. 对 P2P 时延和拓扑跳数非常敏感。

这就是中兴报告强调 HBD 承载 TP、EP 等高性能通信流量的原因。

如果 TP 组跨越普通 Scale-Out 网络，即使平均带宽够，尾时延也会进入每一层计算路径。

### 四、PP：气泡来自计算不均和链路不均

`PP` 把模型层切成多个阶段。它的主要问题是流水线气泡。

气泡来源不只是一段算得慢，也可能是一段传得慢。

PP 通信路径主要是：
1. 前向阶段传递激活值。
2. 反向阶段传递梯度。
3. micro-batch 在不同 stage 间排队。

工程上需要关注：
* stage 计算量是否均衡。
* 相邻 stage 是否在拓扑上足够近。
* 激活值大小是否导致链路压力。
* micro-batch 数量是否足够填满流水线。

PP 不一定要求所有 stage 都在同一个 HBD 内，但相邻阶段不应被调度到高时延路径上。

### 五、EP：All-to-All 是 MoE 的网络核心

`EP` 来自专家并行，通常和 `MoE` 绑定。

它的典型路径是：
1. Router 计算 token 到专家的映射。
2. Dispatch 阶段把 token 发送到专家所在设备。
3. 专家计算。
4. Combine 阶段把结果聚合回来。

这里的核心通信是 `All-to-All`。

All-to-All 与 All-Reduce 最大的差异是流量分布不可预测。热门专家、batch 形态、路由策略都会改变流量热点。

因此 EP 需要关注：
* 专家是否按拓扑放置。
* Dispatch/Combine 是否跨 HBD。
* All-to-All 是否产生局部热点。
* 通信库是否有拓扑感知。
* 是否有在网计算能力支持 Multicast/Reduce/Combine。

MoE 会在下一篇单独展开，这里先记住一个判断：EP 是最能暴露超节点通信组织能力的并行方式之一。

### 六、CP/SP：长序列把通信和缓存绑在一起

`CP` 和 `SP` 的背景是长上下文。

当序列长度很长，单卡放不下完整上下文相关状态，就需要把序列维度切开。这样会产生跨序列块通信。

这类通信的特点是：
* 和 Attention 访问模式绑定。
* 和激活值、KV Cache、内存层级绑定。
* 对计算和内存访问同时敏感。

所以 CP/SP 不只是网络问题，也会把统一内存、CXL、KV Cache 池化拉进来。

### 七、网络分层：Scale-Up、Scale-Out、Frontend

`中兴报告`的 Scale-Up/Scale-Out 融合图，非常适合解释为什么 AI 集群不是一张网解决所有问题。

图源：中兴《超节点技术白皮书》第 25 页，图 2-3。

从训练通信映射看，可以得到一个实用规则：

网络层| 适合承载| 不适合承载
---|---|---
Scale-Up| TP、EP、P2P、高频集合通信| 大范围低频扩展流量
Scale-Out| DP、跨 HBD 扩展、跨超节点 PP| 层内高频同步通信
Frontend| 管理、存储、业务访问| 训练关键路径通信

`华为报告`中的通信范式演变图，说明基础计算单元正在从单服务器走向超节点。

图源：华为《超节点发展报告》第 13 页，图 3.1。

`H3C 报告`中的 Scale up 拓扑和 GPU 拓扑，则对应调度器需要感知的物理结构。

图源：H3C《超节点技术白皮书》第 235 页，图 155。

图源：H3C《超节点技术白皮书》第 242 页，图 160。

如果训练平台无法读取和使用这些拓扑信息，硬件上的高带宽域就很难被正确使用。

### 八、通信仿真：不是为了预测绝对值，而是找瓶颈

`中兴报告`中的算力仿真平台图，适合作为训练系统设计方法论。

图源：中兴《超节点技术白皮书》第 32 页，图 3-1。

仿真最有价值的不是预测精确训练时间，而是回答这些问题：
* TP 组跨域后 step time 增加多少？
* EP 的 All-to-All 热点在哪些链路？
* DP 分层归约是否降低跨域压力？
* PP stage 是否存在气泡？
* 扩大 HBD 后收益是否进入边际递减？
* 通信和计算能否重叠？

这类问题决定超节点规模、拓扑和并行策略，而不是单个硬件参数。

### 九、工程调度清单

训练平台调度大模型任务时，可以按下面方式做约束。

调度对象| 建议约束
---|---
TP group| 强约束在同一 HBD 或低跳数拓扑内
EP group| 优先同域，避免热门专家跨域
PP stage| 相邻 stage 尽量拓扑临近
DP group| 允许跨域，但需要分层归约策略
CP/SP group| 结合序列长度和 KV/激活内存放置
通信库| 根据拓扑选择 Ring/Tree/Hierarchical/All-to-All 实现

调度不是简单 bin packing。它需要把模型并行结构作为调度输入，而不是只看 GPU 数量。

### 十、总结

简单归纳：
* DP 关注大流量归约和分层通信。
* TP 关注层内高频低时延。
* PP 关注阶段通信和流水线气泡。
* EP 关注 All-to-All、热点和尾时延。
* CP/SP 关注长序列下通信、缓存和内存协同。

超节点的价值，就是让训练平台可以把这些通信放到合适的网络层里，而不是让所有流量都挤在同一张网络上。

### 核心术语表

术语| 含义
---|---
`DP`| 数据并行，典型通信是梯度 All-Reduce。
`TP`| 张量并行，层内通信高频，对低时延敏感。
`PP`| 流水线并行，关注阶段间激活值/梯度传递和气泡。
`EP`| 专家并行，MoE 中专家跨设备放置后产生 All-to-All。
`CP`| 上下文并行，面向长序列切分上下文相关计算。
`All-Reduce`| 多设备归约并广播结果，常见于梯度同步。
`All-to-All`| 多设备互发不同数据，常见于专家分发和聚合。
`拓扑感知调度`| 根据物理互联关系放置并行组，减少跨慢路径通信。