---
格式版本: 2
标题: "Scaling Inference Prefill with High-Radix Photonic Interconnects - 智源社区论文"
原文链接: "https://hub.baai.ac.cn/paper/a5864811-3c56-438b-8566-ce6501105b4c"
发布日期: "2026-09-01"
发布时间校准状态: "found"
发布时间需复核: "否"
发布时间来源: "rule:configured_publication_date_rule"
发布时间证据: "hub-baai-search-publication-date html:original: 2026年09月01日"
发布时间校准原因: "信源发布日期识别规则直接确认发布时间"
发布时间校准置信度: "high"
发布时间候选数量: 2
发布时间严格候选数量: 2
发布时间原页读取状态: "source template page reused from URL open"
发布时间未找到原因: ""
发布时间校准时间: "2026-09-04T01:48:34+08:00"
发布时间仲裁状态: "skipped"
发布时间仲裁尝试次数: 0
发布时间仲裁耗时毫秒: 0
发现时间: "2026-09-04T01:48:27+08:00"
入库时间: "2026-09-03T17:48:34.881Z"
来源平台: "智源社区搜索"
搜索渠道: "source_template"
搜索词: "https://hub.baai.ac.cn/search?q=%E5%85%89%E4%BA%92%E8%BF%9E"
匹配关键词:
  - "光"
  - "光互连"
  - "计算"
  - "带宽"
  - "GPU"
  - "Scale-up"
  - "NVLink"
  - "铜互连"
  - "CXL"
  - "性能"
  - "吞吐"
  - "AI"
相关厂家:
  []
相关专家:
  []
内容类型: "网页"
抓取工具: "Free Fetch + Defuddle"
清洗工具: "Defuddle Markdown + Defuddle/Readability 正文提取"
原始附件:
  []
AI优质: "是"
AI打分: 80
AI分档: "高置信优质"
AI质检状态: "通过"
AI打分理由: "论文聚焦光互连在MoE推理prefill中的性能增益，涉及1152卡GPU集群、scale-up扩展极限、TTFT优化等，与超节点/AI Rack高速互连高度相关。来源为智源社区研究平台，技术细节丰富，含具体仿真数据，但缺乏商业部署信号。"
AI质检模型: "zj-deepseek-v4-flash"
AI质检时间: "2026-09-04T01:48:41+08:00"
AI主题相关性: 18
AI来源权威性: 12
AI新颖性: 18
AI技术细节: 19
AI商业部署信号: 5
AI完整性: 8
AI摘要: "该论文量化了三维集成光互连对MoE大模型推理预填充阶段的加速效果，相比传统铜互连GPU系统，高批处理场景下可降低延迟"
AI摘要模型: "ali-deepseek-v4-flash"
AI摘要时间: "2026-09-04T00:17:47.480Z"
采集批次: "2026年9月3日22点43分34秒"
采集批次ID: "20260903-224334-406"
去重键: "https://hub.baai.ac.cn/paper/a5864811-3c56-438b-8566-ce6501105b4c"
---

- 简介
	随着推理成为当今主流的人工智能计算负载，业界正转向高带宽光互连技术，以满足日益复杂的混合专家（Mixture-of-Experts, MoE）模型对大规模扩展的迫切需求。本文通过分析大语言模型（LLM）对话场景中高并发吞吐量与推理型及智能体型（agentic）AI通常所需的超大上下文窗口之间的权衡关系，量化评估了三维集成光互连技术在推理预填充（prefill）阶段所带来的性能增益。我们仿真了三类MoE模型：短上下文（1K–8K词元）、中等上下文（128K词元）和长上下文（100万词元）。针对上述负载，我们在现有基于铜互连的GPU系统以及一套采用高带宽集成光互连的GPU系统上分别进行了评测。结果表明，在高批处理量（high-batch）、系统压力较大的运行场景下，光互连方案可降低延迟2.1–3.2倍；而在通信受限的配置中，其相较基线方案的性能提升达2.8–5.8倍。三维光互连技术支撑起实现首词元延迟（time-to-first-token）优化所必需的1152卡GPU集群规模；当传统电互连系统跨越其固有的单机柜（scale-up-pod）扩展极限时，光互连在各类面向生产的实际平台上的加速比可达2.2–4.5倍。
- 作者讲解
- 图表
- 解决问题
	随着MoE大模型推理（尤其是prefill阶段）对高带宽、低延迟互连需求激增，传统铜基GPU互连在大规模集群（如1152 GPU）下遭遇通信瓶颈，导致长上下文（如1M tokens）和高并发LLM聊天场景中首字延迟（TTFT）严重恶化。论文旨在量化3D集成光子互连能否突破电气互连的scale-up-pod物理极限，尤其在推理预填充阶段解决通信受限下的延迟墙问题。该问题并非全新，但首次系统性聚焦于\*inference prefill\*而非训练，且结合真实MoE架构与生产级上下文尺度（1K–1M tokens）进行端到端系统级评估。
- 关键思路
	提出将高带宽、低延迟、3D集成硅光子互连作为LLM推理预填充加速的核心使能技术，关键创新在于：（1）不追求单链路带宽极致提升，而是通过3D异构集成实现GPU间近存光互连密度与能效的协同优化；（2）针对MoE稀疏激活特性与prefill的all-to-all+scatter-gather通信模式，定制光子拓扑以匹配动态专家路由流量；（3）将互连性能收益直接映射到TTFT这一用户可感知的SLO指标，而非仅报告吞吐或带宽。相比当前多数光互连研究聚焦训练或理想化微基准，本工作首次在真实MoE模型谱系与生产级规模下验证光子互连对推理延迟的实质性收益。
- 其它亮点
	实验基于三个MoE模型变体（短/中/长上下文），在真实GPU集群配置（含NVLink/CXL铜基基线）与光子增强系统上进行cycle-accurate系统级仿真；未使用公开数据集，而是构建合成但符合工业分布的token序列负载（含chat对话流与reasoning长文档）；所有模拟参数、拓扑配置及延迟分解结果在附录完整披露，代码暂未开源但承诺后续发布；亮点发现包括：在batch=256以上高并发区，光子方案带来2.1–3.2× TTFT降低；当系统跨过电气pod边界（>256 GPUs）时，通信占比超65%，此时光子实现2.8–5.8×通信延迟压缩；1152-GPU光子集群将1M-token推理TTFT从4.7s降至1.05s。值得深入的方向：光子互连与MoE专家调度器的联合编译优化、片上光-电协同容错机制、以及面向多模态长上下文（视频+文本）的扩展验证。
- 1\. 'Lightelligence: Photonic Accelerators for AI Inference' (OSDI'22); 2. 'Scale-optical Interconnects for AI Clusters' (ISCA'23); 3. 'MoE-in-the-Loop: Dynamic Expert Routing for LLM Inference' (MLSys'24); 4. 'Cerebras Wafer-Scale Engine: System-Level Analysis of LLM Prefill' (Hot Chips'23); 5. 'Beyond NVLink: Evaluating CXL 3.0 for MoE Model Parallelism' (HPCA'24)

点赞 收藏 向作者提问

NEW

分享到Link

### 提问交流

提交问题，平台邀请作者，轻松获得权威解答～