---
格式版本: 2
标题: "Agent要数量也要脑子！浪潮信息一边单柜养4万Agent，一边让大模型组队答题 - 智源社区"
原文链接: "https://hub.baai.ac.cn/view/56338"
发布日期: "2026-07-14"
发布时间校准状态: "found"
发布时间需复核: "否"
发布时间来源: "rule:scrape:strict_html_body"
发布时间证据: "span class=author-label-text: 量子位 2026-07-14 23:40 分享"
发布时间校准原因: "规则确认唯一严格发布时间，来源 scrape:strict_html_body"
发布时间校准置信度: "high"
发布时间候选数量: 9
发布时间严格候选数量: 2
发布时间原页读取状态: "source template page reused from URL open"
发布时间未找到原因: ""
发布时间校准时间: "2026-08-09T15:30:08+08:00"
发布时间仲裁状态: "skipped"
发布时间仲裁尝试次数: 0
发布时间仲裁耗时毫秒: 0
发现时间: "2026-08-09T15:26:41+08:00"
入库时间: "2026-08-09T07:30:09.137Z"
来源平台: "智源社区搜索"
搜索渠道: "source_template"
搜索词: "https://hub.baai.ac.cn/search?q=%E5%86%B7%E6%9D%BF%E5%BC%8F"
匹配关键词:
  - "GPU"
  - "冷板式"
  - "超节点"
  - "光"
  - "液冷"
  - "AI服务器"
  - "整机柜"
  - "内存"
  - "计算"
  - "部署"
  - "带宽"
相关厂家:
  - "浪潮"
相关专家:
  - "赵帅"
内容类型: "网页"
抓取工具: "Direct URL Open"
清洗工具: "Defuddle Markdown + Defuddle/Readability 正文提取"
原始附件:
  []
AI优质: "是"
AI打分: 84
AI分档: "高置信优质"
AI质检状态: "通过"
AI打分理由: "直接讨论浪潮超节点AI服务器（SD200）及CPU原生液冷整机柜，技术细节丰富（384CPU、4.77ms延迟、多Token预测等），来源为专业媒体，2026年最新发布，商业信号中等。"
AI质检模型: "deepseek-v4-flash"
AI质检时间: "2026-08-09T21:41:53+08:00"
AI主题相关性: 18
AI来源权威性: 12
AI新颖性: 18
AI技术细节: 17
AI商业部署信号: 10
AI完整性: 9
采集批次: "2026年8月9日8点13分13秒"
采集批次ID: "20260809-081313-600"
去重键: "https://hub.baai.ac.cn/view/56338"
---

##### 克雷西 发自 凹非寺量子位 | 公众号 QbitAI

AI基础设施的核心任务，已经从支撑大模型推理，转向支撑海量智能体的规模化运行与高质量Token的持续生产。

据IDC数据，2025年中国AI Agent企业级市场规模约190亿元，预计2025至2028年复合增长率超过110%。Gartner的判断更直接，2026年将有40%的企业应用集成任务型AI Agent。

大模型推理阶段，AI基础设施只需要支撑一次输入一次输出。

进入Agent阶段，基础设施要支撑的是任务拆解、工具调用、多轮协作和持续运行，这对算力提出了完全不同的要求。

这背后其实是两个方向的能力缺口，一个是海量Agent能不能规模化、稳定地运行起来，另一个是多个模型能不能协同工作，让Agent变得更聪明。

浪潮信息在2026开放计算大会上，针对这两个缺口分别给出了新的产品方案。

## Agent对基础设施提出新要求

Agent时代，人们对AI基础设施也有了新的要求。

过去企业部署AI，大多是接入一两个模型，处理相对独立的任务，调用一次、返回一次，事情就结束了。

Agent不是这样。

一个Agent应用要先把任务拆开，再一步步调用工具、来回协作，背后同时运转的可能是一整群Sub-Agent。

![](https://simg.baai.ac.cn/hub-detail/ed4a2d67bc0a56e96bcc9dc0b6e8ae4b1784043619895.webp)

部署到企业之后，Agent的数量更是可能高达成千上万。

怎么让这么大规模的Agent群体稳定协同地跑起来，就成了一个绕不开的新问题。

除了Agent数量在增多，单一模型这边的压力也在增加。

有的模型擅长逻辑推理，有的擅长写文本，这种能力上的偏科没法靠堆参数量解决。

但实际任务又变得越来越复杂，很难指望一个模型什么都会。

所以，怎么让多个模型分工协作、互相补台，成了另一个必须解决的问题。

这两件事要真正落地，都必须有底层算力基础设施打头阵。

新需求来临之后，基础设施的第一个变化，就是CPU变得更重要，戏份也更多了。

以前的问答模式下，大模型推理是一次输入一次输出，更多依靠GPU运行。

但Agent不一样，它要做任务拆解、调用工具、多轮协作、汇总结果，这些整型运算和逻辑推理，运行在CPU之上。

而且Agent不是跑一次就“下班”，很多Agent必须常年在线，运行时间被大幅拉长。

所以在AI Infra行业里，算力配比也在发生变化，从过去以GPU为中心，走向多元算力系统协同。

CPU的重要性上来之后，紧接着要面对的是功率密度问题。

浪潮信息副总经理赵帅介绍，国内的AI机柜功率今年内就要冲到300千瓦，全球部分机柜已经进入兆瓦级。

如果CPU侧还停留在单柜几千瓦的密度，根本没法匹配数据中心全新的电力基础设施。

随着机柜功率不断攀升，散热就成了问题，传统风冷单机柜散热40到50千瓦的上限早就撑不住了，液冷方案成了必选项。

## 单柜运行4万+Agent

为了实现Agent的规模化运行，浪潮信息发布了业界首款CPU原生液冷整机柜服务器。

这台服务器单柜最大可支持384颗基于开放OCM（开放计算模组）架构的CPU处理器，兼容x86和ARM，可以支撑4万+个Agent协同运行。

![img](https://simg.baai.ac.cn/hub-detail/0b17f9f9ff275828cc8351aaec72918c1784043619895.webp)

###### △浪潮信息副总经理 赵帅

这个规模是浪潮信息今年4月发布的“企千虾”方案的40倍。

企千虾当时是用单台2U服务器部署1000个OpenClaw，这一次，浪潮信息直接把Agent塞满了一整个机柜。

而且该机柜采用的OCM架构。能够兼容不同代际、不同架构的处理器，不用为每一代新芯片重新设计整套系统，研发周期因此被大幅压缩。

要在一个机柜里塞进384颗CPU，散热是绕不开的坎。

浪潮信息提出了一种全新的散热理念：原生液冷。

这一想法完全颠覆传统风液混合的散热逻辑，以前的冷板液冷服务器设计是给计算部件贴散热冷板，其他内存、网卡、硬盘还是要再研究怎么通过风扇把产生的热量散出去。

![img](https://simg.baai.ac.cn/hub-detail/ccbcb74fadd625e1026c3923050060841784043619895.webp)

这一次思路完全颠覆，计算和散热协同设计，突破传统液冷仅覆盖CPU的局限，对内存、网卡、光模块、SSD等所有发热部件一并纳入液冷散热体系，重构整个算力系统。

浪潮信息的具体做法是把算力单元做成2U超薄形态，一个节点塞进16颗CPU，同时把内存、网卡、光模块这些原本靠风扇和线缆维持散热与连接的部件，直接平铺在主板上，用一整块冷板统一承接散热，连服务器托架也省了。

这样，原来被风扇、冷管、线缆占用的空间，都被腾出来留给计算和IO资源，整机柜也因此做到了无线缆设计，支持热维护，保障业务零中断，整机柜运维效率提升100%以上。

## 多个大模型，协同完成一次任务

为了让Agent变得更聪明，浪潮信息还在元脑企智EPAI平台上线了多模融合API，并同步发布了元脑SD200超节点AI服务器企业版。

多模融合做的事情，是把同一个任务同时甩给多个候选模型，让它们各自独立生成答案，再由一个评审融合模型出面，比较这些答案里的共识、分歧、遗漏和独特观点，最终拼出一个统一的输出。

这套流程也不是所有任务都要走一遍，简单问答、工具调用、格式转换这类短任务，系统会直接路由给更轻量的单模型处理。

只有复杂的长链路任务，系统才会调度多个候选模型协同处理，避免小题大做。

这套机制在DRACO测试里取得了53.9%的成绩，高于同一测试候选池里任何一个单模型的表现。

目前这项能力可以多模融合API的形式对外开放，既可以像普通模型服务一样直接接入应用，也可以配置到智能体和开发框架里，沿用原有的对话、推理和工具调用流程。

不过问题也随之而来，多个大模型同时参与一次任务，无疑对底层算力提出了更高的要求，既要一次装得下多个万亿参数模型，又不能牺牲输出速度。

这正是元脑SD200超节点要扛住的部分。

元脑SD200超节点去年发布时，已经能同时部署4个万亿参数大模型，token生成时间做到8.9毫秒，是国内首个突破10毫秒大关的产品。

今年，这个数字进一步压到4.77毫秒，是国内首个跑进5毫秒的方案，首Token延迟也降低了35%。

![img](https://simg.baai.ac.cn/hub-detail/e258a7850c98bc6db83f3c70e29144ed1784043619895.webp)

这些提升背后是多Token预测、W4A8精度方案和JIT即时编译这类软硬协同优化在起作用。

- 多Token预测让解码阶段一次生成多个候选token再校验，减少了逐字生成的轮次；
- W4A8把万亿参数模型里MoE模块的计算精度从BF16降到INT8，降低了访存带宽压力；
- JIT则会在运行时根据张量形状动态生成专用的GPU内核，让算力更贴近硬件的特性。

目前，元脑SD200超节点已经完成了对Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流开源模型的适配。

不过，这套架构的门槛，对不少中小企业来说依然偏高。

因此，浪潮信息还推出了元脑SD200超节点企业版，可以理解成是小号的元脑SD200。

![img](https://simg.baai.ac.cn/hub-detail/3c94e0de7768fefc19aced469fa9eb131784043619895.webp)

它把Scale Up计算域从64卡减少到16卡，万亿参数模型的首token延迟降低40%以上，给企业提供了更低迁移和适配成本的选择。

这样，原本只能部署千亿模型做辅助的企业，现在也能把万亿模型真正用进生产环境。

## Agent基础设施，竞争已经生变

如今，CPU、GPU和软件平台这三者的分工，正在变得更紧密。

其中，软件平台负责模型接入、任务编排、资源调度、权限治理和结果融合，CPU承载Agent实例、工具调用、沙箱运行和业务系统交互，GPU负责模型推理与Token生成。

三者协同，才能支撑海量Agent稳定运行和复杂任务高效执行。

这条链路里，任何一环掉队，整个Agent应用都跑不顺畅。

这也让Agent时代基础设施的竞争重点发生了变化。

过去比的是谁对单一模型的支持能力更强，现在比的是谁系统级协同能力谁做得更好。

单点强已经不够，整条链路跑不跑得顺、协不协同才是关键。

这正是浪潮信息这次想在Agent基础设施上给出的答案。

**一键三连** **「点赞」「转发」「小心心」**

**欢迎在评论区留下你的想法！**

— **完** —

**🌟 点亮星标 🌟**

**科技前沿进展每日见**

内容中包含的图片若涉及版权问题，请及时与我们联系删除