--- 格式版本: 2 标题: "ODCC KV Cache测试结果 | AI推理十倍加速，大普微SSD双模式释放存力优势" 原文链接: "http://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw==&mid=2654717221&idx=6&sn=0f23fb502e752bfcf83c5589b96e5644&chksm=85f0b99e3c889bb3dea3409508c88c9b7ae5be8932310c62f4185c77c714638a714a3813a44a&scene=126&sessionid=0#rd" 发布日期: "2026-07-12" 发布时间校准状态: "found" 发布时间需复核: "否" 发布时间来源: "llm:local:wechat_script_publish_field" 发布时间证据: "create_time: 2026-07-12" 发布时间校准原因: "该候选日期来自微信文章发布字段，且与标题语境相符，无矛盾证据。" 发布时间校准置信度: "1" 发布时间候选数量: 1 发布时间严格候选数量: 0 发布时间原页读取状态: "原页面已读取" 发布时间未找到原因: "" 发布时间校准时间: "2026-07-26T02:18:11+08:00" 发布时间仲裁状态: "confirmed" 发布时间仲裁尝试次数: 1 发布时间仲裁耗时毫秒: 3252 发现时间: "2026-07-26T02:13:46+08:00" 入库时间: "2026-07-25T18:18:14.897Z" 来源平台: "次幂公众号" 搜索渠道: "cimidata_wechat" 搜索词: "ODCC发布" 匹配关键词: - "超节点" - "GPU" - "Scale-up" - "HBM" - "UALink" - "计算" - "部署" - "性能" - "时延" - "吞吐" 相关厂家: - "NVIDIA" - "腾讯" - "浪潮" 相关专家: [] 内容类型: "公众号" 抓取工具: "次幂公众号详情" 清洗工具: "次幂 HTML 转 Markdown + Defuddle/Readability 正文提取" 原始附件: [] AI优质: "否" AI打分: 43 AI分档: "非优质" AI质检状态: "不通过" AI打分理由: "正文为ODCC KV Cache存储测试，聚焦SSD性能，未涉及超节点/AI Rack/机柜级系统、高速互连、供电、液冷等核心主题，属于存储边缘内容，与项目关注范围相关性弱。" AI质检模型: "deepseek-v4-flash" AI质检时间: "2026-07-27T11:11:10+08:00" AI主题相关性: 5 AI来源权威性: 8 AI新颖性: 12 AI技术细节: 10 AI商业部署信号: 0 AI完整性: 8 采集批次: "2026年7月25日22点32分16秒" 采集批次ID: "20260725-223216-273" 去重键: "http://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw%3D%3D&idx=6&mid=2654717221&sn=0f23fb502e752bfcf83c5589b96e5644" --- 近日，ODCC AI存储实验室基于NVIDIA计算与网络平台，针对XSKY星辰天合存储系统、大普微SSD硬件，完成了面向多形态部署、多模型架构、多存储策略的第二期KV Cache存储系统全面评测。本次测试旨在系统验证KV Cache存储方案的技术与场景适配能力，推动AI推理场景下的存储架构技术演进。本次测试的硬盘侧采用了大普微的嵘神6（Roealsen6）系列中的R6101型号产品。 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_png/q76SxfS4lFNY3M1kMK41GHtMKGmFERVsuoV6V1y8HcA3aah8DCEuODK8S1GvchkpcNOya2644iatApOFHESbrbpcPTO9tibb8zUvgf3omvORc/640?wx_fmt=png&from=appmsg) 一、测试环境：单双端口盘齐上阵，双形态部署全面覆盖 在此次KV Cache测试中，大普微嵘神6系列硬盘R6101承担了存储集群的构建任务。作为大普微面向 AI 场景打造的企业级 SSD 产品， R6101支持PCIe Gen5.0×4接口，NVMe2.0协议，为KV Cache的高吞吐、低延迟存取提供了坚实的硬件基础。 本次测试的存储集群涵盖两种硬件平台：传统x86存储服务器与全闪存存储服务器（JBOF）。其中，三台x86存储服务器每台使用16块大普微R6101 SSD，组成本次测试的方案A（HBM GPU服务器+传统x86存储服务器），服务于GPU节点的KV Cache卸载。一台基于BlueField-3 DPU的JBOF，搭载24块大普微R6101双端口SSD，组成本次测试的方案B（HBM/GDDR GPU服务器+JBOF）。[（](https://mp.weixin.qq.com/s?__biz=MzkzMDMwNzY2NA==&mid=2247504135&idx=2&sn=0d61a8de91ed73f123c766558e32079c&scene=21#wechat_redirect)[方案A、B详情请参见星辰天合测试结果公布](https://mp.weixin.qq.com/s?__biz=MzkzMDMwNzY2NA==&mid=2247504135&idx=2&sn=0d61a8de91ed73f123c766558e32079c&scene=21#wechat_redirect)[）](https://mp.weixin.qq.com/s?__biz=MzkzMDMwNzY2NA==&mid=2247504135&idx=2&sn=0d61a8de91ed73f123c766558e32079c&scene=21#wechat_redirect) ![图片](https://mmecoa.qpic.cn/mmecoa_png/q76SxfS4lFMMSGU6ZCPbSENq436Pb5M4ntSpSt0NnHekZibthBn2hhm2f1IEEDffZbUujqPp0I3AticCVfgfqu6ibGCmVp8gsQbGtKywLPFfDA/640?wx_fmt=png&from=appmsg) 测试架构图 在B方案的JBOF硬件平台中，双端口R6101 SSD采用分离模式部署：SSD的4条PCIe通道一分为二，两个DPU各自获得2条通道并访问独立namespace。每个DPU使用独立的存储空间，无需处理访问冲突，在保证数据隔离的同时实现高可用。 ![图片](https://mmecoa.qpic.cn/mmecoa_png/q76SxfS4lFP9zv2BEPlayQCJEFf9Kd9HRlzV4gr86lz6Z0ZM2qNudZUhSicFox37RLgwBUDibyiaFhFErvtT2xY5EVBzGLHJTxeKuq6GxFEuZU/640?wx_fmt=png&from=appmsg) 双端口SSD架构图 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_png/q76SxfS4lFPmic2fHibGmZdxMdtFG0MDRsiaaJrlAK4aU98T0mFOGh3vEm8wfysUyy4rh518HdXyJm1Vhv4A2qsLQicaWfIGUia6F2CwvICXEsiaQ/640?wx_fmt=png&from=appmsg) 硬盘实物图 ![图片](https://mmecoa.qpic.cn/mmecoa_png/q76SxfS4lFNyl32aUNIJFHAGka2wISAyepZAvl9UzExibEuhbkbUgDQia3JSEH623eFtIuaACxACeiccHiax9h0eVVGZEdk7oiamkFCcKayQqmn0/640?wx_fmt=png&from=appmsg) 二、测试表现：多维度测试R6101在KV Cache场景下的硬核实力 本次KV Cache测试中，大普微R6101在多个维度展现出显著优势，以下是硬盘侧的核心测试发现： 1、传统x86方案：KV Cache卸载性能实现数量级提升 在方案A中，R6101部署在3节点的传统x86存储集群中。可以看到，在短上下文低并发的Prefill-Only测试中，即2K个输入token，16个并发数，1个输出token的测试中，时延和吞吐量都有10倍以上的提升。随着上下文长度以及并发用户数增加，收益也逐渐提升。最高时延和吞吐量收益达到32倍。 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_png/q76SxfS4lFOZFFKQfFJeicCIW4nDUrJz1oMLjpFr6x98ibEk7eHWSIb8lZYsjuRU1DttZzqkGl8ujrBx5LdibvvAEIS08hvME0hjBZNjw7IzwA/640?wx_fmt=png&from=appmsg) 在Prefill-Decode测试中，虽然Decode阶段推理系统需要承担输出token的计算工作量，导致总性能下降。但是在部署R6101的外部存储系统的情况下，推理系统的时延最高能提升22倍，吞吐量一半场景提升5倍以上。 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_png/q76SxfS4lFMlfoNq1KfzJq3y6mxfRdNj4yzFdveGPdnibEzUL0pF65kNCbXH0zwbLSvhq8eamzJyY05Ih4ILiaTygr8P2cD7hANJEOuSQSFDM/640?wx_fmt=png&from=appmsg) 这一结果充分证明，大普微R6101 SSD作为KV Cache卸载的存储底座，能够将GPU显存从KV Cache的容量束缚中解放出来，让推理系统在长上下文、高并发场景下依然保持高效的响应能力。 2、双端口JBOF方案：性能媲美x86集群，密度与时延优势显著 作为创新的硬件平台，JBOF在测试中的结果接近于标准x86传统3节点存储服务器。基于BlueField-3 DPU的JBOF存储方案，单节点部署的网络和存储容量密度显著大于普通服务器，配合GPU直通技术可以降低端到端时延，这些潜在优势使JBOF搭配双端口SSD成为未来可选的另一种硬件平台。 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_png/q76SxfS4lFOkajxq62V8OLMa4wQgRAopibIddsicxzjNxY9R199gYvkyunP7htjaAmWeRA6WbxPGdawTdxq7HMpAbTyrrVYicrp9Hicr3ODtGRU/640?wx_fmt=png&from=appmsg) 在JBOF架构中，双端口设计允许两个DPU通过独立的PCIe链路同时访问同一块SSD，消除了单点故障风险。测试结果表明，这一架构在保证高性能的同时，为AI推理系统提供了更高的可用性和部署灵活性。 3、系统优化：SSD内部实时记录IO Pattern 本次测试启用了大普微SSD的IO Pattern实时抓取功能，在测试过程中记录了SSD端的IO行为特征。能够看到数据分为小块元数据和大块用户数据2种典型类别，4K随机写和128K块大小的读写操作占主要比例。 ![图片](https://mmecoa.qpic.cn/mmecoa_png/q76SxfS4lFM8MFzWOt1TT0UnFPSomMSBdBrBfy2MSGibVsFGibWb8g15Qj8vErCeGUmf04zHj0ueBgxroARwLhibeKShKtg2orNvRX6DQMjxTU/640?wx_fmt=png&from=appmsg) 该功能让存储系统的性能优化从“黑盒”走向“白盒” 。通过实时抓取SSD内部的IO Pattern，可以精准识别KV Cache卸载场景下的IO访问规律，即小块元数据频繁随机写入、大块用户数据读写交替进行，从而为存储系统的参数调优、缓存策略设计提供数据支撑。 ![图片](https://mmecoa.qpic.cn/mmecoa_png/q76SxfS4lFOZJ6SDRBL3ZKfHicnp1Laiae6dPDfVa59lj8iah9BEdCkBmgiazbwB9Mmwx2Te8rYVTIgw0A3UkficFggKTFmxw5FYjc4vpmiaiaTG4g/640?wx_fmt=png&from=appmsg) 三、测试总结：核心能力测试，AI推理存储底座价值凸显 本次联合测试在ODCC AI存储实验室框架下验证了大普微 R6101 PCle Gen5.0 SSD在KV Cache卸载场景下的核心能力： - 高性能：显著提升Prefill阶段的时延和吞吐量指标10倍以上。 - 双端口：双端口SSD搭配JBOF设备，为KVCache存储提供新型硬件平台参考。 - IO行为可观测：IO Pattern抓取提供微观存储行为数据，为AI场景深度优化提供数据基础。 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_png/q76SxfS4lFPpXicH2tlou6rZInF7SZibQCUqA8rnDKu91eMzkV0ibrDgnTRvywgLIEqKCECBEFsz6WskP06Q9KEjkd5rqzAgAoQotuvWicHYEwA/640?wx_fmt=png&from=appmsg) 大普微R6101系列以自研核心技术，联合产业合作伙伴为AI推理的KV Cache提供了高效的存储解决方案。未来，大普微将持续深化与生态伙伴的合作，在JBOF等更复杂的推理架构中验证产品能力，助力企业在AI规模化落地浪潮中抢占先机。 ODCC AI存储实验室联系人 ![图片](https://mmecoa.qpic.cn/mmecoa_gif/q76SxfS4lFPYhXjHKwyeUiaibPkI7K4HA870LqdELUMjGpMk4zsiakZqGJgppWlArgAwz3tibhX18sKTE7dRbPKSibtoyqrUpvm0XVc7rPeDhs6A/640?wx_fmt=gif&from=appmsg) 段老师：16600265822 谢老师：18800199616 ODCC秘书处联系人 ![图片](https://mmecoa.qpic.cn/sz_mmecoa_gif/q76SxfS4lFNIRt5cYeA6zFDFpLm7Yqm25PRZkYibcQt0Z6dPMpXRPsfh4C33PBVOHBZWy32p4bnwQ3HoItjvt0y1PD4O8V4kY2TsM9tKrUNw/640?wx_fmt=gif&from=appmsg) 刘老师：13488889649 邮箱：liupengyun@caict.ac.cn ![图片](https://mmecoa.qpic.cn/sz_mmecoa_jpg/q76SxfS4lFNhRAvChycIp0QhQtlIFBmJADb0WQZWJgSVia9KF3KXKX7LHrm0gZlGVHNicmmiaT0weX340xbAIjticc1MxLxo6liaMa951ficfClRE/640?wx_fmt=jpeg&from=appmsg) ![图片](https://mmecoa.qpic.cn/mmecoa_jpg/q76SxfS4lFPaHaEC0w8ZBc2It0q8kznwQtfcjOl2qcB915bialSXOCJAzqB6EHUnCPorI9ga6z6ZHZicGe944ib6wqNW0Ge1rFbhc4CdvW4h8Q/640?wx_fmt=jpeg&from=appmsg) 往期回顾 [ODCC分享 | 中国电信杨明川：Agent产业和应用](https://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw==&mid=2654717055&idx=1&sn=7aba6eddcb858d328d8bdded9e97f08d&scene=21#wechat_redirect) [ODCC分享 | 腾讯陈炜：Agentic AI 时代云边协同重构算力新范式](https://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw==&mid=2654717055&idx=2&sn=21f016b2e548512f5061d19e225f2ebf&scene=21#wechat_redirect) [ODCC分享 | UALink联盟Kurtis：开放Scale-Up互连加速构建可部署AI超节点](https://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw==&mid=2654717055&idx=3&sn=dc648723bf22405f4f2f6fea94b95a20&scene=21#wechat_redirect) [ODCC分享 | 美团胡泽志：当Token“慌”遇上存储“荒”，重构AI时代的存储底座](https://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw==&mid=2654717055&idx=4&sn=f9c0a786255f25cc60d9a536c59763ea&scene=21#wechat_redirect) [上新！ODCC技术专家组@2026 ODCC夏季全会](https://mp.weixin.qq.com/s?__biz=MzA3Nzg1NDM4Mw==&mid=2654717055&idx=5&sn=9cb7f00f0c433044e9cd41f8715ad552&scene=21#wechat_redirect)