--- 格式版本: 2 标题: "d-Matrix详解3D-DRAM AI芯片：单卡带宽超100TB/s，能效比HBM高10倍 - 智东西" 原文链接: "https://zhidx.com/p/590347.html" 发布日期: "2026-09-04" 发布时间校准状态: "found" 发布时间需复核: "否" 发布时间来源: "rule:configured_publication_date_rule" 发布时间证据: "gtic-search-publication-date html:original: 2026/09/04" 发布时间校准原因: "信源发布日期识别规则直接确认发布时间" 发布时间校准置信度: "high" 发布时间候选数量: 2 发布时间严格候选数量: 2 发布时间原页读取状态: "source template page reused from URL open" 发布时间未找到原因: "" 发布时间校准时间: "2026-09-06T21:40:01+08:00" 发布时间仲裁状态: "skipped" 发布时间仲裁尝试次数: 0 发布时间仲裁耗时毫秒: 0 发现时间: "2026-09-06T21:39:35+08:00" 入库时间: "2026-09-06T13:40:01.956Z" 来源平台: "GTIC 智猩猩/智东西 搜索" 搜索渠道: "source_template" 搜索词: "site:zhidx.com HBM" 匹配关键词: - "HBM" - "内存" - "带宽" - "AI" - "液冷" - "Vera Rubin" - "SRAM" - "计算" - "量产" - "部署" - "吞吐" 相关厂家: - "NVIDIA" - "AMD" 相关专家: [] 内容类型: "网页" 抓取工具: "Free Fetch + Defuddle" 清洗工具: "Defuddle Markdown + Defuddle/Readability 正文提取" 原始附件: [] AI摘要: "d-Matrix在Hot Chips 2026详解其Raptor 3D-DRAM AI推理芯片，采用台积电N4逻辑裸片与3D DRAM面对面堆叠，单卡32GB，带宽可超100TB/s，单位面积带宽及能效较HBM方案大幅领先。" AI摘要模型: "ali-deepseek-v4-flash" AI摘要时间: "2026-09-06T23:43:55.577Z" AI优质: "是" AI打分: 78 AI分档: "高置信优质" AI质检状态: "通过" AI打分理由: "正文主线是d-Matrix Raptor 3D-DRAM推理加速器及其机柜级扩展，属于AI机架关键芯片与内存架构。当前页为专业芯片媒体编译ServeTheHome对Hot Chips 2026内容的报道，非官方原文但事实链清楚。固定历史证据仅覆盖Rubin、HBM4等方案，未出现Raptor的面对面3D堆叠、Stream Blocking、Stream Flipping、Bank Chaining及高温刷新机制；本文新增100TB/s级带宽、2.96mW/GB/s、32GB单卡、72卡集群、1.37%刷新损耗等架构与测试数据。商业化仍缺少客户、出货或GA证据，但页面凭借完整的新架构和真实测试结果命中生产级深技术/新架构准入通道。" AI质检模型: "gpt-5.6-sol" AI质检时间: "2026-09-07T17:18:50+08:00" AI主题相关性: 17 AI来源权威性: 10 AI新颖性: 19 AI技术细节: 20 AI商业部署信号: 3 AI完整性: 9 AI评分提示词版本: "v17-精简生产版" AI评分提示词SHA256: "48fb9777f386026761b4873eaff30807694fb11e9b352d7c69bf2dfde750cc7d" AI评分知识库版本: "knowledge_base_v1-20260819+runtime.85" AI评分知识库SHA256: "addff22f3432ea8a31e1a2b9006ccbedc0a6dea3c08062b13d93d68d7953f753" AI评分知识库检索词: "[\"HBM\",\"内存\",\"带宽\",\"site:zhidx.com HBM\",\"Vera Rubin\",\"Rubin\",\"HBM4\",\"液冷\",\"NVIDIA\",\"英伟达\",\"AMD\",\"台积电\"]" AI评分知识库命中: "[{\"id\":\"july-correct-0001\",\"title\":\"全球首颗2nm GPU来了！苏姿丰甩出“最强AI机架”，CPU性能干翻英伟达 - 智东西\",\"sourceType\":\"labeled_article\",\"time\":\"2026-07\",\"matchedTerms\":[\"HBM\",\"内存\",\"带宽\",\"Vera Rubin\",\"Rubin\",\"HBM4\",\"液冷\",\"英伟达\",\"AMD\",\"台积电\"],\"rank\":-18.21202562996275},{\"id\":\"july-correct-0079\",\"title\":\"AAI 2026: AMD Launches AMD Helios Rackscale Solution for Frontier AI\",\"sourceType\":\"labeled_article\",\"time\":\"2026-07\",\"matchedTerms\":[\"HBM\",\"Vera Rubin\",\"Rubin\",\"HBM4\",\"NVIDIA\",\"AMD\"],\"rank\":-15.478924128157043},{\"id\":\"historical-jan-apr-01\",\"title\":\"一、NVIDIA GTC 2026 相关基础设施发布与展示\",\"sourceType\":\"curated_item\",\"time\":\"2026-01_to_2026-04\",\"matchedTerms\":[\"HBM\",\"Vera Rubin\",\"Rubin\",\"液冷\",\"NVIDIA\"],\"rank\":-14.688485576991049},{\"id\":\"july-correct-0104\",\"title\":\"NVIDIA Vera Rubin 提升每瓦性能，为全球合作伙伴实现最低 Token 成本\",\"sourceType\":\"labeled_article\",\"time\":\"2026-07\",\"matchedTerms\":[\"内存\",\"带宽\",\"Vera Rubin\",\"Rubin\",\"液冷\",\"NVIDIA\"],\"rank\":-14.573157944830228},{\"id\":\"july-correct-0071\",\"title\":\"SK Group and NVIDIA Expand Strategic Partnership Across AI Factories and Next-Generation Memory\",\"sourceType\":\"labeled_article\",\"time\":\"2026-07\",\"matchedTerms\":[\"HBM\",\"Vera Rubin\",\"Rubin\",\"HBM4\",\"NVIDIA\"],\"rank\":-14.319814104908385}]" 采集批次: "2026年9月6日19点27分09秒" 采集批次ID: "20260906-192709-237" 去重键: "https://zhidx.com/p/590347.html" --- **芯东西（公众号：aichip001）** **编译 | 崔嫄伟** **编辑 | 陈骏达** 芯东西9月4日消息，据ServeTheHome报道，8月23日，在全球顶级半导体架构研讨会Hot Chips 2026上，美国AI推理芯片初创d-Matrix系统性详解了Raptor 3D-DRAM生成式AI推理加速器的创新架构、堆叠方案与测试结果。Raptor 3D-DRAM采用台积电N4逻辑裸片与3D DRAM裸片面对面堆叠的架构，来解决AI推理中的内存容量与带宽双重瓶颈。 在硅面积基准对比中， **Raptor的单位面积带宽达32.6GB/s/mm²，约为HBM4和NVIDIA Rubin R200的20倍** ； **每GB/s功耗仅2.96mW** ，较HBM方案的40mW改善13.5倍。Raptor测试结果显示，Raptor 3D-DRAM可对3万亿参数量级模型提供百万token上下文的推理服务，多用户批处理情况下，平均每位用户的token吞吐量可达1000。 d-Matrix提出该方案的核心背景在于AI推理中内存墙的持续加剧。模型权重不断增长的同时，KV cache随上下文长度与批量大小的乘积扩张，在1百万token上下文长度下，64路并发用户对应的KV cache占用约为935GB。 ## 一、SRAM容量与HBM带宽双重受限，3D-DRAM垂直IO能效较HBM提升10倍 现有技术路径中，两块Corsair SRAM加速卡组合可实现约300 TB/s带宽，延迟约1纳秒，但总容量仅4GB左右。单个6T‑SRAM存储单元的面积约为DRAM单元的10倍；一旦缓存达到GB级规模，仅漏电功耗便可达到数十瓦。因此SRAM仅适合投机解码中的草稿模型，无法存放前沿模型权重。 HBM依托1T1C DRAM单元具备很高存储密度，单封装包含8个HBM堆栈，单个HBM堆栈有8-16个核心裸片，能够实现大容量内存。但HBM带宽向SRAM级别看齐存在多重阻碍：HBM基底裸片的引脚速率、I/O位宽迭代缓慢；HBM堆叠数量受芯片封装边缘物理空间约束；若占用全部裸片边缘布置HBM，中介层尺寸、芯片翘曲等封装挑战会急剧放大。以搭载HBM4的英伟达Vera Rubin、AMD MI455为例，现有产品实际带宽上限约20 TB/s，与SRAM数百TB/s的带宽存在数量级差距。 如此高的带宽需要付出高昂的功耗代价。HBM世代迭代持续优化单比特传输能效，HBM4相较前代可以在更高带宽下实现更低的功耗。但能效的改善跟不上带宽扩张的需求；若依靠HBM实现百TB/s级的SRAM水准带宽，即便单比特能耗控制在2.4pJ/bit，仅内存部分总功耗就将达到1.92 kW，工程落地难度巨大。现有封装既没有足够的边缘引脚空间，也不具备对应的功耗预算，无法依靠HBM实现SRAM级别的带宽水平。 d-Matrix的答案是将计算逻辑直接堆叠在DRAM die之上，即3D-DRAM。这一方案面临热与供电两大挑战：DRAM位于逻辑裸片上方时，计算产生的热量需通过温度敏感的DRAM堆栈散出，热阻高，散热成为难以逾越的障碍；逻辑裸片置于顶部时，数百瓦需通过DRAM中的穿透硅通孔技术（TSV）传输，会带来IR drop问题。d-Matrix指出，单层逻辑堆叠在功率密度不超过0.5W/mm²时可通过液冷将DRAM温度控制在100°C以下。 SRAM能够提供极高带宽，但容量严重受限；HBM具备大容量优势，带宽受裸片封装边缘空间约束，数据需要经过PHY与厘米级中介层走线传输，带来较高的传输能耗。3D‑DRAM采用计算裸片置于DRAM堆叠之上的架构，依靠垂直IO实现存储与计算互连，无需PHY接口，信号路径缩短至毫米级，不存在横向的数据搬运，不再受beachfront封装边缘的限制。其单bit传输能耗仅约 HBM的十分之一，可以实现SRAM级别的带宽；同时DRAM堆叠层数最多4层，对比HBM的12‑16层堆叠，具备更优的良率表现，存储容量介于SRAM与HBM之间。 大模型推理分为预填充（Prefill）与解码（Decode）两个核心阶段。Prefill阶段并行处理全部输入Token，属于计算吞吐量瓶颈；Decode阶段采用自回归方式逐Token生成输出，需要反复读写KV缓存，普遍受内存带宽约束。对于Agent类多轮长会话业务，系统会复用历史KV缓存避免重复计算，上下文持续膨胀，进一步放大解码阶段的内存带宽压力。现有HBM方案受封装边缘空间与功耗限制，带宽提升存在天花板，这也是3D‑DRAM高带宽架构的重要落地场景。 ## 二、Raptor协同优化三大工程约束，带宽零浪费、刷新损耗1.37% Raptor的具体实现采用台积电N4逻辑裸片通过36μm面对面堆叠置于3D DRAM裸片之上，d-Matrix称该工艺已验证成熟、低成本、适合高量产且良率高。 单卡配置32GB内存，采用4‑bit权重与8‑bit KV缓存，d‑Matrix称其可将整套系统压缩至单机柜内部。72卡扩展集群能够部署Kimi K3这类前沿大模型，并支持1百万token上下文窗口；借助硬件解耦与多机柜组网，还可突破单机柜的能力上限。 该芯片系统层面围绕内存子系统、低延迟数据移动fabric和工作负载映射三方面进行协同设计。 将3D-DRAM转化为可用系统这种方案暴露了三大相互纠缠的工程挑战，且任一挑战的解决方案都会约束另外两者的设计空间。 其一是bank-to-channel映射问题：每个张量引擎每次访问需128B flit，而单颗chiplet的840个bank（含72个备用后可用768个）分布在256个channel上，每channel仅3个bank，每次访问返回96B，导致128B flit需两次访问取192B，约33%的带宽（约33TB/s）被浪费。 d-Matrix以Stream Blocking方案破解：将一次部分32B访问由三个flit共享，使4次访问共384B恰好喂给3个128B flit，过度获取降为零，且无需额外移位网络。 其二是I/O功耗墙：以0.37pJ/bit计算，100TB/s带宽仅I/O即消耗296W。传统DBI（数据总线反转）可节能约20%，但HBM依赖多周期突发使PHY看到完整数据并设有专用侧带引脚，而Raptor的单周期256-bit 3D-DRAM链路既无突发也无侧带引脚。 d-Matrix提出Stream Flipping（无引脚DBI）方案：每个flit与前一个flit逐位比较，需要时整体反转，将翻转率降至接近零，每个flit仅增加一个元数据位并与ECC位共存，开销仅0.8%且无需改动PHY，实现了完整的20%I/O功耗节省。 其三是105°C结温下的DRAM可靠性。840个bank意味着即使1%的故障率也可能丢失整个channel，而丢弃已键合die在经济上不可行；禁用故障bank会缩窄对应channel，单个弱channel即可拖累整个slice；同时高温导致更多软错误，保持时间从85°C下的32ms骤降至105°C下的4ms，刷新频率需提高8倍。 d-Matrix以两项设计应对：深度banking将行数从传统约32K行降至1366行，使8倍刷新的带宽代价仅约1.37%，同时ECC与DBI位交错布置在子阵列最后8列，采用Reed-Solomon码与商品ECC组合。 Bank Chaining则通过两级物理多路复用器，第一级跳过首个故障、第二级跳过第二个故障，使72个备用bank可吸收裸片上任意位置的故障，channel始终保持对称，路由开销可忽略。 ## 结语：3D-DRAM或重塑AI推理内存架构，大规模商用仍待实际运行验证 如果3D-DRAM能够有效缩小内存带宽差距，它将重塑加速器厂商在AI系统中对容量与带宽的权衡方式，为生成式推理提供一条不同于HBM路线的技术路径。 这类与当前主流架构相邻的方案也会引发一个疑问：为何行业并未普遍采用？这也意味着该方案的商业化仍需回答生态兼容性、供应链成熟度等实际问题。 HBM路线本身也在持续演进，3D-DRAM与HBM在AI推理场景中的长期竞争格局，将取决于两者在带宽、容量、功耗和系统总成本上的综合权衡结果。 来源：ServeTheHome