KV / 记忆
算力 / 开销
点击查看详情
| 维度 | DeepSeek-V4.1-Flash | DeepSeek-V4-Pro | Kimi-K3 (Moonshot) | Qwen3.8-Next / Max | GLM-5.3 (Zhipu AI) |
|---|---|---|---|---|---|
| 总参数 / 激活参数 | 552B 主干 + 196B Engram Prefill 8B / Decode 16B |
1.6T / 49B Active | 2.78T / 104.2B Active | 125B–397B (+51B N-gram) 6B–22B Active |
744B / 40B Active |
| 层数与主干拓扑 | 40 层 = 20 Causal Encoder + 20 Causal Decoder (CED) | 61 层 Transformer Blocks | 93 层 = 1 Dense + 69 KDA + 24 Gated MLA | 3:1 交替 (3 Gated DeltaNet + 1 Full/QSA) | MLA + DSA (每 4 层一组 IndexShare) |
| 长上下文注意力 | CSA2 (Full / Reindex / Reuse) + 16,384 分层候选池 + SWA(128) | CSA (m=4 重叠池) + HCA (m'=128 全局摘要) + SWA | KDA 线性递归状态 (通道遗忘门) + Gated MLA (NoPE) | Gated DeltaNet + QSA 微块稀疏 (Sigmoid 输出门控) | DSA Top-2048 (FP8 Hadamard Indexer) + IndexShare |
| KV Cache 压缩 | 890 Bytes/tok (FP4 主 KV) 全网等效仅存 2.5 层 KV;SSD 降为 1/8 |
~3,514 Bytes/tok (V4-Flash 基准) | 69/93 层零 KV 增长(固定状态 S_t),总 KV 省 ~75% | 75% 层为固定大小递归状态 S_t,仅 25% 层存 KV | 每 4 层省去 3 层 Indexer K Cache,1M 算力降 2.9× |
| 残差流 | Single-Pass mHC (4 车道流形约束 + Mega-mHC 砍半搬运) | 4-Lane Multi-Pass mHC (Birkhoff 双随机流形) | AttnRes (可学习伪查询跨层注意力残差,效率 +25%) | Gated Residuals (GR) 四分支元素级门控残差 | 标准深层残差 + Post-Training 异步 RL 强化 |
| MoE 与投机解码 | 1 Shared + 384 Routed (Top-6) DSpark (一次 5 位 + 动态置信度验证) |
DeepSeekMoE (49B 激活) + MTP | 896 LatentMoE (Top-16 + 2 Shared,分位数均衡) + EAGLE-3 | 256 Routed (Top-8) + 1 Shared · Muon 优化器 | 256 Routed (Top-8) + 1 Shared · MTP-3 (+20% 接受率) |