DeepSeek V2：中国开源大模型
DeepSeek 发布 V2 模型，以极低成本实现高性能，引领开源模型新方向。
事件概述
2024年5月，DeepSeek（深度求索）发布了 DeepSeek-V2 模型。这是一个236B参数的混合专家（MoE）模型，每次推理仅激活21B参数，在性能和效率之间取得良好平衡。DeepSeek-V2 在多项基准测试中与 GPT-4 Turbo 相当，但训练成本和推理成本远低于同类模型。后续的 DeepSeek-V3 进一步提升了性能。DeepSeek 的成功展示了中国 AI 研究的进步，推动了开源大模型的效率革新。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2024 年 5 月，幻方量化旗下的 DeepSeek（深度求索）发布 DeepSeek-V2：一个总参数 236B、每次推理只激活约 21B 的混合专家（MoE）模型。它的杀手锏不是绝对性能（与 GPT-4 Turbo 级别相当），而是成本结构——MLA（多头潜在注意力）把 KV 缓存压到传统注意力的几分之一，MoE 架构又把单 token 计算量降到 1/10，两者叠加让推理成本降到同级模型的零头，API 定价一度只有 GPT-4 Turbo 的几十分之一。DeepSeek 由此把「中国 AI 效率路线」推上了世界舞台：不拼万亿参数与万卡集群，而是用架构创新把单位算力的智能榨到极致。这条路线在半年后的 DeepSeek-V3 与 2025 年初的 R1 上结出了最轰动的果实。
核心要点
- 12024 年 5 月发布，236B 总参数 MoE 架构，每 token 仅激活约 21B。
- 2MLA（多头潜在注意力）大幅压缩 KV 缓存，显著降低长上下文推理成本。
- 3在 8.1T token 上预训练，性能对标 GPT-4 Turbo 级而成本仅零头。
- 4以极低 API 定价引发行业价格战，被称「AI 界的拼多多」。
- 5确立了 DeepSeek 的效率路线，为 V3 与 R1 的全球轰动奠定基础。
原理与技术细节
DeepSeek-V2 的两项核心创新都直指推理经济学。其一，MLA（多头潜在注意力）：把键值矩阵低秩压缩成一个潜在向量，推理时只需缓存这个小向量而非完整的 K/V，KV 缓存降到 MHA 的约 1/13，且解耦 RoPE 部分以保持位置信息——这让长上下文服务的显存瓶颈大幅缓解。其二，DeepSeekMoE：细粒度专家切分（每 token 激活 2 个、共 160+ 专家）加共享专家（捕获通用知识、减少路由冗余），用更多更小的专家替代更少更大的专家，提升专业化程度与训练稳定性。叠加 8.1T token 的多语言高质量数据与 FP8 混合精度训练，最终得到「大容量、小计算、低成本」的组合。这套组合拳说明：在算力受限条件下，架构与系统工程创新可以直接转化为成本优势。
影响与后续
DeepSeek-V2 的影响远超一个模型的发布。它用定价证明了「低成本高性能」在商业上可行，直接引发 2024 年 5 月中国大模型 API 价格战（字节、阿里、百度、智谱相继降价），把推理成本的政治经济学摆上了台面——当架构创新可以把成本降一个数量级，依赖堆算力维持的溢价就难以为继。战略上，它在美国芯片出口管制背景下给出了「效率对冲规模」的中国方案，成为后续 V3 与 R1 震惊世界的前奏。对行业方法论，DeepSeek 的系列论文（MLA、DeepSeekMoE、GRPO）全部公开，把架构创新的知识红利回馈给了整个社区——这本身也是开源精神的胜利。
学习要点
- 推理成本主要由 KV 缓存与激活参数决定，架构创新直接改写经济模型。
- 低秩压缩（MLA）是注意力省显存的标准工具，需配合位置编码解耦。
- 细粒度专家 + 共享专家是 MoE 稳定训练与专业化的关键设计。
- 算力受限时，把单位算力智能做到极致本身就是战略优势。
术语表
把 KV 低秩压缩为潜在向量的注意力机制，大幅降低推理缓存占用，DeepSeek-V2 的核心创新。
稀疏激活的专家子网络架构，用路由为每个 token 选择少数专家，总容量大而计算可控。
用 8 位浮点精度进行混合精度训练，在精度损失可控下提速降本。