了解DeepSeek V3.2和Claude Sonnet 4.5

1.概述

两款模型的升级，清晰地指向了当前大模型发展的两个关键方向：DeepSeek V3.2致力于通过引入稀疏注意力等新技术，让长文本处理更高效、更经济；而Claude Sonnet 4.5则聚焦于让AI智能体更持久、更可靠地完成实际工作，例如其宣称能连续自主工作超过30小时，并大幅提升了计算机操作能力。
2.内容

2.1 DeepSeek V3.2

自问世以来，Transformer架构始终是大语言模型（LLM）发展中无可争议的核心引擎。其关键创新——自注意力机制，赋予模型捕捉海量数据序列中长距离依赖与上下文细微差别的卓越能力。然而这种强大能力伴随着愈发高昂的代价：标准自注意力机制的计算与内存复杂度高达O(L²)（L为输入序列长度）。这种二次方增长特性意味着上下文长度每增加一倍，所需计算资源将增长四倍，这为处理现代AI应用所需的持续扩张的信息库（如长文档分析、扩展对话、大规模代码库解析）筑起了巨大屏障。这种“二次复杂度的桎梏”已成为大语言模型演进的主要瓶颈，使得对架构效率的追求不再仅是学术探索，更成为推动领域持续发展并保持经济可行性的关键所在。
面对这一根本性瓶颈，各类稀疏注意力技术应运而生。其核心思路是通过仅计算经过策略性筛选的查询-键交互子集，来*似模拟完整注意力矩阵的输出效果。这种方法旨在突破二次方缩放定律，将复杂度降至*线性水*（如O(Lk)或O(LlogL)，其中k为固定注意力令牌数）。本报告将深入解析该领域的重要新突破：DeepSeek-V3.2-Exp。这款实验性模型引入了名为DeepSeek稀疏注意力（DSA）的新型细粒度稀疏注意力机制。
分析表明，DeepSeek-V3.2-Exp代表了一项意义重大的工程实践突破。它并非通过消除二次缩放的理论捷径，而是采用软硬件协同的混合策略，通过精细管理与最小化计算负载来实现长上下文效率的跃升。该模型在保持与前代强模型DeepSeek-V3.1-Terminus性能*乎持*的同时，显著降低了推理成本。更值得关注的是，其作为“实验版”发布的决策，标志着顶尖AI实验室在架构验证与部署策略上的重要转变——通过开放社区构建大规模试验场，为未来发展路径规避风险。本报告将解构DSA架构原理，剖析其训练方法论，客观评估其性能表现与经济价值，并置于注意力机制发展脉络中审视，以全面把握其对大规模AI发展的深远意义。
2.2 DeepSeek稀疏注意力（DSA）

DeepSeek-V3.2-Exp与前代模型最核心的架构差异，在于引入了DeepSeek稀疏注意力（DSA）机制。这项创新并非对整个注意力模块的彻底替换，而是一个旨在与原有模型架构协同工作的智能过滤层。
DSA的设计哲学以实际效率与硬件性能优先，通过一个包含两个组件的系统，在主注意力计算发生之前，对注意力空间进行智能剪枝。这两个关键组件分别是：

• 闪电索引器 (Lightning Indexer)：一个高效的组件，能以极快的速度判断对于当前正在处理的Token，序列中哪些历史Token是最重要的。
  
• 细粒度Token选择机制 (Fine-grained Token Selection Mechanism)：从闪电索引器筛选出的候选Token中，精准选择最相关的Top-k个Token参与最终的注意力计算。
  

通过这种协同设计，DSA巧妙地管理和最小化了二次复杂度问题，其目标是在保持模型强大性能的同时，实现长上下文处理效率的质的飞跃。
2.3 闪电索引器与细粒度Token选择机制

DeepSeek稀疏注意力（DSA）的原型由闪电索引器（Lightning Indexer） 和细粒度Token选择机制（Fine-grained Token Selection Mechanism） 这两个主要组件协同工作，其核心思想是 “先筛选，后计算” ，从而将稠密的注意力计算问题转化为稀疏计算问题。
⚡️ 闪电索引器 (Lightning Indexer)

这是一个基于内容的快速预注意力过滤器。对于序列中的每个查询Token（Query Token），索引器的任务是计算其与上下文里每一个前序Token 的关联度得分（即“索引分数”）。

• 其关键在于，这种稀疏模式是动态自适应的。它根据具体的输入内容决定哪些Token是重要的，这与那些依赖固定模式（如滑动窗口或跨度注意力）的刚性稀疏方法有本质区别，后者的注意力模式是预先确定且与输入内容无关的。
  
• 为了实现极致的速度，闪电索引器采用了轻量级设计，例如使用非常小的键缓存（据资料提及，每个Token仅128维），并能够利用FP8精度 在DeepSeek自研的DeepGEMM 算子上运行，从而为后续的注意力计算显著提速。
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

用心讨论，共获提升！