QSA 式稀疏选择、HC 与输出门控：原理和推理成本

理解这三项技术，可以先问三个问题：本次 Attention 读哪些历史 token？各层之间怎样传递信息？Attention 算出的信息有多少继续向后传？ 它们分别对应稀疏选择、HC 和输出门控。

1. 稀疏选择：先筛历史，再做主 Attention

普通 Attention 让当前 Query 与全部可见 Key 交互，再对 Value 加权求和。索引器先用较低维的 Query／Key 计算相关性，选出 TopK 位置，主 Attention 只读取入选的 K/V。DSA 的 lightning indexer 就采用这类思路。DeepSeek-V3.2 技术报告

flowchart LR
    X[当前隐藏状态] --> I[低维索引投影]
    H[历史索引 Key] --> S[相关性评分]
    I --> S
    S --> K[TopK 位置]
    K --> A[读取选中 KV 并做 Attention]
    V[历史主 KV] --> A

直觉上，主 Attention 从读一整本书变成读候选段落；索引器仍需完成检索。设历史长度为 $S$，索引维度为 $d_i$、头数为 $h_i$，主 Attention 选取 $K$ 个 token：

成本	一次 Decode 的主要增长项
索引评分	约 $2Sh_id_i$ 次浮点运算；若索引 Key 按比例 $c$ 池化，则候选长度约为 $S/c$
TopK	扫描评分并选择位置，成本依赖选择算法和融合方式
主 Attention	读取约 $K$ 份 K/V，完成 QK 和加权 V
常驻缓存	保存后续请求可能选中的主 KV，以及索引 Key

选 2K 个 token，描述的是访问量；缓存容量仍由保留的历史决定。 模型可以每步选择不同历史位置，因此不能据此把完整 KV 存储直接缩成 2K。

实现还决定评分是否写回 HBM、选择是否融合、离散 KV 读取是否高效。vLLM 的 DSA 介绍分别讨论索引与稀疏 Attention kernel，这两段都需要计时。vLLM 实现说明

前缀复用为什么仍有评分成本

设缓存前缀长 $P$，新增输入长 $U$。新增 Query 仍然需要检索已有历史。密集因果交互的面积近似为：

$$PU+\frac{U^2}{2}=\frac{(P+U)^2-P^2}{2}$$

若索引候选按 $c$ 压缩，评分交互数量近似再除以 $c$。90% 前缀复用减少了新投影与新 Query 数量，但新增 Query 仍会访问前缀索引。仿真必须明确接口里的长度是 $U$ 还是 $P+U$。可配合因果 Attention 与 KV 命中面积一起看。

2. HC：让多路残差信息流交换信息

普通残差连接可写成 $x'=x+F(x)$。HC 将残差状态扩成多路，学习如何混合这些状态作为层输入，再把层输出写回各路，同时保留各路之间的连接。动态 HC 的混合权重还会依赖当前输入。Hyper-Connections 论文

它给网络更多选择：哪些历史特征保留、哪些交给当前层处理、结果写回哪一路。主 Attention／FFN 的宽度可以保持原样，多路状态主要出现在残差通道。

算性能时，按实际参数化列出混合投影、状态读写和残差更新。如果某实现用 $nh\rightarrow r\rightarrow nh$ 的两次低秩投影，单 token 投影开销约为 $4nhr$ FLOPs，参数量约为 $2nhr$；这里 $n$ 是路数、$h$ 是隐藏维度、$r$ 是秩。这是该低秩实现的成本式，其他 HC 参数化应从对应张量形状重算。

观察 HC 的有效入口是每层新增的 GEMM、ElementWise 和 activation 工作区。层数翻倍时，每层重复的这些工作也随之翻倍。

3. 输出门控：控制 Attention 结果怎样传递

令 $A=\operatorname{Attention}(Q,K,V)$，一种 SDPA 输出门控为：

$$G=\sigma(XW_g),\qquad Y=(A\odot G)W_o$$

门值根据当前输入产生，在 Attention 输出投影前调节各个特征。Gated Attention 论文对比了门控位置和粒度，发现 SDPA 后的门控可以改善模型表现与训练稳定性，并缓解 Attention sink。Gated Attention 论文

性能上有两笔账：生成 $G$ 的投影，以及 sigmoid／逐元素相乘。逐元素门控有时与 Q 投影融合，此时 Q 一侧同时输出 Query 和 gate，输出宽度增加；K/V 宽度保持原值。按 head 生成一个门值与逐元素生成门值，投影尺寸也不同。

门值接近零体现信息选择。要把它变成硬件加速，还需要执行路径确实跳过计算；常规稠密 kernel 仍会计算这些元素。

4. 仿真怎样把三项接起来

模块	至少核对的成本	容易遗漏的部分
索引器	Q/K 与评分权重投影、池化、评分、选择	只缩小主 Attention 的窗口
缓存	主 KV、索引 Key、选择结果及工作区	把访问稀疏等同于缓存缩小
HC	按实现生成混合操作与状态读写	只记录配置中的扩展路数
门控	门值投影、sigmoid／乘法	只解析字段，或只增加投影宽度

验证时先固定 batch 与并行方案，分别关闭某一项，确认对应算子和开销确实变化；再重新搜索最优配置，观察显存与时延约束是否改变。这样能分清“单次执行变慢”和“最优 batch 换档”两种影响。

索引选择若只有解析估算，应记录融合假设与效率来源，再用实测 kernel 校准。最终比较服务产能，还要按 Prefill、Decode 两端的卡时配平；MTP 的每步产出已经进入 TPOT 后，只计一次。

继续阅读

• Attention 架构演化：KV 共享、表示压缩、访问稀疏与递推状态。
• KV Cache 机制：缓存容量、带宽与批量大小的关系。
• Speculative Decoding：MTP 接受率和每步产出的计量。