跳转到主要内容

Reading paths

专题阅读

按工程问题组织文章,从基础概念一路读到实现、性能模型与 trace 证据。
近期专题 5 篇

Prefill、混合架构与推理 Kernel

从调度基础、chunked prefill 和混合模型结构,一路读到真实 trace 证据。

开始阅读 →
  1. 01 基础 批处理与调度:推理服务的灵魂
  2. 02 调度 Chunked Prefill 深入分析:调度、Chunk Size 与 Attention 形状
  3. 03 机制 GDN 与 Chunked Prefill:为什么 prepare_chunk_indices 会出现在 trace 里
  4. 04 Trace Prefill Trace:Worker 供给、DSA/MLA 与 Chunked Prefill
  5. 05 对比 DeepSeek MLA:低秩 KV Cache 与推理效率
5 篇

GPU Profiling:从 Trace 到性能证据链

从时间线分解和关键路径开始,建立 Breakdown 归因、真实案例与 Simulation 验证闭环。

开始阅读 →
  1. 01 时间线 GPU Trace 时间分解与通信计算重叠分析
  2. 02 关键路径 Critical Path of AI Trace
  3. 03 归因 AWP 六维 Breakdown 框架与能力体系摘要
  4. 04 案例 H20 批量归因分析报告摘要
  5. 05 闭环 从 Profiling 到 Simulation:推理性能分析的证据链方法
4 篇

KV Cache:从内存机制到性能模型

从 KV Cache 与 PagedAttention 基础,读到压缩注意力、hit 计算区域和端到端 TTFT/TPM 建模。

开始阅读 →
  1. 01 基础 KV Cache:推理性能的命根子
  2. 02 架构 CSA/HCA 注意力:DeepSeek-V4 的混合压缩稀疏机制
  3. 03 计算 Causal Attention:为什么 KV hit 后 Attention 按 1 - h² 缩放
  4. 04 建模 KV Cache Hit Ratio 修正模型:从直觉到统一公式
5 篇

MoE 推理:从 Expert 到部署与建模

从 token 与 hidden state 数据流出发,串起 expert 路由、低精度权重、显存模型和 serving stack。

开始阅读 →
  1. 01 数据流 Token Flow 与 Hidden State:从 Attention 到 LM Head
  2. 02 机制 MoE 推理:Expert 并行、显存与调度机制
  3. 03 量化 FP4/FP8 量化:低精度推理的存储与计算
  4. 04 建模 模拟器建模指南:显存与吞吐公式
  5. 05 部署 推理框架对比 2026:从 Engine 到 Serving Stack