跳转到主要内容

Reading paths

专题阅读

按工程问题组织文章,从基础概念一路读到实现、性能模型与 trace 证据。
近期专题 4 篇

推理基础:从 Token 到瓶颈

先看一次生成经过哪里,再用物理上限判断优化应该打在哪一层。

开始阅读 →
  1. 01 全栈地图 LLM 推理系统全栈地图
  2. 02 数据流 Token Flow 与 Hidden State:从 Attention 到 LM Head
  3. 03 架构 Attention 架构演化:从多头注意力(MHA)到 GQA、MLA
  4. 04 瓶颈 Compute-bound vs Memory-bound:推理的两大瓶颈
4 篇

调度与 Prefill:从服务策略到 Trace

从 batching 与 scheduler 出发,深入 chunked prefill、GDN kernel chunk 和真实 trace 诊断。

开始阅读 →
  1. 01 调度 批处理与调度:推理服务的灵魂
  2. 02 深读 Chunked Prefill 深入分析:调度、Chunk Size 与 Attention 形状
  3. 03 Kernel GDN 与 Chunked Prefill:为什么 prepare_chunk_indices 会出现在 trace 里
  4. 04 案例 Prefill Trace:Worker 供给、DSA/MLA 与 Chunked Prefill
5 篇

量化:从数值格式到性能验收

从量化坐标和 CPU 心智模型出发,读到 FP4/FP8 运行时合同、方法评测与算子级执行案例。

开始阅读 →
  1. 01 坐标 量化:从 Scale 到 W4A8 的完整坐标
  2. 02 桥接 从 AVX/AMX 到 Tensor Core:CPU 工程师理解 LLM 量化
  3. 03 格式 FP4/FP8 量化:值域、Scale 与运行时合同
  4. 04 验收 量化方法与评测:从 PTQ/QAT 到可复现实验
  5. 05 案例 GLM-5.2 量化执行图:W4A8、BMM 与 KV8
3 篇

投机解码:从原理到 DSpark/MTP

先掌握 draft、verify 与接受前缀,再进入 DSpark/MTP 的模型和调度协同。

开始阅读 →
  1. 01 原理 投机解码:突破 decode 一次只出一个 token 的限制
  2. 02 实现 DSpark 与 MTP:DeepSeek 投机解码调研
  3. 03 Runtime vLLM Async Scheduling:三态配置、投机解码与状态提交
4 篇

GPU Profiling:从 Trace 到性能证据链

从时间线分解和关键路径开始,建立 Breakdown 归因、真实案例与 Simulation 验证闭环。

开始阅读 →
  1. 01 时间线 GPU Trace 时间分解与通信计算重叠分析
  2. 02 关键路径 Critical Path of AI Trace
  3. 03 归因 Agentic AWP:规模化 Profiling 驱动的 GPU 效率 Breakdown 与能力体系
  4. 04 闭环 从 Profiling 到 Simulation:推理性能分析的证据链方法
5 篇

KV Cache:从内存机制到性能模型

从 KV Cache 与分页基础,读到表示压缩、稀疏访问、hit 计算区域和端到端 TTFT/TPM 建模。

开始阅读 →
  1. 01 基础 KV Cache:推理性能的命根子
  2. 02 MLA DeepSeek MLA:低秩 KV Cache 与推理效率
  3. 03 架构 CSA/HCA 注意力:DeepSeek-V4 的混合压缩稀疏机制
  4. 04 计算 Causal Attention:为什么 KV hit 后 Attention 按 1 - h² 缩放
  5. 05 建模 KV Cache Hit Ratio 修正模型:从直觉到统一公式
5 篇

Serving Runtime:从 MoE 与并行到框架

从 MoE 数据流与并行切分,读到 kernel 证据、Serving Stack 选型和模拟器合同。

开始阅读 →
  1. 01 MoE MoE 推理:Expert Parallelism(EP)、显存与调度
  2. 02 并行 推理并行:DP、TP、PP、EP 与 CP 怎么选
  3. 03 Kernel 推理 Kernel / Runtime 优化:少搬、少启、少等
  4. 04 框架 推理框架对比 2026:从 Engine 到 Serving Stack
  5. 05 建模 模拟器建模指南:显存与吞吐公式