chenweigao / systems notes

系统地理解 AI 系统与底层计算

把论文、源码、trace 和工程实践整理成可复用的系统知识。这里既是个人研究记录，也是一张持续生长的技术知识地图。

192 篇文章 · 聚焦推理系统、性能分析与底层体系结构

三条旗舰路线

查看路线总览

01 Track 01 Inference Systems 推理系统把一次生成请求从模型状态、资源瓶颈一路追到 Serving 决策。 3 个阶段 · 9 个阅读节点 02 Track 02 Performance Evidence 性能证据把观测、归因、模型和实验组织成一条可证伪的性能证据链。 3 个阶段 · 9 个阅读节点 03 Track 03 Compute Foundations 计算基础从执行模型、内存层次和互联出发，建立解释 AI 工作负载的硬件直觉。 3 个阶段 · 10 个阅读节点

近期专题

4 篇 · 查看专题

推理基础：从 Token 到瓶颈 先看一次生成经过哪里，再用物理上限判断优化应该打在哪一层。

全栈地图 LLM 推理系统全栈地图数据流 Token Flow 与 Hidden State：从 Attention 到 LM Head 架构 Attention 架构演化：从多头注意力（MHA）到 GQA、MLA 瓶颈 Compute-bound vs Memory-bound：推理的两大瓶颈

知识领域

最近研究

Hyperloom Specialist 与配置调优：一个 Agentic 调参系统的源码拆解 AI 系统 8月5日 vLLM Async Scheduling：三态配置、投机解码与状态提交 AI 系统 8月5日 Kimi K3：架构、训练与推理系统研究 AI 系统 8月4日 cmux 一键复刻配置工具箱 8月1日推理并行：DP、TP、PP、EP 与 CP 怎么选 AI 系统 7月28日推理 Kernel / Runtime 优化：少搬、少启、少等 AI 系统 7月28日