LLM 全景与学习路线
大语言模型（Large Language Model, LLM）本质上是一个用海量文本训练出来的条件概率分布：给定一段上文 x₁, x₂, ..., xₙ，它输出下一个 token 的概率分布 P(xₙ₊₁ | x₁..xₙ)。ChatGPT、Claude、Qwen、DeepSeek 这些产品的全部能力——对话、写作、编程、推理——都是从这一个看似简单的目标里"长"出来的。
数学基础：最小必要子集
LLM 用到的数学并不神秘，核心就四块：线性代数（数据如何表示与变换）、概率与信息论（模型在优化什么）、微积分（梯度如何流动）、优化（参数如何更新）。本篇只讲"够理解 LLM"的那部分，每个概念都配 PyTorch 代码。
分词器：文本如何变成数字
神经网络只吃数字。分词器（Tokenizer）负责把 "Hello, 世界" 变成 [15496, 11, 12314, 234] 这样的 token id 序列，并能无损还原。它是 LLM 的第一道工序，词表设计直接影响模型效率与能力上限。
Transformer 逐层推导
2017 年《Attention Is All You Need》提出的 Transformer 是全部现代 LLM 的骨架。本篇按"一个 token 流过模型的完整路径"逐层拆解，每层给出数学与 PyTorch 代码，全部是现代 LLM（LLaMA 系）采用的当前最佳实践：Pre-Norm、RMSNorm、RoPE、SwiGLU。
从零实现 mini-LLM：完整可训练代码
本篇把前面所有零件拼成一个约 300 行、单文件、可训练可生成的 GPT。默认配置约 2500 万参数，在一张消费级 GPU 上训练几小时即可产出连贯的莎士比亚风格英文（用 tiny-shakespeare 数据集）；改小配置甚至可以在 CPU 上跑通全流程。
训练数据集工程：寻找、清洗与构建
业界共识：LLM 的差距主要是数据的差距。架构大家都抄 Transformer，真正拉开差距的是数万亿 token 语料的获取、清洗、过滤与配比。本篇按实战流程展开。
预训练工程：从单机到千卡
预训练是 LLM 最昂贵的一步：数千张 GPU 连续跑数周数月，一次"训崩"就是数百万美元。本篇讲工业级预训练的关键工程决策与故障诊断。
微调与对齐：从"会续写"到"会对话"
基座模型只会补全文本。要变成 ChatGPT 那样的助手，需要两步：SFT 教会它"指令 → 回答"的格式，偏好对齐（RLHF/DPO）教会它"什么样的回答更好"。
推理与部署：让模型高效服役
训练是算力的消耗战，推理是延迟、吞吐、成本的三体问题。本篇讲推理链路的核心优化：KV Cache、采样策略、量化、连续批处理与生产部署。