0 · 导读:边界与逻辑链
一句话定位:LLaMA 没有发明新架构。它是一个标准的 decoder-only 自回归 Transformer,加上三处组件替换、一个反直觉的训练策略、以及开放权重——最后一点才是它改变行业的原因。
这个判断决定了本文的写法:如果只讲「什么是自回归、什么是注意力」,那是在复述通论;真正属于 LLaMA 的问题是为什么这三个替换能稳定 scale、为什么要用远超 Chinchilla 最优的 token 数去训一个更小的模型、以及这两件事在参数和显存上分别留下什么账。
与工作区已有篇目的分工
| 已有篇目 | 已覆盖 | 本文的做法 |
|---|---|---|
llm-deep-dive.md |
BPE→预训练→SFT→RLHF 全链路、decoder-only 为何赢、谱系对比 | 不重复链路,只在谱系表补 Llama 3 精确配置 |
attention-mechanism-deep-dive.md |
缩放点积、dk\sqrt{d_k}dk 方差论证、softmax 雅可比、多头、因果掩码 | 不推注意力数学,只讲 RoPE 如何替换位置编码 |
bpe-wordpiece-deep-dive.md |
BPE 合并算法与词表账 | 只提 LLaMA 的两条 tokenizer 工程约定 |
rlhf-dpo-deep-dive.md |
SFT / 奖励模型 / DPO 闭式解 | 只强调 base model 与 chat model 的分界 |
loss-optimizer-deep-dive.md |
AdamW 状态与显存账、解耦衰减 | 只给本文复现所需的超参,不展开优化器 |
next-token-prediction-deep-dive.md |
自回归目标与解码 | 只写一行目标函数作为记号约定 |
逻辑链
- 定位:先把 LLaMA 拆成「通用骨架」与「LLaMA 特有」两半,避免把别人的贡献算到它头上。
- 三处替换:每一处都给数学形式与「为什么这么改」的推导,其中 23⋅4d\frac{2}{3}\cdot4d32⋅4d 是参数量守恒的直接结果,不是调参玄学。
- 过训练经济学:用 D≈20ND\approx20ND≈20N 与 6ND6ND6ND 两把尺子,算清「训练一次的钱」和「部署后每个 token 的钱」之间的交换。
- 参数账 / 显存账:逐层加出 6,738,415,6166{,}738{,}415{,}6166,738,415,616,再算 KV cache,说明长上下文为什么倒逼 GQA。
- 谱系与边界:LLaMA-1 → 2 → 3 改了什么、没改什么,以及五条最常见的讲错之处。
本文约定:参数账一律忽略偏置与 dropout(LLaMA 的线性层本身无 bias);权重按 fp16 = 2 bytes;
GiB = 2^{30}bytes;T = 10^{12}tokens;Chinchilla 最优取常用近似 D≈20ND\approx20ND≈20N。所有「示意」表格是量级说明,不是基准测试。
1 · 定位:LLaMA 不是新架构
1.1 通用骨架:decoder-only 自回归
训练目标只有一行,把序列的联合分布按链式法则拆成逐 token 条件概率:
L(θ)=−1T∑t=1TlogPθ (xt+1∣x1,…,xt) \mathcal{L}(\theta) = -\frac{1}{T}\sum_{t=1}^{T}\log P_\theta\!\left(x_{t+1}\mid x_1,\dots,x_t\right) L(θ)=−T1t=1∑TlogPθ(xt+1∣x1,…,xt)
推理时从这个分布里逐 token 采样,把已生成的 token 拼回输入——训练与推理是同构的,这是 decoder-only 相对 encoder-decoder 最大的工程优势。注意力为什么用缩放点积、为什么必须除 dk\sqrt{d_k}dk、因果掩码怎么加,见 attention-mechanism-deep-dive.md;本文默认这套骨架已知。
骨架上,一个 LLaMA block 的数据流是:
xl′=xl+Attn(RMSNorm(xl)),xl+1=xl′+FFN(RMSNorm(xl′)) x'_{l} = x_l + \mathrm{Attn}\big(\mathrm{RMSNorm}(x_l)\big), \qquad x_{l+1} = x'_{l} + \mathrm{FFN}\big(\mathrm{RMSNorm}(x'_l)\big) xl′=xl+Attn(RMSNorm(xl)),xl+1=xl′+FFN(RMSNorm(xl′))
注意归一化在残差分支之外(pre-norm),两条残差路径从输入到输出是恒等映射,梯度可以不经任何归一化层直接回传——这才是「提高训练稳定性」的确切含义,而不是「RMSNorm 本身更稳」。
1.2 LLaMA 没有发明什么
论文 2.2 节明确写了三处改动及其出处,全部是已有组件的组合:
| 替换 | 出处 | LLaMA 的动作 |
|---|---|---|
| pre-normalization + RMSNorm | Zhang & Sennrich, 2019;GPT-3 用 pre-norm | 把归一化放到子层输入,并换成 RMSNorm |
| SwiGLU | Shazeer, 2020;PaLM 已用 | 隐藏维度取 23⋅4d\frac{2}{3}\cdot4d32⋅4d 而非 PaLM 的 4d4d4d |
| RoPE | Su et al., 2021;GPT-Neo 已用 | 移除绝对位置嵌入,每层给 Q/K 加旋转 |
所以「LLaMA 提出了新架构」是不准确的。它的贡献是三件事:证明这套组合在 65B 规模上训练稳定、用纯公开数据复现了闭源模型的能力、把权重放出来,让整个开源生态(微调、量化、推理引擎)有了共同的底座。
1.3 两条容易被忽略的 tokenizer 约定
论文 2.1 节:用 SentencePiece 实现的 byte-pair encoding,所有数字拆成单个数字位(1234 → 1,2,3,4),未知 UTF-8 字符回退到字节。前者让数值算术不必为每个数量级单独学一个 token,后者保证 OOV 为 0。词表大小 V=32000V=32000V=32000【官方实现口径】。
1.4 base model 不是助手
LLaMA-1 发布的是基座模型:它只会续写,不会「听话」。能按指令回答问题的是后训练产物(Llama 2-Chat / Llama 3 Instruct),多出来的是 SFT + 偏好优化,不是预训练里学到的知识。这条分界在选型时很实际:拿 base 权重直接当聊天机器人用,观测到的「答非所问」是用法错误,不是模型能力问题。
2 · 三处组件替换的数学
2.1 RMSNorm:省掉的那次均值归约换走了什么
LayerNorm 与 RMSNorm 的形式:
LN(x)=x−μσ2+ϵ⊙g+b,μ=1d∑ixi, σ2=1d∑i(xi−μ)2 \mathrm{LN}(x)=\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}\odot g + b, \qquad \mu=\frac1d\sum_i x_i,\ \sigma^2=\frac1d\sum_i(x_i-\mu)^2 LN(x)=σ2+ϵx−μ⊙g+b,μ=d1i∑xi, σ2=d1i∑(xi−μ)2
RMSNorm(x)=x1d∑ixi2+ϵ⊙g \mathrm{RMSNorm}(x)=\frac{x}{\sqrt{\frac1d\sum_i x_i^{2}+\epsilon}}\odot g RMSNorm(x)=d1∑ixi2+ϵx⊙g
差别有两处:不做 re-centering(不减 μ\muμ)、不要偏置 bbb。ggg 是逐通道增益,可学习。少一次 mean reduce、少一份参数,在每层两次归一化、几十层的规模下是可观的算子开销节省。
代价是不变性的变化。第 8 节 A 组实跑给出:
| 变换 | LayerNorm | RMSNorm |
|---|---|---|
| x→3xx\to3xx→3x(缩放) | ∥Δ∥=2.354×10−7\lVert\Delta\rVert=2.354\times10^{-7}∥Δ∥=2.354×10−7 | 2.346×10−72.346\times10^{-7}2.346×10−7 |
| x→x+5x\to x+5x→x+5(平移) | ∥Δ∥=0\lVert\Delta\rVert=0∥Δ∥=0 | 2.8409812.8409812.840981 |
两者对缩放都不敏感(残差 10−710^{-7}10−7 量级完全来自分母里固定的 ϵ\epsilonϵ,ϵ→0\epsilon\to0ϵ→0 时严格为 0);只有 LayerNorm 对加性平移不变。RMSNorm 主动放弃了这一点,赌的是「预激活的均值中心化对 Transformer 并非必要」——后续实践表明这个赌赢了。
2.2 SwiGLU:23\frac{2}{3}32 不是玄学,是一行参数量守恒
标准 FFN 与 SwiGLU:
FFNReLU(x)=W2 ReLU(xW1),FFNSwiGLU(x)=(Swishβ(xW1)⊙xW3)W2 \mathrm{FFN}_{\text{ReLU}}(x) = W_2\,\mathrm{ReLU}(xW_1), \qquad \mathrm{FFN}_{\text{SwiGLU}}(x) = \big(\mathrm{Swish}_\beta(xW_1)\odot xW_3\big)W_2 FFNReLU(x)=W2ReLU(xW1),FFNSwiGLU(x)=(Swishβ(xW1)⊙xW3)W2
Swish(z)=z σ(z)\mathrm{Swish}(z)=z\,\sigma(z)Swish(z)=zσ(z),σ\sigmaσ 是 sigmoid;⊙\odot⊙ 是逐元素乘,W3W_3W
340



被折叠的 条评论
为什么被折叠?



