Обозначения и математический минимум

Эта страница собирает обозначения, которые используются во всех главах, и напоминает математику, без которой формулы пособия читать трудно. Если вы уверенно умножаете матрицы и знаете, что такое softmax и логарифм правдоподобия, достаточно просмотреть таблицу обозначений.

Размерности

Символ	Смысл	Ключ конфига / имя в коде	Пример (учебный конфиг)
$B$	размер батча — сколько последовательностей обрабатывается одновременно	batch_size	2
$T$	длина последовательности (куска токенов, поданного в модель)	seq_len	до 128
$T_{\max}$	максимальная длина контекста	max_position_embeddings	128 или 512
$V$	размер словаря	vocab_size	~1000
$d$	размерность модели: эмбеддинга и скрытого состояния	embed_dim, emb_size	256
$L$	число блоков декодера	num_layers	4
$H$	число голов Q (запросов)	num_heads, num_q_heads	4
$G$	число голов K/V (ключей и значений)	num_kv_heads	2
$d_h$	размер одной головы	head_size	64
$d_{ff}$	скрытый размер feed-forward сети	intermediate_size	1024
$E$	число экспертов MoE	num_experts	8
$k$	сколько экспертов выбирается на токен	top_k_experts	2
$W$	ширина скользящего окна внимания	window_size	16

Обычно $H \cdot d_h = d$, а $d_{ff} = 4d$, но в некоторых моделях это не так — каждый раз это оговаривается.

Индексы и переменные

Символ	Смысл
$x_t$	токен (целое число от 0 до $V-1$) на позиции $t$; позиции нумеруются с 0
$x_{<t}$	все токены до позиции $t$: $x_0, \dots, x_{t-1}$
$\mathbf{h}_t \in \mathbb{R}^{d}$	скрытое состояние (вектор) позиции $t$
$X \in \mathbb{R}^{T \times d}$	матрица скрытых состояний: строка $t$ — вектор позиции $t$
$H^{(l)} \in \mathbb{R}^{T \times d}$	выход блока декодера $l = 1, \dots, L$; $H^{(0)}$ — вход первого блока (эмбеддинги)
$U^{(l)} \in \mathbb{R}^{T \times d}$	состояние внутри блока $l$ после attention-подслоя (главы части II)
$E \in \mathbb{R}^{V \times d}$	матрица эмбеддингов токенов; $E[x_t]$ — её строка. В главах о MoE $E$ — число экспертов, и матрица эмбеддингов там обозначается $E_{\text{tok}}$
$Z \in \mathbb{R}^{T \times V}$	матрица логитов для всей последовательности; строка $Z_t$ — вектор $\mathbf{z}$ позиции $t$
$Q, K, V$	матрицы запросов, ключей и значений в attention (не путать $V$-матрицу со словарём — из контекста всегда ясно)
$W_Q, W_K, W_V, W_O$	матрицы весов проекций attention
$\mathbf{z} \in \mathbb{R}^{V}$	logits — ненормированные оценки токенов
$\mathbf{p} \in \mathbb{R}^{V}$	распределение вероятностей следующего токена, $\mathbf{p} = \mathrm{softmax}(\mathbf{z})$
$\mathcal{L}$	функция потерь (loss)
$\theta$	все обучаемые параметры модели; в главе о RoPE $\theta_i$ — частота $i$-й пары координат
$\eta$	скорость обучения (learning rate)
$\tau$	температура при генерации
$\odot$	поэлементное произведение (произведение Адамара)
$[\,a;\,b\,]$	конкатенация векторов

Векторы-строки и линейный слой

В пособии, как и в PyTorch, вектор — это строка, а линейный слой умножает её на матрицу справа:

$$\mathbf{y} = \mathbf{x} W + \mathbf{b}, \qquad \mathbf{x} \in \mathbb{R}^{d_{in}},\; W \in \mathbb{R}^{d_{in} \times d_{out}},\; \mathbf{b} \in \mathbb{R}^{d_{out}},\; \mathbf{y} \in \mathbb{R}^{d_{out}}$$

где:

• $\mathbf{x}$ — входной вектор длины $d_{in}$;
• $W$ — матрица весов: столбец $j$ — это веса, с которыми входы складываются в выход $j$;
• $\mathbf{b}$ — сдвиг (bias);
• $\mathbf{y}$ — выход длины $d_{out}$.

Для матрицы $X \in \mathbb{R}^{T \times d_{in}}$ из $T$ строк то же умножение применяется к каждой строке сразу: $Y = XW + \mathbf{b}$ ($\mathbf{b}$ прибавляется к каждой строке). Число параметров слоя — $d_{in} \cdot d_{out} + d_{out}$.

В PyTorch nn.Linear(d_in, d_out) хранит матрицу транспонированной (weight имеет форму [d_out, d_in]) и считает x @ weight.T + bias — результат тот же.

Пример: $\mathbf{x} = (1, 2)$, $W = \begin{pmatrix} 1 & 0 & -1 \\ 2 & 1 & 0 \end{pmatrix}$, $\mathbf{b} = (0, 0, 1)$. Тогда $\mathbf{y} = (1\cdot1 + 2\cdot2,\; 1\cdot0 + 2\cdot1,\; 1\cdot(-1) + 2\cdot0) + \mathbf{b} = (5, 2, 0)$.

Тензоры и формы

Тензор — многомерный массив. Форма пишется в квадратных скобках, как в PyTorch: [B, T, d] — батч из $B$ последовательностей по $T$ векторов размерности $d$. В attention добавляется ось голов: [B, H, T, d_h]. Операции над последней осью (линейный слой, нормализация, softmax по ключам) применяются независимо ко всем остальным индексам.

Скалярное произведение, норма, косинус

$$\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i, \qquad \|\mathbf{a}\| = \sqrt{\mathbf{a} \cdot \mathbf{a}}, \qquad \cos(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|}$$

Скалярное произведение велико, когда векторы смотрят в одну сторону и длинные; косинус измеряет только угол. На скалярном произведении построен attention: «насколько запрос похож на ключ».

Экспонента, логарифм, softmax

Softmax превращает вектор произвольных чисел $\mathbf{z}$ в распределение вероятностей:

$$\mathrm{softmax}(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}}$$

где:

• $z_i$ — $i$-я компонента входа (logit);
• знаменатель — нормировка, чтобы сумма выходов была равна 1.

Свойства: все выходы положительны; больший $z_i$ даёт большую вероятность; прибавление одной и той же константы ко всем $z_i$ результат не меняет (поэтому на практике вычитают $\max_j z_j$, чтобы $e^{z}$ не переполнялось). Пример: $\mathbf{z} = (2, 1, 0)$ → $e^{\mathbf{z}} \approx (7.389, 2.718, 1)$, сумма $\approx 11.107$, $\mathrm{softmax} \approx (0.665, 0.245, 0.090)$.

Логарифм $\ln$ — натуральный. Полезные факты: $\ln(ab) = \ln a + \ln b$ (произведение вероятностей превращается в сумму логарифмов), $\ln 1 = 0$, $\ln p < 0$ при $0 < p < 1$.

Вероятность

• $P(x_t \mid x_{<t})$ — условная вероятность токена $x_t$ при известных предыдущих.
• Математическое ожидание $\mathbb{E}[X]$ — среднее значение случайной величины; дисперсия $\mathrm{Var}[X] = \mathbb{E}[(X - \mathbb{E}X)^2]$ — средний квадрат отклонения.
• Для независимых $X, Y$ с нулевым средним: $\mathrm{Var}[X + Y] = \mathrm{Var}[X] + \mathrm{Var}[Y]$ и $\mathrm{Var}[XY] = \mathrm{Var}[X]\,\mathrm{Var}[Y]$. Эти два факта объясняют масштаб $1/\sqrt{d_h}$ в attention и инициализацию весов.
• $\mathcal{N}(\mu, \sigma^2)$ — нормальное распределение со средним $\mu$ и дисперсией $\sigma^2$; «веса инициализируются $\mathcal{N}(0, 0.02^2)$» значит «со стандартным отклонением 0.02».

Производные и градиент

• Градиент $\nabla_\theta \mathcal{L}$ — вектор частных производных loss по всем параметрам; показывает направление наибыстрейшего роста. Обучение делает шаг в обратную сторону: $\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}$.
• Цепное правило: если $y = f(g(x))$, то $\frac{dy}{dx} = f'(g(x))\, g'(x)$. Обратное распространение ошибки (backpropagation) — это цепное правило, применённое ко всему графу вычислений от loss к каждому параметру; в PyTorch его выполняет loss.backward().

Сложность

$O(\cdot)$ описывает, как растут время или память с ростом размера: attention стоит $O(T^2 d)$ операций — удвоение длины текста учетверяет работу.

Как читать формулы в пособии

После каждой формулы идёт список «где: …» с расшифровкой всех символов и форм тензоров, затем объяснение словами и, по возможности, числовой пример. Если в формуле встречается незнакомый символ — ищите его в таблицах выше или в глоссарии.