Архитектуры LLM с нуля

Шесть архитектур

Каждая модель — отдельный класс библиотеки llm и глава пособия: что изменилось по сравнению с предыдущей моделью, формулы и разбор кода.

GPT-1 · OpenAI, 2018Decoder-only трансформер: обучаемые позиции, multi-head attention, post-LN.

GPT-2 · OpenAI, 2019Pre-LN, финальная нормализация, масштабированная инициализация.

LLaMA · Meta, 2023RoPE, RMSNorm и SwiGLU — основа современных открытых моделей.

Mistral · Mistral AI, 2023Grouped Query Attention и скользящее окно внимания.

Mixtral · Mistral AI, 2024Mixture-of-Experts: роутер выбирает два эксперта из восьми.

Gemma · Google DeepMind, 2024Multi-Query Attention, GeGLU, масштаб эмбеддингов на √d.

Почему этот проект

Читается целиком

Каждый блок трансформера — небольшой самостоятельный модуль. Библиотека зависит только от PyTorch и NumPy: никакой магии фреймворков между формулой и кодом.

Сверено с эталоном

На весах HuggingFace логиты всех шести моделей совпадают до 1e-5–1e-4, greedy-генерация с KV-кэшем — токен в токен. Больше 1150 тестов.

Три уровня объяснения

Каждый механизм — идея и статья, затем формулы с числовыми примерами, затем конкретная строка кода, которая их реализует.

Полный цикл

BPE-токенизатор, датасеты, обучение, генерация — greedy, top-k, top-p, KV-кэш, батч промптов — и загрузка готовых весов HuggingFace.

Попробуйте

Установка

git clone https://github.com/pese-git/llm-arch-research.git
cd llm-arch-research
uv sync

Нужны Python 3.10+ и uv. Видеокарта не обязательна. Подробнее — в Установке.

Обучить модель

uv run python experiments/llm_only/run_llm_experiment.py --model llama --action train \
    --config experiments/llm_only/configs/llama_train.json
uv run python experiments/llm_only/run_llm_experiment.py --model llama --action generate \
    --config experiments/llm_only/configs/llama_generate.json

Любая из шести моделей на встроенном учебном корпусе: gpt, gpt2, llama, mistral, mixtral, gemma. Подробнее — в Обучении.

Загрузить GPT-2

from transformers import GPT2LMHeadModel
from llm.models.gpt import GPT2, convert_hf_state_dict

hf = GPT2LMHeadModel.from_pretrained("openai-community/gpt2")
model = GPT2({"vocab_size": 50257, "embed_dim": 768, "num_heads": 12, "num_layers": 12,
              "max_position_embeddings": 1024, "dropout": 0.0, "tie_word_embeddings": True})
model.load_state_dict(convert_hf_state_dict(hf.state_dict()))

Рецепты для всех шести моделей — в Загрузке весов HuggingFace.

Документация

Учебное пособиеДля тех, кто хочет понять, как устроены LLM. Нужны Python и математика первых курсов, опыт в глубоком обучении — нет.

Руководство пользователяДля исследователей, которые обучают и запускают модели: конфиги, данные, обучение, генерация, веса HF.

Для разработчиковДля тех, кто развивает проект: устройство репозитория, добавление модели, тесты, соглашения.

С чего начать: понять архитектуры · обучить модель · запустить готовые веса · изменить код