Как работает
трансформер

1. Текст превращается в токены

Модель не видит буквы. Сначала токенизатор режет текст на куски — токены. Частое слово занимает один токен, редкое или длинное — несколько. В русском тексте на одно слово уходит в среднем 2–3 токена, в английском около 1,3. Поэтому одна и та же мысль по-русски обходится дороже: цена API считается за токены. Подробнее — в статье что такое токены.

Каждому токену соответствует вектор — список из нескольких тысяч чисел. Его называют эмбеддингом. Похожие по смыслу токены получают похожие векторы, и дальше модель работает только с ними.

2. Модель запоминает порядок слов

«Собака укусила почтальона» и «почтальон укусил собаку» состоят из одних слов. Чтобы различать порядок, к векторам добавляют информацию о позиции. В статье 2017 года для этого брали синусоиды разной частоты. Современные модели чаще используют RoPE — поворот векторов на угол, зависящий от позиции. Он лучше переносится на длинные тексты, и именно на нём держатся окна в сотни тысяч токенов.

3. Внимание: какие слова важны друг для друга

Главная идея трансформера. Возьмём фразу «Я положил деньги в банк» и фразу «Мы сидели на берегу, банк был крутой». Слово «банк» одинаковое, смысл разный. Чтобы понять, какой банк имеется в виду, модель должна посмотреть на соседей: «деньги» в первом случае, «берег» во втором.

Для этого каждый токен порождает три вектора:

• запрос (query) — что этот токен ищет в остальном тексте;
• ключ (key) — по какому признаку его можно найти;
• значение (value) — что он отдаст, если его найдут.

Запрос «банка» сравнивается с ключами всех остальных токенов. Где совпадение сильнее, оттуда берётся больше значения. На выходе у «банка» новый вектор, в который подмешан смысл «денег» или «берега». Вся операция умещается в одну формулу:

Attention(Q, K, V) = softmax(Q·Kᵀ / √d) · V

Q·Kᵀ даёт таблицу совпадений «каждый с каждым», softmax превращает её в доли от единицы, а умножение на V смешивает значения в этих долях.

4. Много голов внимания

Одного взгляда мало: слово связано с соседями по грамматике, по смыслу, по ссылкам вроде «он» и «она». Поэтому внимание считают параллельно в нескольких «головах», у каждой свои запросы и ключи. Одна голова учится находить подлежащее для глагола, другая — к какому существительному относится местоимение. В крупных моделях голов десятки на каждом слое. Чтобы сэкономить память, современные модели делят ключи и значения между группами голов (приём GQA).

5. Полносвязный блок: где хранятся знания

После внимания каждый токен по отдельности проходит через полносвязную сеть: два больших матричных умножения с нелинейностью между ними. Внимание смешивает информацию между словами, а этот блок перерабатывает её внутри слова. Исследования показывают, что факты вроде «столица Франции — Париж» в основном хранятся в весах именно этих блоков.

В моделях на основе смеси экспертов (MoE) вместо одной большой сети стоят десятки маленьких, и для каждого токена включаются лишь несколько из них. Так устроены DeepSeek, Qwen Max и многие другие: параметров у модели сотни миллиардов, а на каждый токен работает их малая часть. Поэтому огромная модель может стоить в API недорого.

6. Слои стопкой

Внимание и полносвязный блок вместе образуют один слой. Слоёв в модели от нескольких десятков до сотни с лишним. Чтобы сигнал не терялся в такой глубине, вход каждого блока прибавляется к его выходу (остаточное соединение), а значения выравниваются нормализацией. На нижних слоях модель разбирается с грамматикой и словами, на верхних — со смыслом задачи.

7. Как модель пишет ответ

Современные LLM используют только декодерную половину трансформера. Задача у неё одна: по всем предыдущим токенам предсказать следующий. Модель выдаёт вероятность для каждого токена из словаря, один выбирается, приписывается к тексту, и всё повторяется. Маска не даёт токену смотреть вперёд, иначе модель «подсмотрела» бы ответ при обучении.

Параметр temperature управляет выбором: при низкой модель почти всегда берёт самый вероятный токен и отвечает предсказуемо, при высокой чаще рискует и пишет разнообразнее.

Чтобы не пересчитывать весь текст на каждом шаге, ключи и значения уже обработанных токенов складываются в кэш (KV-кэш). Он растёт вместе с контекстом и занимает память видеокарты. Это одна из причин, почему у провайдеров выходные токены дороже входных, а длинный контекст бывает дороже короткого.

8. Почему контекст ограничен

Внимание сравнивает каждый токен с каждым. Если текст вырос вдвое, сравнений стало вчетверо больше. Окно в миллион токенов стало возможным благодаря инженерным приёмам: экономной работе с памятью, кэшированию, сжатию ключей. Но модель по-прежнему хуже держит детали из середины очень длинного текста, чем из начала и конца. Для работы с большими базами документов вместо огромного контекста часто используют поиск по фрагментам — RAG.

Трансформер 2017 и LLM 2026: что изменилось

	Статья 2017 года	Модели 2026 года
Состав	энкодер и декодер	только декодер
Позиции	синусоиды	RoPE и его варианты
Внимание	полное, 8 голов	группы голов (GQA), десятки голов
Полносвязный блок	один на слой	часто смесь экспертов (MoE)
Размер	213 млн параметров	от единиц миллиардов до триллионов
Контекст	сотни токенов	128 тыс. — 1 млн токенов
Обучение	перевод с языка на язык	предобучение на текстах, затем дообучение на инструкциях и с обратной связью

Общая схема при этом осталась прежней: токены, внимание, полносвязный блок, слои. Хронология шагов от RNN до современных моделей — в истории LLM.

---