1943
Нейронная модель McCulloch–Pitts
Уоррен Маккаллок и Уолтер Питтс формализуют «искусственный нейрон» — логический пороговый элемент. Это не языковая модель, но отправная точка вычислительного подхода к мышлению.
Это living-документ лаборатории: мы дополняем хронологию по мере выхода значимых моделей и paper. Для разработчиков — связка с каталогом LLM и Intelligence Runtime.
До нейросетевого бума
1950
Тест Тьюринга
Алан Тьюринг задаёт критерий «машинного мышления» через диалог. Долгие десятилетия это остаётся north star для NLP и чат-ботов.
1957
Перцептрон Розенблатта
Фрэнк Розенблатт демонстрирует обучаемый классификатор. Хайп сменяется «зимой» после критики Минского и Паперта (1969) — XOR нельзя одним слоем.
1986
Backpropagation становится mainstream
Rumelhart, Hinton и Williams популяризуют обратное распространение ошибки. Многослойные сети снова становятся обучаемыми — фундамент для RNN и дальнейших seq2seq.
RNN, LSTM и языковое моделирование
1990
Elman-сеть и ранние RNN
Рекуррентные сети учатся обрабатывать последовательности. Проблема длинных зависимостей ещё не решена — но идея «модель читает текст слева направо» закрепляется.
1997
LSTM — Hochreiter & Schmidhuber
Long Short-Term Memory с gating-механизмом частично решает vanishing gradient. До Transformer именно LSTM/GRU доминируют в машинном переводе и speech.
2003
Neural Language Model — Bengio et al.
Йошуа Bengio показывает, что нейросеть может моделировать распределение следующего слова лучше n-gram. Рождается современная парадигма «language modeling».
Attention и Transformer
2013
word2vec — Mikolov et al.
Плотные эмбеддинги слов (CBOW, Skip-gram) дают семантическую арифметику: «король − мужчина + женщина ≈ королева». Векторные представления текста становятся стандартом.
2014
Seq2seq + attention — Bahdanau et al.
Энкодер–декодер с механизмом внимания для перевода. Модель «смотрит» на разные части входа при генерации каждого токена — прямой предшественник self-attention.
2015
ResNet и очень глубокие сети
He et al. решают деградацию глубины через skip-connections. Идея residual-связей позже войдёт в каждый блок Transformer.
2017
Attention Is All You Need — Transformer
Google Brain / Research публикует архитектуру без RNN и CNN: только attention + feed-forward. WMT'14 EN→DE SOTA за доли стоимости обучения. Читать перевод на русском →
Эра больших языковых моделей
2018
GPT-1 — OpenAI
Generative Pre-Training: decoder-only Transformer на BooksCorpus, затем fine-tune. Тезис: unsupervised pretrain + supervised head — шаблон для GPT-2/3/4.
2018
BERT — Google
Bidirectional Encoder Representations from Transformers: masked LM + next sentence prediction. Encoder-only модель захватывает понимание текста; fine-tune бьёт SOTA на GLUE. Читать перевод на русском →
2019
GPT-2 и scaling laws
OpenAI масштабирует decoder-only до 1.5B параметров. «Слишком опасно публиковать» — но эффект zero-shot на задачах без fine-tune становится заметен.
2020
GPT-3 — 175B параметров
Few-shot in-context learning без градиентного обновления. Промпт из примеров заменяет fine-tune для многих задач — индустриальный pivot к prompt engineering. Читать перевод на русском →
2020
Scaling Laws — Kaplan et al.
OpenAI формализует степенные законы: loss падает предсказуемо с compute, data и params. Обоснование гонки за триллионы токенов и сотни миллиардов весов. Читать перевод на русском →
2022
ChatGPT — RLHF в массовый продукт
GPT-3.5 + instruction tuning + RL from human feedback. Диалоговый интерфейс выводит LLM из research labs в повседневную работу миллионов пользователей.
2022
Chinchilla — оптimal compute
DeepMind показывает: многие модели недообучены по данным. Оптимальный баланс params/data меняет рецепты pretrain (больше токенов на параметр).
2023
GPT-4 и мультимодальность
Следующий скачок reasoning и tool use. Конкуренты — Claude 3, Gemini, Llama 2/3, Mistral — все на базе Transformer-variants и massive pretrain.
2023
LLaMA — open weights
Meta публикует семейство открытых весов. Локальный inference, fine-tune и экосистема (Ollama, vLLM) ускоряют распределённый AGI-стек.
2024
MoE и длинный контекст
Mixture-of-Experts (Mixtral, GPT-4o class) и окна 128K–1M+ токенов. Архитектура та же — меняются масштаб, routing и inference-оптимизации.
2025
Reasoning models и agents
o-series, DeepSeek-R1, Claude «extended thinking»: явные chain-of-thought, test-time compute, agent runtimes (Verstak, Claude Code). LLM становится слоем runtime, не только чатом.
Landmark-paper на русском
Полные переводы статей, изменивших индустрию. Список будет пополняться.
Attention Is All You Need — на русском
Перевод landmark-paper Google (2017): Transformer, self-attention, multi-head attention — архитектурный фундамент современных LLM.
BERT — Pre-training of Deep Bidirectional Transformers
Перевод Google (2018): bidirectional encoder, masked LM, next sentence prediction — как появилось «понимание» текста до GPT-эры.
GPT-3 — Language Models are Few-Shot Learners
Перевод OpenAI (2020): 175B параметров, in-context learning, few-shot без градиентов — pivot к prompt engineering.
Scaling Laws for Neural Language Models
Перевод OpenAI (2020): степенные законы loss vs compute, params и data — почему индустрия гонится за масштабом.