§ Раздел · История LLM

История LLM

Хронология языковых моделей, ключевые paper и поворотные моменты

Другие разделы: AGI · Runtime · Агенты · Архитектура · Gateway · Продукты · Практика · Основы · How-to

Attention Is All You Need — на русском

Перевод landmark-paper Google (2017): Transformer, self-attention, multi-head attention — архитектурный фундамент современных LLM.

12 июня 2017

BERT — Pre-training of Deep Bidirectional Transformers

Перевод Google (2018): bidirectional encoder, masked LM, next sentence prediction — как появилось «понимание» текста до GPT-эры.

11 октября 2018

Scaling Laws for Neural Language Models

Перевод OpenAI (2020): степенные законы loss vs compute, params и data — почему индустрия гонится за масштабом.

23 января 2020

GPT-3 — Language Models are Few-Shot Learners

Перевод OpenAI (2020): 175B параметров, in-context learning, few-shot без градиентов — pivot к prompt engineering.

28 мая 2020