GPT-3
на русском

Аннотация

Мы обучаем autoregressive language model GPT-3 — 175 миллиардов параметров — и оцениваем в режимах few-shot, one-shot и zero-shot. Без gradient updates и fine-tuning модель достигает конкурентных результатов на множестве NLP-задач, иногда приближаясь к SOTA fine-tuned систем. Мы выявляем, что масштаб резко улучшает few-shot performance — паттерн, намекающий на meta-learning «in context». GPT-3 демонстрирует сильную генерацию новостного текста, перевод, QA и арифметику в few-shot setting.

1. Введение

До GPT-3 доминировала парадигма pre-train + fine-tune: огромная модель на unsupervised text, затем supervised fine-tune на каждой задаче. Минусы: нужен labeled dataset на задачу; риск overfitting при малом data; каждая задача — отдельная модель в production.

Альтернатива — in-context learning: модель получает natural language instruction + несколько примеров (demonstrations) в prompt и продолжает паттерн. Обучение задаче происходит «на лету» через conditioning, без обновления весов.

GPT-3 масштабирует GPT-2 (1.5B) до 175B параметров на 300B+ tokens (filtered Common Crawl, WebText2, Books, Wikipedia). Гипотеза: при достаточном масштабе LM «учится учиться» из контекста prompt.

2. Подход

2.1 Model and training

Decoder-only Transformer (как GPT-2). 96 layers, d_model=12288, 96 attention heads. Context window 2048 tokens. Training на Microsoft Azure с mixed precision. 8 семейств моделей от 125M до 175B для изучения scaling.

2.2 In-context learning formats

• Zero-shot — только описание задачи: «Translate English to French: …»;
• One-shot — одна пара input→output + новый input;
• Few-shot — K примеров (обычно 10–32, умещаются в context) + target.

Никакого backprop на downstream — только forward pass. Prompt engineering становится «интерфейсом API».

3. Результаты

На SuperGLUE, translation (BLEU), TriviaQA, LAMBADA (completion), arithmetic (2–5 digit) — few-shot GPT-3 175B часто обходит GPT-2 и иногда приближается к fine-tuned SOTA. Ключевой график: performance vs model size — плавный рост; emergent jumps на некоторых задачах (например, 3-digit arithmetic) только у largest models.

Setting	Что показывает
Zero-shot	Instruction following без примеров — слабее few-shot, но масштабируется
Few-shot	Лучший режим для большинства benchmarks без fine-tune
Fine-tune baseline	На части задач fine-tuned BERT/T5 всё ещё выше — но gap сужается

4. Ограничения и риски

Авторы фиксируют: bias, toxicity, hallucinations, high inference cost, 2048 context limit, нестабильность few-shot к формулировке prompt. 175B inference требует model parallelism — не commodity hardware. Это мотивирует distillation, smaller instruct models и API-шлюзы (в т.ч. pay-as-you-go через IRI Gateway).

5. Заключение

GPT-3 закрепил тезис: одна большая LM + prompt заменяет zoo fine-tuned моделей для широкого класса задач. ChatGPT (2022) добавит RLHF и диалог — но few-shot/instruction core остаётся отсюда. Следующий логический paper в серии scaling: Scaling Laws.

---