Scaling Laws
на русском

Аннотация

Мы изучаем эмпирические scaling laws для loss autoregressive language models. Loss следует степенным законам как функция compute budget, размера dataset, количества parameters и architecture details. Оптимальное распределение compute между params и data предсказуемо. Эти законы позволяют экстраполировать performance больших моделей до их обучения и объясняют, почему индустрия инвестирует в 10²³ FLOPs training runs.

1. Мотивация

Обучение LLM стоит миллионы долларов. Нужен ответ: «если удвоить compute — насколько упадёт loss?» Kaplan et al. систематически обучают модели от 768M до 1.5B params на разных объёмах данных и строят power-law fits.

2. Основные законы

2.1 Loss vs compute (N, D)

Пусть N — число parameters (non-embedding), D — число training tokens, C ≈ 6ND — compute (FLOPs) для одного pass. Test cross-entropy loss L хорошо аппроксимируется:

L(N) ≈ (N_c / N)^α_N     (при фиксированном D → ∞)
L(D) ≈ (D_c / D)^α_D     (при фиксированном N)

Экспоненты α_N ≈ 0.076, α_D ≈ 0.095 (порядок величин из paper). На практике: удвоение params даёт предсказуемый, но убывающий выигрыш.

2.2 Chinchilla-optimal (контекст после paper)

Kaplan et al. рекомендовали при фиксированном compute C увеличивать N агрессивнее D. DeepMind Chinchilla (2022) уточнила: многие модели undertrained — оптimal ~20 tokens per parameter для given C. Индустрия сдвинулась к longer training на smaller models при том же budget.

2.3 Sample efficiency

Большие модели достигают той же loss с меньшим D — но только если не остановить обучение рано. Early stopping по val loss на маленьких моделях позволяет предсказывать asymptotic loss больших.

3. Экспериментальный setup

Transformer decoder-only, разные widths/depths, vocab 50257 (GPT-2). Datasets: WebText2, Books, Wikipedia subsets. Метрика: cross-entropy на held-out text. Fitting на log-log plots — surprisingly smooth curves across orders of magnitude.

4. Implications

• Forecasting — можно оценить GPT-3-class loss до запуска full training;
• Allocation — как делить budget между wider vs deeper vs more data;
• Diminishing returns — каждый +1 BLEU/log-perplexity стоит экспоненциально дороже;
• MoE и inference — позже: train huge, serve subset (Mixtral, GPT-4 class).

5. Заключение

Scaling Laws формализовали «больше = лучше» в quantitative framework. GPT-3, PaLM, Llama, Claude — все product decisions опираются на эти кривые (плюс Chinchilla correction). Для команд без billion-dollar budget: distillation, open weights, API-шлюз с pay-as-you-go — практичный путь к тому же quality tier.

---