Что такое
токены
в LLM
Токены — не символы и не слова. Как считается биллинг, почему prompt дороже output и как не сжечь баланс.
Токен — единица текста для модели
LLM не читает буквы по одной. Она получает токены — куски текста после токенизации: часть слова, целое слово, знак препинания или пробел. «Привет» может быть одним токеном, «tokenization» — тремя.
Для вас как для разработчика токены — это единица оплаты. В IRI Gateway цены указаны за 1 миллион токенов на вход (prompt) и на выход (ответ модели).
Input и output считаются отдельно
- inPrompt tokensВсё, что вы отправили: system prompt, история чата, RAG-контекст, код файлов.
- outCompletion tokensТекст, который сгенерировала модель. Reasoning-модели (DeepSeek R1, o-series) могут «думать» — thinking-токены тоже в bill.
Пример: запрос на 2 000 токенов + ответ на 500 токенов при Sonnet — считаются обе части по своим тарифам. Смотрите прайс на каталоге моделей.
Сколько это в реальности
Ориентир для русского/английского текста: ~750–900 слов ≈ 1 000 токенов. Код и JSON «плотнее» — больше токенов на строку. Длинный system prompt + 10 файлов в контексте — главная причина неожиданного счёта.
Free-tier IRI Gateway: Gemini Flash и Llama 3.2 3B. IRI Zero — бесплатный режим на доступной бесплатной вычислительной ёмкости. Если бесплатная ёмкость временно исчерпана, запрос не переключается на платную модель автоматически. Платный баланс не трогается. Удобно для прототипов.
Как экономить
Короткий system prompt · дешёвая модель на triage (Haiku, Flash) · flagship только на финальный pass · лимиты на API-ключ в кабинете · смотрите логи запросов.
Коротко
Токены — валюта API. Считаются вход и выход. Прайс в ₽ за 1M — на /gateway/models/. Дальше — что такое API.