Context Bank:
экономия
токенов
Как не платить за один контекст дважды: Context Bank vs RAG, метрики для CTO и связка с Verstak и Gateway.
Самая незаметная статья расходов на LLM — не «дорогая модель», а повтор одного и того же контекста в каждом запросе. Спецификация проекта, README, регламент, история решений — если это улетает в prompt снова и снова, счёт растёт линейно с числом агентов и сессий.
Context Bank — продуктовая идея Verstak: хранить и переиспользовать контекст проекта так, чтобы не платить за него в каждом вызове LLM заново.
Симптомы «утечки» токенов
- каждый разработчик вставляет одни и те же 20 страниц документации;
- агентный pipeline на шаге 3 снова отправляет весь репозиторий;
- нет слоя «что уже известно проектом» — только сырой chat history;
- рост расходов быстрее роста полезной работы.
Context Bank vs RAG
| Подход | Когда |
|---|---|
| RAG | Поиск по большой базе документов, ответ с цитатами |
| Context Bank | Стабильный контекст проекта: решения, соглашения, активные задачи |
| Кэш prompt | Идентичные system-блоки на уровне API (где поддерживается) |
RAG отвечает «что в документах». Context Bank отвечает «что команда уже договорилась и что сейчас в фокусе».
Как считать экономию
Пример: system-контекст 12 000 токенов, 200 запросов в день, 22 рабочих дня.
- Без переиспользования: 12 000 × 200 × 22 ≈ 52.8M input tokens/мес только на повтор.
- При цене flash-модели из каталога это уже отдельная строка бюджета.
- Сокращение дублирования на 70% — минус одна «скрытая подписка».
Методика расчёта команды — в статье про стоимость LLM API.
Практика без Verstak
Даже до внедрения IDE можно снизить дубли:
- Один canonical system-prompt в репозитории, версионируется в git.
- Журнал решений (Decision Memory) — короткие записи вместо пересказа истории.
- Разделение «стабильный контекст» / «задача на сегодня» в промпте.
- Лимиты на размер контекста в агентных цепочках.
- Единый API-ключ и учёт в кабинете Gateway.
Context Bank в Verstak
В Verstak Context Bank связан с проектом, ролями Shadow Team и Decision Memory: контекст накапливается в runtime, а не в случайных чатах. Модели — через IRI Gateway, чтобы flash закрывал рутину, а flagship — точечные шаги.
Метрика для CTO
Отслеживайте не только «₽ в месяц», но и ₽ на полезный результат: закрытая задача, merged PR, ответ клиенту. Если токены растут быстрее outcomes — проблема в архитектуре контекста, а не в тарифе.
Итог
Экономия токенов — продуктовая дисциплина: не дублировать контекст, фиксировать решения, разделять модели. Context Bank в Verstak автоматизирует это в IDE; Gateway даёт прозрачный биллинг. Вместе они превращают LLM из «чёрного ящика расходов» в управляемый runtime.