Когда нужна своя модель
- Документы и переписка не должны покидать компанию.
- Много запросов каждый день — выгоднее фиксированная аренда, чем оплата за токены.
- Нужна дообученная под ваши данные модель.
Если данных немного и требований к контуру нет — проще начать с API к готовым моделям: IRI Gateway даёт GPT, Claude, Gemini, DeepSeek по одному ключу с оплатой в рублях.
Из чего состоит решение
- Модель — открытая (Qwen, DeepSeek, Llama и др.) под ваши задачи и язык.
- GPU-сервер — по размеру модели и нагрузке (см. аренду GPU).
- Инференс-сервер с OpenAI-совместимым API — чтобы подключать ассистентов и свои сервисы.
- RAG — поиск по вашим документам с ссылками на источники.
- Доступ сотрудников — чат-интерфейс или ИИ-помощник на компьютере.
Какой сервер нужен
Для инференса модели ~30B в FP16 подходит один ускоритель с 64–80 ГБ видеопамяти; модели крупнее — в INT8/INT4 или на нескольких GPU. Для пилота на небольшой модели хватает карты с 24–48 ГБ.
Как запускаем
- Разбор задачи и данных, выбор модели.
- Пилот на арендованном сервере — проверка качества на ваших примерах.
- Продуктивный контур: сервер, API, RAG, доступы.
- Поддержка и обновление моделей.
Посчитаем под вашу задачу
Опишите задачу — подберём конфигурацию, назовём стоимость и сроки. Договор, счёт на расчётный счёт и документы — от IRI Lab.
Получить расчётЧастые вопросы
Как развернуть LLM на своём сервере?+
Выбрать открытую модель, подобрать GPU по её размеру, поднять инференс-сервер с API и подключить к нему интерфейс и документы. Поможем пройти все шаги.
Какая модель подойдёт для русского языка?+
Хорошо работают современные открытые модели Qwen и DeepSeek; выбор проверяем на ваших примерах в пилоте.
Что дешевле: своя модель или API?+
При небольшой нагрузке дешевле API с оплатой за токены. При постоянной большой нагрузке и требованиях к контуру выгоднее своя модель на арендованном сервере.
Можно ли подключить свою модель к рабочим инструментам?+
Да: инференс-сервер с OpenAI-совместимым API подключается к ассистентам, чат-ботам и ИИ-помощникам так же, как облачные модели.
Другие решения