Локальная
нейросеть

Зачем запускать нейросеть у себя

• Данные не уходят наружу. Договоры, медицинские записи, внутренняя переписка остаются на вашем железе.
• Работа без интернета и без зависимости от доступности зарубежного сервиса.
• Нет лимитов и оплаты за токены: заплатили за железо и пользуетесь.

Минусы тоже есть. Модели, которые помещаются на один компьютер, заметно слабее лучших облачных в сложных рассуждениях и программировании. А хороший сервер стоит как несколько лет подписки. Сравнение подходов для компании — в статье свой сервер или облачный API.

Сколько нужно памяти

Главное ограничение — память видеокарты (или оперативная память, если считать на процессоре, но это в разы медленнее). Модели обычно запускают сжатыми до 4 бит на вес — так они занимают примерно в четыре раза меньше места при небольшой потере качества.

Размер модели	Память в 4-битном сжатии	На чём пойдёт
3–4 млрд параметров	2–3 ГБ	ноутбук, даже без отдельной видеокарты
7–8 млрд	5–6 ГБ	видеокарта на 8 ГБ
14 млрд	9–10 ГБ	видеокарта на 12–16 ГБ
27–32 млрд	17–20 ГБ	видеокарта на 24 ГБ
70 млрд	около 40 ГБ	две карты по 24 ГБ или серверная

К этому добавьте память на контекст: длинный документ в запросе занимает ещё несколько гигабайт. Компьютеры с общей памятью, вроде Mac на чипах M, тоже хорошо подходят: модель берёт обычную оперативную память.

Как запустить на своём компьютере

Ollama — для тех, кто не боится командной строки

1. Скачайте установщик с сайта ollama.com и установите.
2. В терминале выполните команду, например ollama run qwen3:8b. Модель скачается и откроется чат.
3. Ollama поднимает у вас на компьютере сервер с OpenAI-совместимым API по адресу http://localhost:11434. К нему можно подключить программы, которые умеют работать со «своим адресом» модели.

LM Studio — с окнами и кнопками

Программа с поиском моделей, загрузкой в один клик и чатом. Сама подбирает вариант сжатия под вашу видеокарту и тоже умеет поднимать локальный API.

Картинки

Для генерации изображений локально используют открытые модели Stable Diffusion и Flux через программы вроде ComfyUI. Им нужна видеокарта от 8–12 ГБ.

Пошаговые инструкции: установка Ollama, какая видеокарта нужна под DeepSeek и Qwen, Open WebUI, ComfyUI, n8n на своём сервере.

Как использовать в работе

Чат с локальной моделью полезен, но больше пользы, когда модель может работать с вашими файлами и программами. ИИ-помощник Verstak для Windows подключает локальную модель через Ollama: она читает документы, разбирает таблицы и готовит отчёты прямо на компьютере, без отправки данных во внешний сервис.

Локальная нейросеть для компании

Когда моделью пользуются десятки сотрудников, одного компьютера с Ollama мало. Нужно:

• сервер с видеокартами и программой, которая обслуживает много запросов параллельно (например, vLLM);
• вход по учётным записям, права доступа и журнал запросов;
• поиск по документам компании, чтобы модель отвечала по вашим регламентам;
• обновление моделей и контроль качества ответов.

У нас развёртывание LLM на сервере компании стоит от 1 500 000 ₽ и занимает 8–16 недель, с подбором железа, моделью, поиском по документам и доступом для сотрудников.

---