DeepSeek и Qwen локально:
какая видеокарта нужна

Главное правило: модель должна поместиться в видеопамять

Скорость локальной модели определяется не процессором, а тем, поместилась ли она целиком в видеопамять (VRAM). Поместилась — ответ идёт быстро. Не поместилась — часть модели уходит в обычную память, и скорость падает в разы.

Прикидка для сжатых (квантованных, 4-бит) моделей, которые раздаёт Ollama: около 0,6 ГБ видеопамяти на каждый миллиард параметров плюс 1–2 ГБ на контекст разговора. Длинный контекст (десятки страниц текста) требует ещё больше.

Таблица: размер модели и память

Размер модели	Видеопамять (4-бит, ориентир)	Чем подойдёт
1–4 млрд	2–4 ГБ	простые ответы, классификация, черновики; работает и на ноутбуке
7–8 млрд	6–8 ГБ	обычный чат, пересказ, код попроще
14 млрд	10–12 ГБ	заметно лучше в рассуждениях и коде
30–32 млрд	20–24 ГБ	близко к облачным моделям среднего уровня
70 млрд	40–48 ГБ	нужны две видеокарты или серверная

Цифры ориентировочные: точный объём зависит от формата сжатия и длины контекста. Ollama сама сообщит, если модель не помещается в видеопамять (ollama ps покажет долю на процессоре).

Какую видеокарту под какую задачу

• 8 ГБ (распространённые игровые карты среднего класса) — модели 7–8 млрд: чат, пересказ, простые задачи.
• 12–16 ГБ — модели до 14 млрд с запасом под контекст. Разумный минимум для работы.
• 24 ГБ (старшие игровые карты) — модели 30–32 млрд, лучший домашний вариант.
• 48 ГБ и больше — две карты или профессиональные GPU, модели 70 млрд. Обычно это уже сервер.

Ноутбуки и компьютеры Mac на Apple Silicon используют общую память для процессора и графики: Mac с 32–64 ГБ памяти запускает модели, которым на ПК нужна дорогая видеокарта, — медленнее, но работает.

DeepSeek: что можно запустить дома

Полная модель DeepSeek (сотни миллиардов параметров) требует сервера с несколькими профессиональными GPU — дома её не запустить. Дома запускают «дистиллированные» версии: модели меньшего размера, обученные на ответах большой DeepSeek. В библиотеке Ollama они идут с тегами размера:

ollama run deepseek-r1:7b
ollama run deepseek-r1:14b

Эти модели «рассуждают» — сначала пишут ход мыслей, потом ответ, поэтому отвечают дольше обычных. Качество заметно ниже полной DeepSeek, но для многих задач хватает.

Qwen: семейство под любую видеокарту

Qwen от Alibaba выходит во многих размерах — от 1–3 до 30+ миллиардов — и хорошо понимает русский язык. Есть отдельные версии для кода (Qwen Coder). Пример:

ollama run qwen2.5:14b
ollama run qwen2.5-coder:7b

Новые поколения Qwen появляются в библиотеке Ollama вскоре после выхода — проверяйте актуальные теги на сайте ollama.com.

Когда локальная модель — не лучший выбор

• Нужно качество уровня лучших облачных моделей — локальные модели 7–14 млрд до него не дотягивают.
• Нужна длинная работа с большими документами — контекст съедает видеопамять.
• Модель нужна нескольким сотрудникам сразу — одна домашняя видеокарта обслуживает запросы по очереди.

Нет подходящей видеокарты — модель можно запустить на арендованном сервере: аренда GPU-серверов и сервер под свою LLM. А если важна не локальность, а просто доступ к сильным моделям — проще подключиться к ним по API через IRI Gateway.

Как установить Ollama — пошаговая инструкция. Сравнение моделей по качеству — в каталоге моделей с рейтингом.