Установка Ollama
на Windows и Linux

Что такое Ollama

Ollama — бесплатная программа, которая скачивает открытые модели (Llama, Qwen, DeepSeek, Mistral, Gemma и другие), запускает их на вашем компьютере и даёт к ним доступ из терминала и по HTTP. Данные никуда не уходят: всё работает локально. Модели берутся из библиотеки на сайте ollama.com в уже сжатом (квантованном) виде, так что 7–8-миллиардная модель занимает 4–5 ГБ.

Установка на Windows

1. Скачайте установщик с официального сайта ollama.com (раздел Download → Windows) и запустите его.
2. После установки Ollama работает в фоне — значок появится в трее.
3. Откройте PowerShell или командную строку и проверьте версию:

ollama --version

Если есть видеокарта NVIDIA или AMD с актуальным драйвером, Ollama задействует её сама. Без видеокарты модель тоже запустится, но на процессоре — заметно медленнее.

Установка на Linux

На Ubuntu, Debian и большинстве других дистрибутивов достаточно одной команды:

curl -fsSL https://ollama.com/install.sh | sh

Скрипт ставит программу и системную службу. Проверить, что служба работает:

systemctl status ollama

Для видеокарт NVIDIA заранее установите драйвер — проверка командой nvidia-smi.

Первая модель

Скачать и сразу запустить модель в режиме чата:

ollama run qwen2.5:7b

Полезные команды:

ollama pull llama3.2        # только скачать
ollama list                 # что уже скачано
ollama ps                   # что сейчас загружено в память
ollama rm llama3.2          # удалить модель

Тег после двоеточия — размер модели: :7b, :14b, :32b. Чем больше, тем умнее и тем больше памяти нужно — подробно в статье какая видеокарта нужна под модель.

Работа через API

Ollama слушает адрес http://localhost:11434 и понимает формат OpenAI API по пути /v1. Поэтому к ней подключаются почти любые программы, где можно указать свой адрес API:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen2.5:7b", "messages": [{"role": "user", "content": "Привет!"}]}'

В программах указывайте Base URL http://localhost:11434/v1, а в поле ключа — любую строку: локальной Ollama ключ не нужен.

Доступ из локальной сети

По умолчанию Ollama принимает запросы только с этого же компьютера. Чтобы к ней обращались другие машины, задайте переменную OLLAMA_HOST=0.0.0.0: в Windows — в переменных среды пользователя, затем перезапустите Ollama; в Linux — через systemctl edit ollama, строка Environment="OLLAMA_HOST=0.0.0.0", и перезапуск службы. Открывать такой порт в интернет без защиты нельзя: у Ollama нет своей авторизации.

Где хранятся модели

В Windows — в папке .ollama\models профиля пользователя, в Linux при установке службой — в каталоге пользователя ollama. Перенести на другой диск можно переменной OLLAMA_MODELS с новым путём.

Частые проблемы

• Модель отвечает очень медленно. Скорее всего, она не поместилась в видеопамять и работает на процессоре. Возьмите модель меньше (:7b вместо :14b) — ollama ps покажет, сколько ушло на GPU.
• Не хватает места на диске. Удалите ненужные модели через ollama rm или перенесите папку моделей.
• Программа не видит Ollama. Проверьте адрес: http://localhost:11434/v1, а не порт по умолчанию самой программы.

Что дальше

Удобный чат в браузере поверх Ollama — Open WebUI. Графический вариант без терминала — программа LM Studio: она тоже скачивает модели и отдаёт API в формате OpenAI.

Нет подходящей видеокарты — модель можно запустить на арендованном сервере: аренда GPU-серверов и сервер под свою LLM. А если важна не локальность, а просто доступ к сильным моделям — проще подключиться к ним по API через IRI Gateway.