AnythingLLM: нейросеть
для ваших документов
AnythingLLM — бесплатная программа, которая превращает папку документов в собеседника: загружаете договоры, регламенты, инструкции — и задаёте вопросы. С локальной моделью данные не покидают компьютер.
Локальные нейросети: все материалы и ссылки на установщики · какую программу выбрать · лучшие модели · LM Studio · Ollama · работа с документами · дообучение.
Что такое AnythingLLM
AnythingLLM — бесплатная программа, в которой нейросеть отвечает по вашим документам, а не по своей памяти. Есть версия для компьютера (Desktop) и серверная версия для команды. Модель можно взять локальную — тогда документы не уходят в облако — или подключить облачную по API.
Как нейросеть отвечает по документам: RAG на своих документах
Подход называется RAG (поиск + генерация). Модель не переучивают — ей подкладывают нужные куски документов прямо в запрос:
- Документы разбиваются на фрагменты по нескольку абзацев.
- Каждый фрагмент превращается в числовой «отпечаток смысла» (эмбеддинг) и попадает в векторную базу.
- Вопрос тоже превращается в отпечаток, и база находит самые близкие по смыслу фрагменты — даже если слова в них другие.
- Модель получает вопрос и эти фрагменты и отвечает по ним, со ссылками на источник.
AnythingLLM делает всё это сам: встроенная векторная база и модель эмбеддингов уже есть, настраивать ничего не нужно. Чем RAG отличается от дообучения — в статье как дообучить нейросеть на своих данных.
Как скачать и установить
- Скачайте AnythingLLM Desktop с официального сайта anythingllm.com — есть версии для Windows, macOS и Linux.
- При первом запуске выберите, какая модель будет отвечать: встроенная, локальная через Ollama или LM Studio, либо облачная по API.
- Создайте рабочее пространство (workspace) — отдельную «папку знаний» под тему: договоры, HR-регламенты, техническая документация.
Подключение локальной модели
- Ollama — укажите адрес
http://localhost:11434и выберите скачанную модель (как установить Ollama). - LM Studio — включите в LM Studio локальный сервер и укажите адрес
http://localhost:1234/v1(как пользоваться LM Studio).
Для русских документов выбирайте модель с хорошим русским языком — например, из семейств Qwen или Gemma.
Загрузка документов и вопросы
- В рабочем пространстве загрузите файлы: PDF, Word, текст, таблицы, страницы сайтов.
- Дождитесь индексации — программа разобьёт документы на фрагменты.
- Задавайте вопросы: «какой срок оплаты в договоре с поставщиком?», «что регламент говорит об отпуске?». Ответ придёт со ссылками на фрагменты.
Локальная нейросеть для PDF
PDF — самый частый случай: договоры, отчёты, инструкции. Перетащите PDF-файлы в рабочее пространство, и AnythingLLM извлечёт из них текст. Хорошо работают PDF с текстовым слоем (выгруженные из Word или 1С); со сканами сначала нужно распознавание текста. Если документ большой, задавайте конкретные вопросы — «перечисли штрафы из раздела 7» вместо «о чём договор» — так поиск найдёт нужные фрагменты точнее.
Ограничения
- Сканы без текстового слоя нужно сначала распознать — иначе программа их не прочитает.
- Маленькая локальная модель хуже связывает факты из разных документов: для сложных вопросов нужна модель крупнее.
- Ответ всё равно проверяйте по источнику, особенно в юридических и финансовых вопросах.
Когда нужна система для компании
Если документами пользуется много сотрудников, нужны права доступа, обновление базы и интеграция с порталом — это уже корпоративная база знаний: база знаний с ИИ-поиском.
Не хватает своей видеокарты — модель можно запустить на арендованном сервере (аренда GPU) или подключиться к сильным облачным моделям по API через IRI Gateway.