Справочная карточка · REF
MiniCPM SALA: гибридное внимание и длинный контекст
MiniCPM SALA — текстовая модель OpenBMB с гибридным механизмом внимания. SALA расшифровывается как Sparse Attention and Linear Attention. Основной предмет выпуска — обработка очень длинных последовательностей, а не добавление визуального входа по аналогии с MiniCPM V.
Модель и точные варианты
MiniCPM SALA — текстовая модель OpenBMB с гибридным механизмом внимания. SALA расшифровывается как Sparse Attention and Linear Attention. Основной предмет выпуска — обработка очень длинных последовательностей, а не добавление визуального входа по аналогии с MiniCPM V.
| Вариант или характеристика | Подтверждённые сведения |
|---|---|
| openbmb/MiniCPM-SALA | Официальная самостоятельная карточка весов |
| 25% внимания | Разреженное InfLLM-v2: выборочная работа с контекстом |
| 75% внимания | Линейное Lightning Attention: более экономичная обработка последовательности |
| Позиционное представление | HyPE — Hybrid Positional Embedding |
| Контекст | Разработчик заявляет 1M+ токенов |
| Лицензия | Apache 2.0 |
Зачем сочетаются два механизма
Разреженное внимание сохраняет возможность обращаться к выбранным фрагментам длинного документа. Линейная часть уменьшает рост вычислений при увеличении длины. Соотношение 25% и 75% относится к архитектуре внимания, а не к распределению входных токенов между двумя отдельными сервисами.
HyPE используется для позиционного представления на больших длинах. Заявление о миллионном контексте относится к конкретному выпуску SALA и его реализации. Оно не распространяется автоматически на другие модели MiniCPM и не задаёт миллион токенов готового ответа.
Границы применения
Практические задачи — поиск и сопоставление сведений внутри больших текстов, работа с длинной историей и документами. Доступная длина последовательности не гарантирует точного извлечения каждого факта: для такой проверки нужны вопросы с известными ответами и контролируемым положением нужного фрагмента.
При запуске необходимо использовать рекомендованную реализацию гибридного внимания и согласованные конфигурационные файлы. Ограничение памяти зависит от длины входа и выбранного режима исполнения. Карточка ссылается на технический отчёт MiniCPM 4; это источник подробностей обучения, а не основание приписывать SALA функции всех соседних моделей. Публичные веса и Apache 2.0 описывают формат распространения, но не обещают готовый облачный endpoint.
Официальные источники
Автор: Павел Фролов. Источники проверены: 2026-11-07.