Справочная карточка · REF
DiffusionGemma 26B A4B
DiffusionGemma генерирует текст блоками с последовательным уточнением, а не только по одному следующему токену. Модель основана на Gemma 4 26B A4B и принимает текст и визуальные данные. Название diffusion здесь не означает генератор изображений.
Модель и точные варианты
DiffusionGemma генерирует текст блоками с последовательным уточнением, а не только по одному следующему токену. Модель основана на Gemma 4 26B A4B и принимает текст и визуальные данные. Название diffusion здесь не означает генератор изображений.
| Вариант или характеристика | Подтверждённые сведения |
|---|---|
| google/ | 25.2B параметров всего, 3.8B активных |
| Контекст | 256K токенов |
| Блок уточнения | Canvas размером 256 токенов |
| Эксперты | 8 активных из 128 маршрутизируемых; 1 общий |
| Вход и выход | Текст, изображения и кадры видео на входе; текст на выходе |
| Лицензия | Apache 2.0 согласно официальной карточке |
Как строится ответ
Модель сначала обрабатывает известный контекст, затем уточняет блок будущего текста с двунаправленным вниманием. После завершения блока его представление добавляется к сохранённому состоянию, и начинается следующий блок. Такая организация отличается от обычного выбора одного токена за шаг.
Размер canvas не равен длине всего ответа: длинный результат состоит из нескольких блоков. Число шагов уточнения и режим исполнения влияют на компромисс между вычислениями и качеством, поэтому обещание фиксированного ускорения без условий здесь было бы некорректно.
Мультимодальность и реализация
Визуальный компонент имеет около 550 млн параметров. Видео представляется кадрами; это не подтверждает обработку звуковой дорожки. Итогом остаётся текст, например ответ о содержимом изображения или последовательности кадров.
Официальная реализация доступна через Diffusers, где описан отдельный конвейер DiffusionGemma. Для воспроизведения нужны именно его поддержка и совместимые веса: стандартный цикл обычной языковой модели не описывает весь процесс диффузионного уточнения. Модель ориентирована на небольшие пакеты запросов, но реальные задержки зависят от оборудования и настроек. Важно и отличие лицензии: карточка этого выпуска указывает Apache 2.0, поэтому условия других моделей Gemma нельзя механически переносить сюда.
Официальные источники
Автор: Павел Фролов. Источники проверены: 2026-11-07.