В Германии выпустили открытую ИИ-модель для госсектора
3 октября немецкая Aleph Alpha представила Kolibri — англо-немецкую ИИ-модель с открытыми весами, которая ориентирована на государственные организации и компании из регулируемых отраслей. Релиз приурочили ко Дню германского единства, говорится в блоге разработчика.
Kolibri построена на архитектуре Mixture-of-Experts и содержит 78,1 млрд параметров. При обработке каждого токена из них задействуется около 3,46 млрд.
Модель поддерживает рассуждения и вызов внешних инструментов. Максимальный размер контекстного окна составляет 1 048 576 токенов.
Полные веса Kolibri опубликованы на Hugging Face под лицензией Apache 2.0. Доступны версии в BF16 и FP8.
«Суверенная» модель
Aleph Alpha назвала Kolibri «суверенной» ИИ-моделью для критически важных задач в государственном управлении, промышленности и аэрокосмической отрасли.
Над моделью работали команды в Германии, а обучение шло на немецкой и финской инфраструктуре с соблюдением законодательства ЕС и Германии.
Организации могут запускать Kolibri на собственной инфраструктуре и не передавать внутренние данные стороннему поставщику облачных ИИ-сервисов. Разработчики уточнили, что создавали модель с учетом требований европейского AI Act, Кодекса практик для ИИ-моделей общего назначения и GDPR.
Kolibri научили отказываться от ответа, если представленного контекста недостаточно для подтверждения информации. Для этого Aleph Alpha задействовала собственный подход под названием Merlin-Arthur.
На обучение ушло почти 24 трлн токенов
Предварительное обучение Kolibri проводилось на 768 графических процессорах Nvidia B200. Основной этап занял 21 день и охватил 20 трлн токенов при длине последовательности 16 384.
Затем модель дообучили на 3,44 трлн токенов с контекстом 65 536 и адаптировали к длинному контексту на 201 млрд токенов при длине 262 144. В совокупности на трех этапах использовали около 23,64 трлн токенов.
На немецкий язык пришлось 21,3% исходного массива данных — около 4,3 трлн токенов за основной этап. Английский занимал примерно 62%, программный код — около 14%.
По данным разработчика, уникальный немецкоязычный корпус включал около 2,4 трлн токенов. Примерно 85% прочитанного моделью немецкого текста составили веб-материалы или созданные на их основе переформулировки. Остальное пришлось в том числе на парламентские документы, юридические тексты и другие общедоступные материалы.
В Aleph Alpha подчеркнули, что для сохранения языкового и культурного контекста старались не строить немецкую часть массива преимущественно на машинных переводах с английского. Доля переведенного контента составила около 6%.
Для Kolibri также создали отдельный англо-немецкий токенизатор. Он учитывает морфологию обоих языков, в том числе характерные для немецкого сложные слова.
Модель поддерживает четыре режима рассуждений — none, low, medium и high.
Aleph Alpha сравнила Kolibri с конкурентами
В собственных тестах разработчика Kolibri набрала 96,7% на AIME 2026 и 90,2% на немецкоязычной версии бенчмарка. Результат на GPQA Diamond составил 84,8%, на LiveCodeBench v6 — 85,1%.
Aleph Alpha сравнила модель с Qwen3.6-35B-A3B, Nemotron 3 Super 120B-A12B и Mistral Small 4 119B-A6B.
По утверждению компании, в ряде задач по математике, программированию, работе с длинным контекстом и использованию инструментов Kolibri сопоставима с моделями, которые задействуют до четырех раз больше активных параметров.
Все приведенные результаты получил сам разработчик, независимой оценкой они не являются.
FP8-версия Kolibri занимает около 78 ГБ памяти. В качестве минимальной конфигурации для запуска Aleph Alpha указала один Nvidia H200, B200 или B300 либо два A100 80 GB/H100 SXM5. BF16-веса занимают примерно 156 ГБ.
Напомним, со 2 августа Еврокомиссия получила полномочия применять штрафы к поставщикам ИИ-моделей общего назначения за нарушение требований AI Act. Максимальная санкция составляет €15 млн или 3% глобального годового оборота.