Стартап из Индии придумал систему для запуска ИИ-моделей на CPU

Индийский стартап Ziroh Labs разработал систему, которая позволяет запускать передовые ИИ-модели без необходимости использовать мощные чипы. Об этом пишет Bloomberg. 

Платформа Kompact AI разработана совместно с Индийским технологическим институтом в Мадрасе. Она дает возможность нейросетям эффективно работать на центральных процессорах (CPU), используемых в обычных вычислительных устройствах. 

Стартап ориентируется на процесс вывода, то есть работу ИИ-модели после ее обучения. Он оптимизирует ведущие нейросети для применения на ПК. В качестве примера продемонстрирована работа Llama 2 от Meta и Qwen2.5 от Alibaba на ноутбуке с процессором Intel Xeon.

Ziroh Labs утверждает, что его подход демонстрирует высококачественный результат, а технологию протестировали американские чипмейкеры Intel и Advanced Micro Devices. 

«В ближайшие годы это окажет очень сильное влияние на рынок», — считает технический советник стартапа Уильям Радучел.

Директор Индийского технологического института в Мадрасе Ви Камакоти подчеркнул наличие проблемы с доступом к мощным графическим процессорам (GPU) у различных стран вроде Индии. 

«Разрыв в области ИИ связан с тем, что только те, у кого есть дорогостоящие ресурсы с GPU, могут получить доступ, разработать и внедрить мощный искусственный интеллект. Мы демонстрируем, что вам не нужен револьвер, чтобы убить комара», — отметил он. 

Напомним, в январе китайский стартап DeepSeek выпустил эффективную ИИ-модель R1, чем вызвал вопросы касательно необходимости тратить миллиардные инвестиции на графические чипы. 

Тем временем Nvidia анонсировала новые процессоры для создания и запуска ИИ-моделей — Blackwell Ultra и Vera Rubin. Также представлен движок для моделирования движения роботов и ряд других продуктов.