Lens научили отвечать на вопросы о движущихся объектах

Google обновил приложение с функциями дополненной реальности Lens, добавив ответы на вопросы касательно движущейся окружающей среды.

Пользователи продукта на Android и iOS могут снимать видео и задавать вопросы об интересующих объектах. Lens использует ИИ-модель Gemini для понимания контекста. 

«Допустим, вы хотите узнать больше о какой-то интересной рыбе. Lens подготовит обзор, объясняющий, почему они плавают по кругу, а также предоставит дополнительные ресурсы и полезную информацию», — отметил директор по продукту в компании Лу Ванг.

Экспериментальная функция представлена на английском языке. Для доступа к ней нужно зарегистрироваться в программе Google Search Labs и активировать «AI Overviews and more». 

Искусственный интеллект используется для понимания того, какие объекты в кадре наиболее интересны, значимы и соответствуют заданному вопросу. 

Помимо видео можно использовать поиск информации с помощью изображения. Для этого нужно сделать снимок и задать вопрос голосом. 

Также Lens улучшен в области электронной коммерции. Приложение способно распознавать продукт на фотографии и предоставлять информацию о нем: цену, бренд, отзывы, наличие запасов.

«Допустим, вы увидели рюкзак, и он вам понравился. Вы можете использовать Lens, чтобы идентифицировать этот продукт и мгновенно увидеть детали, которые вас заинтересуют», — отметил Ван. 

Тем временем один из руководителей проекта для генерации видео Sora ушел из OpenAI и присоединился к DeepMind — ИИ-подразделению Google. 

В течение последних нескольких месяцев от разработчика ChatGPT ушел ряд ключевых сотрудников. Это произошло на фоне сообщений о желании Сэма Альтмана изменить корпоративную структуру компании.

Напомним, СМИ узнали о работе Google над «думающим» искусственным интеллектом.

В середине сентября ИИ-стартап OpenAI представил новую большую языковую модель o1, обученную методом с подкреплением для выполнения сложных рассуждений.