Из OpenAI ушел еще один топ-менеджер. Причина — пренебрежение безопасностью

На минувшей неделе OpenAI покинули два ключевых сотрудника — сооснователь и ведущий исследователь Илья Суцкевер и Ян Лейке. Последний возглавлял команду, отвечающую за безопасность и создание ориентированных на человека моделей ИИ. 

После этого компания распустила их отдел, занимавшийся долгосрочными рисками искусственного интеллекта (Superalignment), о создании которого объявила в июле 2023 года, пишет CNBC со ссылкой на источник.

С чего начался исход

В апреле The Information сообщило, что OpenAI уволила двух исследователей — Леопольда Ашенбреннера, считавшегося соратником Суцкевера, и Павла Измайлова. Согласно изданию, причиной стала возможная утечка корпоративной информации.

Они работали в отделе Superalignment, откуда также уволились Дэниел Кокотайло и Уильям Сондерс. По словам первого, он принял такое решение «из-за потери уверенности в том, что [OpenAI] будет вести себя ответственно во времена AGI». 

15 мая об отставке объявил Суцкевер. Он выразил уверенность, что команда создаст безопасный и полезный общий искусственный интеллект.

«Для меня было честью и привилегией работать вместе, и я буду очень скучать по всем. Пока и спасибо за все», — говорится в сообщении.

Место Суцкевера занял Якуб Пачоцкий. Ранее он руководил исследованиями фирмы и разработкой GPT-4.

Суцкевер считался одним из инициаторов увольнения Сэма Альтмана в ноябре 2023 года. Именно от него CEO получил приглашение на онлайн-звонок с советом директоров, на котором озвучили решение.

После возвращения генерального директора Суцкевер лишился кресла в правлении, но продолжил работать в компании. Тогда Альтман заявил, что не питает к нему «никакой неприязни».

В комментариях под постом теперь уже бывшего топ-менеджера появилось предположение, что нынешнее руководство OpenAI «не заинтересовано в создании безопасного AGI».

«Почему 8 млрд обычных людей, таких как мы, должны быть уверены в том, что OpenAI поставит безопасность человечества выше их собственного богатства, власти и высокомерия?», — написал пользователь.

Суцкевер предпочел не поднимать этот вопрос в отличие от Лейке.

Обвинения от бывшего

Лейке объявил о своем уходе 15 мая, а через два дня объяснил в X причины такого решения.

«Я присоединился [к компании], потому что считал, что OpenAI будет лучшим местом в мире для проведения этих [управление и контроль ИИ-систем] исследований. Однако я довольно долго не соглашался с руководством OpenAI по поводу основных приоритетов компании, пока, наконец, не наступил переломный момент. Последние несколько месяцев моя команда шла против ветра», — написал бывший топ-менеджер.

По его словам, в последние годы культура и процессы безопасности отошли на второй план, «уступив место блестящим продуктам».

«Нам уже давно пора серьезно отнестись к последствиям AGI. Мы должны уделять приоритетное внимание подготовке к ним, насколько это возможно. Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству», — подчеркнул Лейке.

Он отметил, что OpenAI должна стать ориентированной на безопасность общего искусственного интеллекта компанией. Обращаясь к бывшим коллегам, исследователь напомнил, что «мир рассчитывает на вас».

Реакция OpenAI

На заявления Лейке отреагировали CEO OpenAI Сэм Альтман и президент компании Грег Брокман.

«Мы очень благодарны Яну за все, что он сделал для OpenAI […]. В свете вопросов, которые поднял его уход, мы хотели рассказать о том, что думаем о нашей общей стратегии», — говорится в сообщении.

По словам топ-менеджеров, компания повысила осведомленность о рисках и возможностях AGI, «чтобы мир мог лучше подготовиться к нему».

«Во-вторых, мы закладываем основы, необходимые для безопасного развертывания все более эффективных систем. […] В-третьих, будущее будет труднее прошлого. Нам необходимо продолжать совершенствовать нашу работу по обеспечению безопасности, чтобы соответствовать требованиям каждой новой модели», — подчеркнули Альтман и Брокман.

Они отметили необходимость тщательного тестирования и безопасности, проведения исследований и сотрудничества с властями или заинтересованными сторонами в вопросах противодействия рискам.

«[…] мы очень серьезно относимся к своей роли и тщательно взвешиваем отзывы о наших действиях», — подчеркнуло руководство OpenAI.

Напомним, в ноябре 2023 года Альтман заявил о намерении привлечь дополнительное финансирование от Microsoft для создания AGI и рассказал о следующем поколении модели искусственного интеллекта — GPT-5. 

В мае 2024 года глава OpenAI отметил, что будущее ИИ ознаменуется появлением и ростом популярности персональных помощников. Они станут неотъемлемой частью повседневной жизни и даже заменят смартфоны.

В том же месяце компания представила «более человечную» версию своего чат-бота — GPT-4o.