Исследование: ИИ-генераторы кода создают уязвимости в системе безопасности

Группа исследователей из Стэнфорда заявила, что использование систем генерирования кода на базе ИИ с большей вероятностью создает уязвимости безопасности. Об этом пишет TechCrunch.

Основное внимание ученые уделили системе Codex, представленной компанией OpenAI в августе 2021 года. Они привлекли 47 разработчиков разного уровня квалификации для решения проблем с безопасностью на нескольких языках программирования, включая Python, JavaScript и C.

Согласно исследованию, использовавшие Codex участники эксперимента чаще писали неправильный и «небезопасный» код по сравнению с контрольной группой. Также применявшие ИИ программисты чаще выражали уверенность в своих решениях.

Эксперты считают, что разработчики без соответствующих знаний в области кибербезопасности должны осторожно использовать подобные инструменты.

«Те, кто использует их для ускорения задач, в которых они уже имеют навыки, должны тщательно перепроверять результаты и контекст», — добавили ученые.

Соавторка исследования Мегха Шривастава подчеркнула, что результаты не являются осуждением Codex и других систем генерации кода. По ее словам, такие инструменты полезны для задач, не связанных с высоким риском.

Ученые предложили несколько способов увеличить безопасность систем ИИ-генерации, включая механизм «уточнения» подсказок. По их словам, это похоже на работу супервайзера, который пересматривает черновики кода.

Также они предложили разработчикам криптографических библиотек обеспечить безопасность настроек по умолчанию, поскольку текущие параметры ИИ-систем не всегда свободны от эксплойтов.

«Наша цель — сделать более широкое заявление об использовании моделей генерации кода. Необходимо провести дополнительную работу по изучению этих проблем и разработке методов их решения», — заявил соавтор исследования Нил Перри.

По его словам, введение уязвимостей в системе безопасности — не единственный недостаток систем ИИ-генерирования кода. Он упомянул проблему, связанную с возможными нарушениями авторских прав из-за использования общедоступного кода для обучения Codex.

«[По этим причинам] мы в значительной степени выражаем осторожность в отношении использования этих инструментов для замены обучения начинающих разработчиков методам надежного кодирования», — добавила Шривастава.

Напомним, в мае один из разработчиков обнаружил, что Copilot «слил» закрытые ключи от криптокошельков.

В октябре группа программистов объявила о подаче коллективного иска против Microsoft за обучение ИИ с помощью их кода.

В июле 2021 года Copilot заподозрили в копировании защищенных авторским правом фрагментов свободного ПО.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!