Что такое объяснимый искусственный интеллект (XAI)?

Главное

• Объяснимый искусственный интеллект (Explainable AI, XAI) — направление исследований в области ИИ, которое стремится создать системы и модели, способные объяснять свои действия и принимать решения понятным для людей образом.

• Одной из основных проблем в обучении современных искусственных интеллектов является «черный ящик»: системы могут давать точные ответы и выполнять сложные задачи, но часто трудно понять, каким образом они пришли к этим результатам.

• XAI может быть полезен в областях, где требуется высокий уровень объяснимости принимаемых решений, таких как медицина, финансы, право.

Как определить ИИ?

Искусственный интеллект может быть сложным и непрозрачным для понимания. Из-за этого логично возникает запрос на объяснимый искусственный интеллект (Explainable AI, XAI). 

Чтобы разобраться в том, что такое XAI, сначала следует внимательнее посмотреть на ИИ вообще. Технологии искусственного интеллекта — обширная область, которая продолжает интенсивно расти. Однако универсального определения для нее пока не существует. 

В 2021 году Европейская комиссия представила регулятивное предложение, которое дало бы юридически обязательное определение ИИ. В документе говорится, что к искусственному интеллекту относятся системы, которые делают выводы, прогнозы, рекомендации или принимают решения, влияющие на окружающую их среду. 

Согласно юристу и исследователю ИИ Джейкобу Тернеру, искусственный интеллект также можно определить как «способность неестественной сущности принимать решения на основе процесса оценки». Объединив определения Европейской комиссии и Тернера, можно сказать, что системы искусственного интеллекта способны «обучаться» и влиять на окружающую их среду. Искусственный интеллект не ограничивается программным обеспечением, он может проявляться в различных формах, включая робототехнику.

Что такое «черный ящик» в ИИ?

Искусственный интеллект принимает «решения» или создает выходные данные на основе входных данных и алгоритмов. Благодаря способности обучения и применению различных техник и подходов, ИИ способен делать это без прямого человеческого вмешательства. Это приводит к тому, что ИИ-системы часто воспринимают как «черный ящик».

Под «черным ящиком» в данном случае подразумевается сложность понимания и контроля над решениями и действиями, которые производят системы и алгоритмы ИИ. Это создает проблемы с прозрачностью и ответственностью, что, в свою очередь, несет различные правовые и регуляторные последствия.

Как эту проблему решает XAI?

Понятие объяснимого искусственного интеллекта возникло как ответ на проблему «черного ящика». XAI представляет собой подход, направленный на создание систем ИИ, результаты которых можно объяснить в терминах, понятных человеку. Основная цель объяснимого искусственного интеллекта — сделать принятие решений в системах ИИ прозрачным и доступным.

Можно выделить следующие факторы, которые делают XAI значимым компонентом в сфере разработки и использования ИИ:

• Ответственность. Если система ИИ принимает важное для человека решение (например, отказ в кредите или постановка медицинского диагноза), люди должны понимать, как и почему это решение было принято. Концепция XAI позволит повысить прозрачность и ответственность подобных процессов, избавить общество от страхов, связанных с использованием технологий ИИ.
• Доверие. Люди скорее доверяют системам, которые они понимают. Если система ИИ может доступно объяснить свои решения, люди будут охотнее принимать ее решения. 
• Улучшение модели. Если мы можем понять, как система ИИ принимает свои решения, мы можем использовать эту информацию для улучшения модели. Это позволит эффективно обнаруживать и устранять предвзятости, делать систему точнее, надежнее и этичнее. 
• Соответствие законодательству. В некоторых юрисдикциях, например в Европейском Союзе с введением Общего регламента по защите данных (GDPR), требуется, чтобы организации могли объяснить решения, принятые с использованием автоматизированных систем.

Прозрачность и объяснимость могут уступать место другим интересам, таким как прибыль или конкурентоспособность. Это подчеркивает необходимость установления правильного баланса между инновациями и этическими соображениями при разработке и применении искусственного интеллекта.

Повышение доверия к государственным и частным системам ИИ имеет важное значение. Оно стимулирует разработчиков быть более ответственными и гарантирует, что их модели не будут распространять дискриминационные идеи. Кроме того, это способствует предотвращению незаконного использования баз данных.

XAI играет ключевую роль в этом процессе. Объяснимость означает прозрачность ключевых факторов и параметров, определяющих решения ИИ. Хотя полная объяснимость может быть недостижимой из-за внутренней сложности ИИ-систем, возможно установить определенные параметры и значения. Это делает искусственный интеллект более понятным, технически ценным и способствует инновациям.

Какие существуют примеры XAI?

Примерами объяснимого искусственного интеллекта могут служить различные техники машинного обучения. Они повышают объяснимость моделей ИИ через разные подходы:

• Деревья решений. Предоставляют четкое визуальное представление процесса принятия решений ИИ.
• Системы на основе правил. Определяют алгоритмические правила в формате, понятном для людей. Они могут быть менее гибкими в плане интерпретации.
•  Байесовские сети. Вероятностные модели, которые показывают причинно-следственные связи и неопределенности.
• Линейные модели и аналогичные техники в нейронных сетях. Эти модели демонстрируют, как каждый входной параметр влияет на выход.

Для достижения XAI используются разные подходы, включая визуализацию, объяснения на естественном языке и интерактивные интерфейсы. Интерактивные интерфейсы, например, позволяют пользователям исследовать, как предсказания модели меняются при изменении входных данных.

Визуальные инструменты, такие как карты интенсивности и деревья

В чем недостатки XAI?

Объяснимый искусственный интеллект имеет несколько ограничений, некоторые из них связаны с его применением:

• Сложность разработки. Большие команды инженеров могут работать над алгоритмами в течение длительного времени. Это усложняет понимание всего процесса разработки и встроенных в системы ИИ принципов.
• Неоднозначность термина «объяснимость». Это широко трактуемое понятие, которое может вызывать разные интерпретации при внедрении XAI. Когда анализируются ключевые параметры и факторы в ИИ, возникают вопросы: что именно считать «прозрачным» или «объяснимым» и каковы границы этой объяснимости?
• Быстрое развитие ИИ. Искусственный интеллект развивается экспоненциально. В сочетании с безнадзорными системами и глубоким обучением теоретически может достичь уровня общего интеллекта. Это открывает путь к новым идеям и инновациям, но и влечет за собой дополнительные сложности при внедрении XAI.

Какие перспективы у  XAI?

Рассмотрим исследование о «генеративных агентах», авторы которого интегрировали языковые модели ИИ с интерактивными агентами. В ходе эксперимента была создана виртуальная песочница, представляющая собой маленький городок с двадцатью пятью виртуальными «жителями». Общаясь на естественном языке, они демонстрировали реалистичное индивидуальное и социальное поведение. Так, один агент «захотел» организовать вечеринку, после чего агенты начали самостоятельно рассылать приглашения.

Слово «самостоятельно» здесь крайне важно. Если системы ИИ демонстрируют поведение, которое сложно проследить до отдельных компонентов, это может вызвать сложно прогнозируемые последствия.

XAI способен предотвратить или хотя бы смягчить некоторые риски использования ИИ. Важно помнить, что в конечном итоге ответственность за решения и действия, основанные на ИИ, лежит на людях, даже если не все решения исскуственного интеллекта могут быть объяснены. 

Материал подготовлен при участии языковых моделей, разработанных OpenAI. Информация, представленная здесь, частично основана на машинном обучении, а не на реальном опыте или эмпирических исследованиях.