Бог или голем? Почему ИИ вызывает религиозный трепет

В Individuum вышел перевод книги американской писательницы Меган О’Гиблин «Бог, человек, животное, машина. Поиски смысла в расколдованном мире». С разрешения издательства публикуем отрывок, в котором рассказывается, как одно казавшееся странным религиозное наблюдение отца кибернетики Норберта Винера стало понятным с появлением современного искусственного интеллекта.  

В 1964 году Норберт Винер опубликовал тоненькую и чрезвычайно странную книжку под названием «Корпорация „Бог и голем“», посвященную тому, как новые технологии поднимают, по сути, религиозные вопросы. Один из таких вопросов возник в связи с машинным обучением — речь об искусственном интеллекте, который, по словам Винера, «учится или, как кажется, учится» на основе собственного опыта. Винер писал в то время, когда компьютеры только начинали играть в игры против своих создателей-людей. Большинство этих машин играли в шашки, а некоторых научили играть в шахматы, хотя они справлялись с этим не очень хорошо. Но уже тогда Винер видел проблески того, чем эти машины могут когда-нибудь стать. Один из этих играющих в шашки компьютеров, известный как машина Сэмюэла, научился одерживать верх над своим создателем. В конце концов инженер догадался, какую стратегию использовал компьютер, и смог вернуть себе преимущество, но это поставило вопрос о том, может ли машина перехитрить инженера, который ее создал. По мнению Винера, этот вопрос был по сути своей теологическим. В иудео-христианской традиции принято считать, что создатель всегда сложнее и могущественнее, чем его творение.

Тем не менее, отмечает Винер, из этого правила есть исключения — и одно из них обнаруживается в книге Иова. Он имел в виду первую главу книги, где Бог заключает пари с Сатаной за душу Иова. «Согласно ортодоксальным иудейским и христианским воззрениям, дьявол тоже сотворен Богом, как и все живое, — пишет Винер. — Такая игра изначально выглядит неравноправным соперничеством, в котором один игрок обладает сокрушительным перевесом. Ввязываться в игру со всемогущим и всеведущим Богом попросту глупо». Но он утверждает, что поражение Сатаны не было неизбежным или предопределенным.

Конфликт между Богом и дьяволом оказывается реальным конфликтом, в котором Бог выступает как нечто, не обладающее абсолютным всемогуществом. Да, он действительно вовлекается в конфликт со своим творением — и вполне может проиграть. Однако это творение создано им по его собственной воле, а значит, приобрело, по-видимому, свои способности к действиям от самого Бога. Может ли Бог вести полноценную игру со своим творением? Способен ли вообще какой угодно творец, даже ограниченный в возможностях, вести полноценную игру с собственным творением?

Для Винера ответ был положительным — по крайней мере когда речь шла о машинном обучении. Эти модели не были запрограммированы на поиск оптимальных ходов: они были «знакомы» только с сутью и правилами игры. Машина делала ход без долгих раздумий, но результат каждого хода сохранялся в ее памяти. Каждому из этих прошлых решений присваивался определенный вес в зависимости от его полезности — от того, способствовало ли оно выигрышу, и этот «опыт» использовался для постоянного совершенствования стратегии. Иными словами, машина училась так же, как обычно учатся люди, — методом проб и ошибок. В отдельных случаях, отмечает Винер, решения машины казались интуитивными и даже демонстрировали «сверхъестественную хитрость». Стало очевидно, что машина овладела способностями, изначально в нее не встроенными. «Конструируя машины, с которыми он играет в игры, изобретатель присваивает себе функции творца, ограниченного в возможностях, — пишет Винер, — какова бы ни была природа создаваемых им игровых устройств. Это в особенности верно применительно к игровым машинам, которые обучаются на своем опыте». О том же, в сущности, писал Алан Тьюринг в 1951 году: «Кажется вероятным, что как только метод машинного мышления начнет работать, ему потребуется совсем немного времени, чтобы превзойти наши слабые силы».

В 1994 году компьютерная программа обыграла чемпиона мира по шашкам. Два года спустя Deep Blue обыграла Гарри Каспарова в шахматы. В 2011 году компьютер IBM Watson победил в телевикторине «Jeopardy!», разбив наголову двух многолетних чемпионов программы. Но даже после всех этих побед никто не был готов к тому, что произошло в 2016 году в Сеуле. Той весной на шестом этаже отеля Four Seasons сотни людей собрались, чтобы посмотреть, как Ли Седоль, один из ведущих мировых игроков в го, играет с AlphaGo — алгоритмом, созданным компанией DeepMind, принадлежащей Google. Го — это древняя китайская настольная игра, которая устроена гораздо сложнее шахмат; количество возможных ходов в ней превышает количество атомов во Вселенной. В середине матча AlphaGo сделал настолько странный ход, что все присутствующие решили, что это была ошибка. «Это не человеческий ход, — сказал один из бывших чемпионов. — Я никогда не видел, чтобы человек делал такой ход». В итоге этот самый ход оказался решающим. Компьютер выиграл эту партию, а затем следующую, и одержал победу в матче из пяти партий.

В основе работы AlphaGо лежит глубокое обучение — особенно мощный вид машинного обучения, который стал излюбленным инструментом для прогнозирования на основании гигантских массивов сырых данных. Кредитным аудиторам он помогает решить, одобрить клиенту ссуду или нет. ЦРУ использует его, чтобы предсказывать общественные волнения. Системы глубокого обучения применяют в службах безопасности аэропортов — для распознавания лиц на отсканированных паспортных фотографиях, в больницах — чтобы распознавать симптомы рака, и в инстаграме — там они предупреждают пользователей, что размещенный материал может быть оскорбительным. Выясняется, что многое в жизни можно «геймифицировать», свести к ряду простых правил, позволяющих этим машинам строить собственные модели мира — и эти модели оказываются пугающе точными. Годы, последовавшие за матчем AlphaGo, были исполнены безграничного (по крайней мере с виду) энтузиазма по отношению к революции в машинном обучении и глубокому обучению в частности, которое превозносили за его «непостижимую эффективность». К 2017 году эти алгоритмы превзошли рентгенологов в выявлении рака легких, научились распознавать изображения на фотографиях быстрее и эффективнее, чем люди, и сочиняли барочные хоралы настолько убедительно, что профессиональные музыканты ошибочно приписывали их Баху.

Но эти технологии вызывали и немало опасений. Многие формы машинного обучения считаются технологическими «черными ящиками» — мы не можем определить, что именно происходит у них внутри. Они состоят из множества слоев нейронных сетей, и невозможно узнать, как выглядит модель реальности, которую они строят на основании своего опыта. В процессе обучения в них формируются внутренние узлы, отвечающие за обнаруженные ими абстрактные признаки или соотношения, но эти признаки и соотношения не соответствуют никаким понятиям в человеческом языке. (Даже алгоритмы, обладающие сверхъестественной способностью распознавать, скажем, собак на фотоснимках, не имеют ни малейшего представления о том, что такое собака, а просто улавливают закономерности в потоке данных.) Если бы вы попытались зафиксировать все, что делают нейронные сети между вводом и выводом данных, у вас получились бы миллиарды арифметических операций — «объяснение», которое было бы невозможно понять. Когда AlphaGo выиграл матч в Сеуле, даже его создатель Дэвид Сильвер не смог объяснить логику неожиданного хода алгоритма. «Он открыл его для себя, — сказал Сильвер, — в процессе рефлексии и анализа». Хотя специалисты пробовали, и не раз, расшифровать подобные процессы постфактум, похоже, что усилия свести их к простым и однозначным объяснениям так же бесплодны, как попытки проделать то же самое с человеческим мышлением (профессор лаборатории искусственного интеллекта в Uber назвал такие усилия «искусственной нейробиологией»). В большей степени, чем любая другая технология, эти алгоритмы отвечают призыву Андерсона отказаться от стремления к пониманию ради объективного знания. Чтобы иметь доступ к высшему знанию, которым владеют машины, мы должны отказаться от желания знать «почему» и принять результаты как чистое откровение.

Винер чувствовал, что в машинном обучении есть что-то по сути своей религиозное, но, возможно, неверно распределил роли в драме Иова. Алгоритмы машинного обучения — это не изобретательный дьявол, который перехитрил собственного создателя. Вместо этого они стали абсолютным властелином, требующим слепого подчинения. По мере того как эти технологии все больше интегрируются в сферу общественной жизни, многие люди обнаруживают себя в положении Иова: они лишены права знать, почему им отказали в кредите, уволили с работы или предсказали возможность развития рака. Избежать сравнения с Божьим судом особенно трудно, учитывая, что наша судебная система превратилась в настоящую экспериментальную лабораторию по машинному обучению. Хотя статистический анализ использовался в полиции с середины 1990-х годов, сегодня многие службы в сфере правопорядка опираются на прогностические алгоритмы, чтобы обнаруживать очаги преступности. Одна из таких систем, PredPol, утверждает, что она предсказывает места преступлений в два раза точнее, чем аналитики-люди. Система, опирающаяся на данные о прошлых преступлениях, помечает красными рамками на карте границы районов или отдельных городских кварталов, которые считает местами повышенного риска. Как отмечает Джеки Ванг в своей книге «Карцеральный капитализм», если верить рекламным публикациям о PredPol, кажется, что система чуть ли не обладает даром ясновидения. В них приводятся, например, истории о том, как полицейские выезжали в места повышенного риска и обнаруживали там правонарушителей прямо в процессе совершения преступления.

Сторонники этой технологии отрицают сходство с фильмом «Особое мнение» (2002): там полиция принуждает людей, наделенных экстрасенсорными способностями, предсказывать преступления, чтобы можно было арестовывать будущих «преступников» до того, как они нарушат закон. Один из пиар-стратегов PredPol заявил, что функционирование программы — это не научная фантастика, а «научный факт», и подчеркивал, что алгоритмы абсолютно нейтральны и объективны.

Использование этой программы часто позиционируется как способ снизить влияние расистских предрассудков на работу правоохранительных органов. Один из создателей PredPol утверждал, что, поскольку алгоритмы фокусируются на таких «объективных» факторах, как время, место и дата возможных преступлений, а не на демографических характеристиках отдельных преступников, программное обеспечение «потенциально уменьшает роль любых расовых или социально-экономических предубеждений среди офицеров».

Похожие алгоритмы применяются и в судах; они определяют степень угрозы для общества со стороны обвиняемого и риск побега до вынесения приговора. Эти машины анализируют досье подсудимого, включая предполагаемое преступление, место ареста и количество предыдущих задержаний (некоторые модели также учитывают место работы подозреваемого, его круг общения и кредитный рейтинг). А затем они сравнивают эти данные с сотнями и тысячами уголовных дел и присваивают подсудимому определенное количество баллов. На основе этого показателя суд решает, следует арестованному ожидать приговора дома или в тюрьме. Впервые эти алгоритмы попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, 34-летним мужчиной из Висконсина. Вынесенный ему тюремный приговор — шесть лет за противодействие офицеру полиции — был отчасти основан на заключении COMPAS, прогностической модели, определяющей вероятность рецидива. Во время судебного процесса судья сообщил Лумису, что по результатам оценки COMPAS он был классифицирован как представляющий высокий риск для общества. Естественно, Лумис захотел узнать, на основании каких критериев был вынесен приговор, но его проинформировали, что он не может оспорить решение алгоритма. В итоге дело дошло до Верховного суда штата Висконсин, который вынес решение не в пользу подсудимого.

Генеральный прокурор штата заявил, что Лумис располагал ровно той же информацией о деле, что и суд (представления судей о работе алгоритма были, как он заметил, настолько же смутными), и заявил, что подсудимый был «свободен усомниться в этой оценке и указать на ее возможные недостатки». Но это довольно вольная интерпретация понятия свободы. Лумис был так же свободен усомниться в алгоритме, как Иов — в справедливости Иеговы.

Другой, более свежий, случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году был условно осужден после отбытия срока в тюрьме. Он и сам замечал, что в разные месяцы ему приходится отмечаться у офицера по УДО то чаще, то реже, но ему не сообщали, почему так происходит: как выяснилось, алгоритм постоянно пересматривал уровень его неблагонадежности. Возможно, Гейтс так никогда бы об этом не узнал, если бы его не просветил журналист New York Times, писавший о современных технологиях. Гейтс был явно обеспокоен этим открытием. Судя по его интервью Times, он чувствовал, насколько размыта грань между всеведением и предопределением — и как тщетны попытки выйти победителем из игры, где все ставки сделаны против вас. «Как алгоритм может понять меня, если он же и решает, что я буду делать? — сказал Гейтс. — Как обыграть компьютер, который создан, чтобы помешать тебе? Как остановить то, что предопределяет твою судьбу?» 

Публикуется по изданию: Меган О’Гиблин. Бог, человек, животное, машина. Поиски смысла в расколдованном мире. Москва: Individuum, 2024. Перевод с английского Марии Славоросовой.