Цифровой феодализм. Может ли ИИ отменить «новое крепостное право»?

Гаспар Кениг — французский писатель и философ, основатель движения Simple, выступающего за радикальное «упрощение» бюрократического аппарата государства. Работая над книгой «Конец индивидуума», он встретился с десятками специалистов в области искусственного интеллекта, чтобы узнать, какие реальные возможности и вызовы несут революционные технологии, как они изменят привычную экономику, политику и нашу повседневную жизнь. С разрешения издательства Individuum публикуем отрывок из главы «В защиту права владения персональными данными». 

В Нью-Йорке я встретился с Алексом Элиасом, основателем стартапа Qloo. Он ставит перед собой задачу скрестить индивидуальные предпочтения в разных областях: если вам нравится такая-то музыка или такой-то фильм, вы должны попробовать такой-то ресторан или пойти на свидание с таким-то человеком… Qloo мог бы стать Netflix для жизни, погружающим своих пользователей в тотальные рекомендации, от которых ничто не ускользает. В этом смысле стремление к «культурной персонализации» представляет собой именно то, что пугает меня в ИИ. Но Алекс — интеллектуал с Восточного побережья, любитель джаза, разбирающийся в достоинствах импровизации. Он знает, что поход в магазин пластинок открывает перед ним неожиданные перспективы, тогда как Spotify дает лишь ограниченный опыт. Проанализировав поиск в Qloo, он констатирует, что большинство американцев указывает в качестве любимой книги Библию, а в качестве любимого фильма — последний блокбастер… Оставленные на милость оптимизирующего алгоритма, они, вероятно, пойдут самым традиционным путем. Вот почему Алекс включил в программу Qloo то, что он называет «фактором диверсификации». С одной стороны, элемент случайности вводится в систему рекомендаций, чтобы устраивать сюрпризы и вызывать вопросы. С другой — пользователь контролирует некоторое число критериев: это «первая директива» в действии! Чтобы пробудить задремавшее сознание нужна случайность, а чтобы переориентировать алгоритм — наличие четко выраженного выбора.

Алекс признает, что предоставленная индивиду власть над собственными предпочтениями, как ни странно, делает Qloo менее эффективным и потому менее прибыльным. В конце концов, лаконично замечает он, «большинство людей хочет раствориться в массе». Но он хотя бы предлагает им альтернативу, утешая себя мыслью о том, что новые поколения будут чувствительнее к разнообразию. Кроме того, нужно рассчитывать на свободный рынок алгоритмов, чтобы вызвать к жизни проекты, более внимательные к свободному волителю, и надеяться на то, что они постепенно завоюют пользователей, привлеченных перспективой освобождения. А пока каждый может попытаться перехитрить машину. Например, пользуясь Google Map, я всегда отключаю геолокацию: извлекая пользу из расчета расстояний, я хочу сам определять улицы, чтобы понимать, куда еду, а не слепо следовать за синим шариком. В Deezer я стараюсь выбирать композиции из списка, критерии которого установил сам (например, «сонаты»), не полагаясь на рекомендации. Я сам отмечаю дни рождения своих (настоящих) друзей в ежедневнике и не жду, пока мне напомнит о них LinkedIn. А еще я ухожу с ютуба, когда заканчивается видео, которое я выбрал, хотя сделать это непросто — ведь так легко и приятно отдаваться потоку образов…

Но все эти уловки смешны, потому что рынок подтасован. Поскольку платформы имеют практически свободный доступ к нашим персональным данным, всю нашу цифровую жизнь мы занимаемся тем, что питаем различные ИИ, которые в ответ нами манипулируют. Nudge повсюду, он не оставляет никакой возможности для взвешенного и самостоятельного решения, появляясь в форме рекламы, уведомлений, рекомендаций, сообщений в социальных сетях или спама в почтовых ящиках. Наш мозг постоянно подвергается хакингу, который стал возможен благодаря тому, что мы везде разбрасываем свои данные. Открыть интернет — это как оказаться без штанов в публичном месте, подобно королю из сказки Андерсена: он считал, что на нем наряд из драгоценной ткани, а на самом деле был совершенно голым. В этом может на деле убедиться каждый. Браузер, разработанный стартапом myCo, например, позволяет визуализировать всех чужаков, присутствующих на сайте, собирает куки и пр. Проверив его на себе, я обнаружил более сотни программ, рассылавших мои данные об истории просмотра страниц, клики и результаты поиска по всему миру, чтобы лучше интерпретировать и направлять мое поведение. Этот грабеж абсолютно законен: в течение дня несколько раз ставя галочку «Я согласен» в пользовательских соглашениях, мы добровольно идем на то, чтобы быть под колпаком у платформ. Хитростям, которые сайты и приложения используют ради того, чтобы собирать наши данные, нет числа. Так, программа, включающая фонарик на вашем смартфоне, в обмен на эту крошечную услугу забирает все ваши данные по геолокации. Помню, как сидел в ресторане в Париже напротив предпринимателя, который с гордостью объявил о своем новом «инновационном проекте» — следить за передвижениями мыши по экрану, чтобы отточить профилирование пользователей. На мой вопрос, не слишком ли навязчивый характер носит эта технология, он пожал плечами и ответил, что она сослужила бы хорошую службу всем нам, после чего принялся обсуждать со своим соседом по столу проблемы благотворительности. Тартюфы 2.0 явно заслуживают новой пьесы…

Ну и как же тогда «цифровые» граждане могут тщательно отбирать алгоритмы, если каждым своим кликом, каждым открытием приложения они дают ИИ оружие против самих себя? Если нам не удастся держать наши данные при себе, мы попадем под власть могущественных ИИ, которые сделают невозможным любой свободный выбор, а значит, и появление любых альтернатив. Европейский общий регламент по защите данных (GDPR) попытался было ввести своего рода контроль, потребовав большей прозрачности от интернет-компаний. Однако в результате нам еще чаще приходится кликать на «Я согласен», но при этом мы так и не получили никакой реальной возможности оспаривать условия или вести переговоры.

[…]

Если мы хотим понять, как устроен цифровой грабеж, жертвами которого мы сегодня стали, достаточно почитать работы Жоржа Дюби об экономике Средневековья. В начале предшествующего тысячелетия крепостные крестьяне, привязанные к земле, отдавали феодалу основную часть плодов своего труда в обмен на «бесплатные услуги», более или менее реальные: защиту во время войны или пользование деревенской инфраструктурой, принадлежащей феодалу (печью, мельницей, давильным прессом…). Понадобилось очень много времени, чтобы крестьяне постепенно получили право передавать имущество по наследству, свободно торговать плодами своего труда и, наконец, отчуждать их при наличии документов о праве собственности, которое может переуступаться. Великая французская революция положила конец феодальной ленной системе и расширила право на владение землей: крепостной стал свободным человеком. При каждой технической инновации вспыхивают похожие дебаты. Через несколько веков после изобретения книгопечатания Бомарше возглавил борьбу писателей за признание авторских прав. Во время промышленной революции изобретатели добились создания настоящего патентного режима. Человек всегда должен бороться за право свободно распоряжаться своей собственностью и плодами своего творчества, будь они материальными или интеллектуальными.

Сегодня мы стали цифровыми крепостными, передав право на сбор всех наших данных в обмен на бесплатные услуги (ценность которых не всегда однозначна), предоставляемые нашими новыми феодалами. Мы постим по миллиарду фотографий в фейсбук ежедневно. Именно так, по миллиарду. После обработки алгоритмами, в которые интегрировано распознавание лиц, этот кладезь данных приносит ежеквартальную прибыль порядка нескольких миллиардов долларов. Какой процент от нее попадает к исходному производителю? Никакой. Ну разве что чаевые в виде сети друзей… Мы не только не можем вести переговоры с нашим феодалом по поводу данных, нам запрещено даже продавать их на рынке: в мае 2018 года Оли Фрост, предприимчивый британский миллениал, выставивший на eBay свои посты в фейсбуке за десять лет, был вынужден снять свое предложение как нарушающее условия пользования социальной сетью. Однако ход рассуждений Оли Фроста казался в высшей степени убедительным: «Так как все зарабатывают деньги на моих персональных данных, почему бы мне не зарабатывать их самому?» Ставки на аукционе дошли до 400 долларов, но феодал явно не мог смириться с подобным нарушением его прерогатив. Оно и понятно: по данным Европейской комиссии, стоимость персональных данных в 2020 году приблизилась к триллиону евро, то есть к 8% ВВП Европейского союза. Кто же захочет делиться этой манной небесной со сбродом, который ее производит?

Удивительно, как пассивно мы принимаем этот цифровой феодализм… Вероятно, крепостные XII века даже не мечтали о том, чтобы оспаривать права сеньора, возлежащего под своим балдахином, — фигуры столь же священной, что и сегодняшний предприниматель из технологического сектора на сцене TED Talk. Но поскольку все ускоряется, революция тоже может произойти быстрее. Право собственности на персональные данные, пока не существующее нигде в мире, положило бы конец этому грабежу. Оно включало бы производителя данных в цепочку производства стоимости в цифровой экономике, позволяя ему монетизировать (или не монетизировать) свои данные согласно условиям договора, которые он выберет и которые посредники от его имени будут обсуждать с платформами. Вопрос о вознаграждении кажется мне второстепенным. Важнее другое: по закону вернув себе собственность на свои данные, человек с новой силой почувствует, что он существует, — как крестьянин, испытывающий удовольствие от того, что возделывает «свою» землю. Он вправе не выращивать на ней ничего, кроме ежевики, чертополоха и терновника, или, в случае данных, вправе отказаться от их предоставления, не отдавая их в обработку ИИ. Каждый сможет выбирать, что он скрывает и на какое время, что отдает без дубликатов и кому, что продает и по какой цене. Создав такое пространство индивидуального суверенитета, мы снова станем самими собой.

[…]

Современная идеология шеринга, сколь бы привлекательной она ни была, маскирует массовый грабеж в интересах агрегаторов данных. Регулирование — такое, какое предусматривает «Регламент по защите данных», — установило в этом доме дверь, но не замок: оно лишь заставляет нас все чаще кликать по «Я согласен». Отныне все эти чужие люди спрашивают у нас: «Я зайду на минутку, если вы не против?» — при этом уже переступив порог. Им трудно отказать. Право собственности на данные наконец-то установит на дверь замки, перевернув властные отношения и создав зону покоя, необходимую для развития независимой личности. Хозяин заранее составит список гостей, поставив договорные условия, на которых он готов сообщать свои данные. Гоббс в «Левиафане» спрашивал: кто, ложась спать, не станет закрывать дверь на ключ? «Однако никто из нас не обвиняет человеческую природу саму по себе. Желание и другие человеческие страсти сами по себе не являются грехом». Никто не будет обижаться на платформы за то, что они собирают данные, которые мы им дарим от чистого сердца. Но пришло время действовать прагматично и поставить замок, если мы хотим сохраниться как индивиды в эпоху ИИ.

В частности, можно представить, что данные каждого собраны в личном цифровом кошельке. Мы заранее установим в смарт-контракте наши собственные условия пользования, плод личной делиберации. Как, с кем и в обмен на что мы готовы делиться нашими личными данными и какими именно? Различные сайты, приложения и платформы, связавшись с нами, тут же будут проинформированы о наших условиях. Это они должны будут их принимать, а не наоборот. Например, я могу решить бесплатно предоставить данные о своем здоровье для исследовательских целей, но придержать все данные о геолокации, пусть даже мне придется оплачивать сервисы вроде Waze, которые их сегодня используют. Что касается данных о моих электронных покупках, я соглашусь передавать их без особых проблем, чтобы получать рекомендации, заточенные под меня (и по ходу дела иметь за это денежную компенсацию). Что-то вроде блокчейна могло бы обеспечить возможность отслеживания моих данных, чтобы сохранять «память» об исходных условиях моего договора: подобная процедура уже используется в музыкальной индустрии для охраны прав интеллектуальной собственности на музыкальные композиции. Бесконечные финансовые потоки порядка микросантима будут непрерывно создавать дебет и кредит в нашем цифровом кошельке, и при этом обязательно появятся посредники для переговоров о стоимости данных, по образцу обществ по охране авторских прав. На смену цифровому феодализму придет целая экономика бесконечно малого рынка, которая сама будет управляться ИИ.

Финансовый аспект, подразумеваемый правом собственности, ставит закономерные вопросы. С одной стороны, почему мы должны платить, пусть и очень скромную сумму, за услуги, которые до сих пор предоставлялись бесплатно? Разве не достаточно запретить использование личных данных в коммерческих целях, в логике «Регламента об охране данных»? Но тогда развалится вся модель цифровой экономики, лишив нас многочисленных услуг, которые может дать ИИ. Если мы считаем, что за производство стоимости полагается вознаграждение, тогда эта логика торгового обмена должна одинаково применяться и к индивиду, производящему данные, и к платформе-агрегатору. Если Waze выбирает для меня лучший маршрут, но при этом я отказываюсь от рекламы ресторанов, которые находятся на этом маршруте, необходимо найти другие способы возмещения ущерба платформам. В противном случае я стану «безбилетником», который пользуется чужими данными, ничем не делясь взамен. Анонимность имеет свою цену.

[…]

На стороне ИИ собственность на личные данные приведет к потере эффективности, с чем придется смириться всему обществу. Любого порадует, что прибыли Facebook пострадают из-за потери точности в таргетировании рекламы, однако та же самая неоптимальность затронет и другие общественные услуги. Можно, конечно, представить себе, что отдельные категории особо важных для общества данных будут «национализированы», подобно тому как разрешено изымать землю у частных землевладельцев для строительства жизненно важных объектов инфраструктуры. Но такая процедура может носить только чрезвычайный характер, и решение о ней должно приниматься судом, который установит, в какой мере экспроприация отражает искомый мотив общего интереса. В других случаях придется признать, что умный город или умные счетчики уже не будут настолько умными, а беспилотные автомобили — настолько беспилотными. Допустив возможность индивидуального отклонения, право собственности на данные вызовет аварии, углеродные выбросы и разрывы отношений. Оно помешает обществу стать идеальным, вернув тем самым возможность эволюции… как регрессии. Терпеть подобные случайности, непосредственные и конкретные, ради расплывчатого обещания прогресса — тяжкое бремя для законодателей. Но именно на этой линии разлома происходит борьба между nudge и автономией, счастливым рабством и возвращением эпохи просвещения.

Уже сейчас есть немало стартапов, которые хотели бы поучаствовать в этой войне за возвращение человеку автономии. Такие экосистемы особенно динамично развиваются во Франции — стране, придумавшей авторское право. В Париже, Лионе, Монпелье предприниматели стремятся вдохнуть жизнь в это право собственности, в котором регулятор пока отказывает. Одни разрабатывают data wallet: используя предусмотренное GDPR право на мобильность, он позволяет каждому извлекать свои личные данные и контролировать их предоставление. Другие ищут способ придать персональным данным денежную стоимость, пользуясь правовыми «серыми зонами». Третьи организуют «цифровые кооперативы», совместно использующие данные своих членов и выплачивающие им дивиденды. Как это уже не раз бывало, технология заставит право подстраиваться под себя. Может быть, объехав всю планету, в итоге я найду решение совсем близко от дома, как капитан Хэддок, нашедший сокровища Ликорна в Муленсаре?

Перевод с французского Инны Кушнаревой. Публикуется по изданию: Гаспар Кёниг, Конец индивидуума. Приключения философа в мире искусственного интеллекта. Москва: Individuum, 2023.