Распознавание лиц, расизм и полиция: история одного стартапа

В январе 2020 года The New York Times выпустила расследование о деятельности малоизвестной тогда компании Clearview AI. Она разработала систему распознавания лиц, которую применяли в сотнях правоохранительных департаментов в США. 

Позже выяснилось, что технологию использовали и частные компании, в том числе далеко за пределами Штатов.

В то же время разработка Clearview не была протестирована должным образом, сбор данных для ее работы происходил с нарушением политик веб-сайтов, а у истоков компании стояли люди с расистскими взглядами.

ForkLog разобрался в истории Clearview и выяснил, какие риски для прав и свобод человека сопряжены с системами распознавания лиц. 

***

«Секретная компания, которая может покончить с конфиденциальностью, какой мы ее знаем». Так в The New York Times озаглавили статью о Clearview AI. 

Хотя о компании было известно очень мало, систему распознавания лиц от Clearview AI уже некоторое время использовали свыше 600 правоохранительных ведомств, включая полицию, ФБР и Министерство внутренней безопасности США.

По информации BuzzFeed, технологией Clearview пользовались не только американские правоохранители. Ее применяли в более чем 2200 правительственных учреждениях и частных компаниях в 27 странах. 

Иногда Clearview AI предоставляла доступ к своей технологии отдельным лицам в организациях без осведомленности со стороны руководства этих организаций.

Среди тестировавших систему оказалась и известная криптовалютная компания Coinbase. 

Особенность системы Clearview — ее масштабность. Она содержит свыше трех миллиардов фотографий, загруженных пользователями в Facebook, YouTube, Venmo и на другие веб-сайты. Clearview сопоставляет фото человека с изображениями в базе и предоставляет все эти снимки с указанием источников. 

«[Clearview] выходит далеко за пределы того, что когда-либо создавалось правительством США или гигантами Кремниевой долины», — пишет The New York Times.

Тайны Clearview

Компания, занимавшаяся идентификацией лиц граждан, сама была практически полностью засекречена до расследований СМИ.

Когда журналист The New York Times только начал изучать деятельность Clearview, ее сайт представлял собой пустую страницу с указанием несуществующего адреса на Манхэттене. 

Единственным сотрудником компании, указанным на LinkedIn, был менеджер по продажам Джон Гуд. Позже оказалось, что под этим именем скрывался создатель Clearview Хоан Тон-Тэт (Hoan Ton-That).

О нем и его прошлом было известно немного — ранее Тон-Тэт разработал приложение, накладывающее на фотографии прическу Дональда Трампа. Также был замечен в истории с фишингом.

Прошлое основателя Clearview омрачено не только хакерством. Согласно расследованию HuffPost, Тон-Тэт связан с ультраправым [simple_tooltip content=’антидемократическое и реакционное движение. В целом отвергает эгалитаризм и мнение о том, что история показывает неизбежное продвижение в сторону большей свободы и просвещения. Движение выступает за возвращение к старым социальным конструктам и формам правления, включая поддержку монархизма или других форм сильного, централизованного руководства. Сторонники, как правило, также поддерживают социально-консервативные взгляды на такие вопросы, как гендерные роли, межрасовые отношения и миграция.’]неореакционным движением[/simple_tooltip]. Последние еще называют себя «Темным просвещением».

«Неореакционное движение, также известное как NRx или «Темное просвещение», — группка гиков с расистскими, женоненавистническими ультраправыми взглядами, зреющая в либертарианских кругах Кремниевой долины на протяжении более десяти лет, особенно в криптовалютном сообществе», — пишет HuffPost.

Одним из тех, с кем сотрудничал Тон-Тэт, был правый экстремист Чарльз «Чак» Джонсон. 

Фото: HuffPost

О личности Джонсона можно судить хотя бы по тому факту, что его аккаунт в Twitter навсегда заблокировали за «оскорбления и преследования» — он написал о сборе средств, чтобы «убрать» афроамериканского гражданского активиста.  

В 2016 году Джонсон также признался в дружбе с Кертисом Ярвином, чьи идеи легли в основу «Темного просвещения». 

Приверженцы неореакционного движения часто цитируют слова сооснователя PayPal и известного сторонника криптовалют Питера Тиля:  

«Я больше не верю, что свобода и демократия совместимы».

Примечательно, что именно Тиль инвестировал в децентрализованный стартап Кертиса Ярвина Urbit. Миллиардер также позже стал одним из первых инвесторов Clearview AI и предоставил компании $200 тысяч. Через два года они конвертировались в долю в стартапе.

Изначально Clearview AI носила название Smartcheckr и была зарегистрирована в Нью-Йорке в 2017 году. Тогда же Джонсон написал в Facebook, что он «создает алгоритм для идентификации всех нелегальных иммигрантов».

Связанный с компанией адрес принадлежал Ричарду Шварцу, бывшему помощнику экс-мэра Нью-Йорка Рудольфа Джулиани. Шварц должен был воспользоваться своими контактами для продвижения сервиса, пишет The New York Times. 

Журналисты выяснили, что Чак Джонсон, Ричард Шварц и Хоан Тон-Тэт были активными участниками канала в Slack под названием WeSearchr. По информации СМИ, он был площадкой для общения альт-правых.

В списке сотрудников Smartcheckr оказалось немало неоднозначных личностей. Например, по данным HuffPost, среди них был сторонник «глобального превосходства белых» Дуглас Макки и некий Басс, которого издание характеризует как «убежденного расиста».

Еще одним сотрудником, который позже стал продвигать технологию Clearview правоохранительным органам, был Марко Юкич. За несколько лет до этого он под псевдонимом публиковал в блоге антисемитские, женоненавистнические и расистские посты, называл демократию «жалким провалом» и поддерживал постройку оборудованной камерами стены вдоль границы с Мексикой. 

В ответ на запрос HuffPost Юкич заявил, что его посты были «упражнениями в театральной гиперболе и комедийной сатире» и таким образом он просто пытался шокировать читателя.

После того, как журналисты начали расследование, Тон-Тэт заверил, что Clearview разорвал связи с Бассом и Юкичем. Он также заявил, что «был шокирован» и не знал о записях Юкича. 

Тем не менее в HuffPost убеждены, что Тон-Тэт наверняка был осведомлен о них, так как Юкич использовал в переписке тот же псевдоним, под которыми публиковал посты.

Тон-Тэт также сказал, что Чак Джонсон «не является руководителем, сотрудником, консультантом и членом совета директоров в Clearview AI». Сам Джонсон заявил журналистам, что он — секретный агент разведки США, а потому не может общаться с прессой. 

Даже если Clearview AI действительно прекратила сотрудничество с Бассом, Юкичем и Джонсоном, причастность людей с откровенно расистскими взглядами к созданию масштабного инструмента идентификации лиц уже может вызвать у многих тревожные чувства. 

Особенно учитывая быстрое распространение технологии Clearview. 

На вооружении у полиции  

В 2017 году, когда система распознавания лиц компании уже была готова, тогдашняя Smartcheckr еще не определилась с потенциальными покупателям. Как признался The New York Times Тон-Тэт, они рассматривали все возможности.

Американские полицейские долгие годы использовали технологии распознавания лиц, однако они были ограничены фотографиями из правительственных баз. Clearview, собирающий данные из соцсетей, предоставила правоохранителям инструмент в разы масштабнее.

По информации СМИ, одним из первых клиентов, купивших технологию компании, стала полиция штата Индиана. С помощью Clearview правоохранители нашли преступника за 20 минут, пишет The New York Times.

Детектив Ник Феррара из Гейнсвилла, штат Флорида, узнал о Clearview из рекламы на сервисе для следователей, специализирующихся на финансовых преступлениях. После изучения возможностей Clearview он пришел в восторг от технологии.

«Clearview позволяет использовать неидеальные фотографии. Человек может носить шляпу или очки, это может быть фото профиля или всего лишь часть его лица», — цитирует Феррару The New York Times.

Через несколько месяцев полицейское управление Гейнсвилла заплатило $10 тысяч за годовую лицензию Clearview.

Часто компания предлагала отдельным офицерам бесплатно протестировать систему в течение 30 дней. Это стало наиболее эффективным методом продвижения услуг. 

Правоохранители не только убеждали свои департаменты покупать инструмент, но и хвалили его среди коллег из других отделов. Такое «сарафанное радио» сделало свою работу — помогло Clearview распространиться в сотнях полицейских участках.

Почему полиция использовала технологию, за которой стояли люди с неоднозначной репутацией — не единственный вопрос. Алгоритмы Clearview не тестировала независимая сторона, а методики сбора данных нарушали политики конфиденциальности соцсетей. 

Twitter, YouTube и другие ресурсы потребовали от Clearview запретить сбор фотографий своих пользователей. Twitter также настояла на удалении уже собранных с платформы данных.

«Clearview тайно собирала изображения людей без их согласия, нарушая прямой запрет», — заявили в YouTube.

Тон-Тэт уверяет, что система использует только общедоступные изображения. Вместе с тем, Clearview хранила все фотографии, даже если они позже были удалены из первоисточника. 

Восстание против Clearview

После публикации расследования The New York Times на компанию «посыпались» судебные иски. Первым стал иск от жителя штата Иллинойс, где действует закон о конфиденциальности биометрической информации (BIPA). Ранее из-за возможного нарушения именно этого закона Facebook уже согласилась выплатить $550 миллионов жителям штата за использование технологии распознавания лиц. 

Истец из Иллинойса утверждал, что действия Clearview являются «коварным посягательством на свободу человека». Позже дело переквалифицировали в коллективную жалобу.

В рамках разбирательства Clearview заявила, что больше не будет продавать свою технологию никому, кроме правоохранительных органов. Также компания объявила об отключении всех учетных записей, «принадлежащих любому лицу, находящемуся в Иллинойсе».

Позже в этом же штате был подан еще один иск против Clearview от Американского союза гражданских свобод (ACLU). В организации заявили, что подали в суд от имени переживших насилие лиц, иммигрантов без документов и других уязвимых категорий.

«Люди могут изменить свои имена и адреса, чтобы защититься от тех, кто хочет причинить им вред, но они не могут изменить свое лицо», — подчеркнули в ACLU.

На фоне резонанса вокруг Clearview правительственные департаменты и компании, использовавшие систему, стали открещиваться от нее. Многие заявили, что лишь тестировали ее возможности. К примеру, в Coinbase сказали BuzzFeed, что «не взяли на себя никаких обязательств» по использованию технологии.

Тем не менее вопрос о защите конфиденциальности биометрических данных в последнее время поднимается все чаще, и история c Clearview — лишь еще одно доказательство необходимости контроля за применением технологии распознавания лиц.

Борьба с распознаванием лиц

Первым американским городом, который в прошлом году запретил правоохранителям использовать технологии распознавания лиц, стал Сан-Франциско. За ним последовали еще несколько городов США, включая Сомервилль, штат Массачусетс, и калифорнийский Окленд. Позже мораторий ввели на территории всей Калифорнии. 

В июне 2020 года за запрет на использование технологии полицейскими проголосовал городской совет Бостона. Авторы инициативы заявили, что нынешние системы распознавания лиц несовершенны и способствуют расовой дискриминации. 

Накануне стало известно, что из-за ошибки подобной системы полиция Детройта арестовала невиновного афроамериканца Роберта Уильямса. 

BREAKING: We’re filing a complaint against Detroit police for wrongfully arresting Robert Williams, an innocent Black man — all because face recognition technology can’t tell Black people apart.

Officers hauled him away in front of his kids and locked him up for 30 hours. pic.twitter.com/84XJs0XWqu

— ACLU (@ACLU) June 24, 2020

В конце июня старейшая и крупнейшая международная организация в компьютерной области Ассоциация вычислительной техники (ACM) призвала американские власти немедленно приостановить использование распознавания лиц правоохранителями и компаниями.

Ассоциация сослалась на документально подтвержденные этнические, расовые и гендерные предубеждения подобных систем. 

В ACM не исключили, что в будущем технологию усовершенствуют, но пока она не является «достаточно зрелой» и поэтому представляет угрозу для прав человека.

Дискуссия о применении правоохранителями систем распознавания лиц вышла на новый уровень в том числе на фоне протестов в США, вызванных насилием со стороны полиции на почве расовой дискриминации.

Технические гиганты один за другим стали приостанавливать разработку и распространение технологии. 

В IBM заявили об отказе работать с технологиями, которые используются для массового наблюдения и нарушения прав и свобод человека. Amazon на год ввела мораторий на использование полицией ее технологии распознавания лиц. 

Последняя подчеркнула, что правительство должно выработать более строгие правила, «регулирующие этическое использование технологии распознавания лиц».

Помимо дискриминационной составляющей таких систем, обеспокоенность многих вызвало и возможность применения технологии для выявления и ареста протестующих.

Сенатор Эдвард Марки направил письмо к Clearview, в котором призвал компанию «сделать все необходимое для того, чтобы технология не заставляла американцев выбирать между пожертвованием правом на неприкосновенность частной жизни или молчанием перед лицом несправедливости».

Против применения распознавания лиц в ходе протестов борются не только в США, но и в России.

Экс-замминистра энергетики Владимир Милов и общественный деятель Алена Попова подали в Европейский суд по правам человека (ЕСПЧ) жалобу на использование технологии во время митинга в сентябре 2019 года в Москве.

Системой распознавания лиц были оснащены камеры, закрепленные на металлоискателях. Попасть на митинг можно было только пройдя через них.

«Нашему государству данная система нужна не для более быстрого раскрытия преступлений, а для контроля за гражданами», — написала Попова на Facebook.

Российские суды ранее посчитали, что использование распознавания лиц не нарушает права граждан.

В департаменте информационных технологий (ДИТ) Москвы заявили, что система применяется в соответствии с законодательством РФ и работает для обеспечения безопасности жителей столицы.

К июню 2020 года в городскую систему видеонаблюдения Москвы входят более 190 тысяч камер, из них 105 тысяч подключены к системе видеоаналитики, сообщили ForkLog в ДИТ:

«Записи с камер видеонаблюдения поступают в Единый центр хранения данных (ЕЦХД) и находятся там 5 дней. Доступ к ним имеют только уполномоченные лица – сотрудники органов власти и правоохранительных органов. Персональные данные в ЕЦХД отсутствуют».

Одним из разработчиков алгоритма распознавания лиц, интегрированного в систему видеонаблюдения, является российская компания NtechLab. Ее технология под названием FindFace изначально использовалась как сервис, помогающий находить людей в соцсети «ВКонтакте» по фотографии.

С 2018 года компания перестала оказывать услуги поиска людей по фотографии, сосредоточившись на разработке решений для государства и корпоративного сектора. Несмотря на то, что FindFace ранее использовала схожий с Clearview принцип, в NtechLab заявили, что последняя «создает плохое представление о системах распознавания лиц». 

Вероятно, в России в ближайшее время не стоит ожидать введения какого-либо моратория на использование данной технологии. Тем более, что в период пандемии коронавируса власти стали все чаще обращаться к ней, отметил адвокат, партнер «Центра цифровых прав» Саркис Дарбинян.

«Судя по всему, российские власти не очень хотят ограничивать себя в использовании подобной прогрессивной, но в то же время очень опасной технологии», — заявил он в комментарии для ForkLog.

***

Сдержать распространение технологии распознавания лиц уже практически невозможно. Тем более в ХХI веке, когда дилемма «приватность vs безопасность» — вопрос, сопровождающий использование практически любой новой технологии. 

Clearview AI, как и многие другие стоящие за системами распознавания лиц компании, дают на него однозначный ответ. Конечно, не в пользу приватности. И этот ответ, судя по всему, понравился правительствам. 

Технологии развиваются гораздо быстрее, чем человечество разбирается с морально-этическими вопросами. Поэтому чрезвычайно важно отслеживать, кто стоит за этими разработками, кем они используются и как работают. 

Волна мораториев на использование систем распознавания лиц — очевидный показатель, что пока общество не доверяет как самой технологии, так и тем, кто ее применяет. И до тех пор, пока граждане не смогут контролировать каждый из аспектов ее использования, угроза дискриминации и нарушения права на приватность остается чрезвычайно высокой.

Автор: Алина Саганская.

Подписывайтесь на новости ForkLog в Telegram: ForkLog Feed — вся лента новостей, ForkLog — самые важные новости и опросы.