Обратная сторона ИИ, часть 2-я: еще 6 причин опасаться AI-решений

Продолжая разговор об опасностях, связанных с искусственным интеллектом, сегодня рассмотрим еще 6 темных сторон этой практической реализации многих Data Science методов. Читайте далее, почему обучение нейросетей вредит экологии не меньше майнинга блокчейн-валюты, как непросто найти виновника аварии с беспилотником, может ли ИИ намеренно причинять вред, а также что поможет предупредить эти и другие подобные риски.

Отсутствие юридической ответственности за принятые решения и их последствия

Пока ИИ в виде беспилотных автомобилей, дронов, скоринговых алгоритмов, антифрод-моделей и прочих самоуправляемых систем только вступает на путь автономного использования. Еще не разработаны нормы и правила, кто или что именно будет отвечать, если, например, в аварии виноват беспилотный автомобиль под управлением ИИ-модуля. Например, в автомобилях Mazda 4-го поколения (модельный ряд 2019 и 2020 годов) выявлены баги в интеллектуальной тормозной системе: машина обнаруживает на пути несуществующий объект и резко тормозит. В реальности такое поведение может привести к аварии. Даже при том, что часть проблем по ликвидации ущерба возьмет на себя страховая компания, остаются вопросы с административной или уголовной ответственностью.

Как точно определить истинную причину сбоя: некорректно разработанный ML-алгоритм, плохое качество обучающих данных, экстремальные дорожные условия или прочие внешние факторы, которые не учел Data Scientist? Также дефект в ИИ-программе мог случиться из-за ошибки разработчика или архитектора системы, который неграмотно спроектировал и разделил ее на микросервисы. Как определить степень вины пользователя, который делегировал управление машине и не перехватил его в критический момент? А, может, имела место внешняя атака, при которой умный автомобиль был взломан злоумышленниками.

Аналогичные вопросы следует задавать, если ML-алгоритм поставил неверный диагноз или в результате операции, которую проводил медицинский робот-манипулятор, умер пациент. Однако, пока ответственность по-прежнему лежит на человеке, делегировавшему ИИ принятие решений. Поэтому не случайно, при наличии автопилота, до сих пор в каждом самолете есть возможность ручного управления, которой регулярно пользуются командиры воздушного судна, спасая жизни пассажиров в критических ситуациях [1].

Типовой подход и однообразие в принятии решений

Из-за однотипности примеров в обучающей выборке и ограниченного набора целевых переменных. Человек лучше ИИ принимает решения в нестандартной ситуации, неявно экстраполируя на нее свой жизненный опыт из других предметных областей. К примеру, ИИ-системы неплохо справляются с первичным отбором линейных работников на массовые позиции с однообразными функциями и даже заменой их работы своими автоматизированными процессами. В частности, еще в 2017 году глава Сбербанка анонсировал значительные сокращения линейного персонала за счет передачи их обязанностей программным роботам [2].

Однако, опытные топ-менеджеры и талантливые сотрудники творческих профессий до сих пор остаются «редким товаром» на HR-рынке, т.к. очень сложно формализовать и заменить беспристрастным ML-алгоритмом личностные качества (харизматичность, целеустремленность, эмоциональный интеллект и пр.), на которых основана работа таких людей. При этом полная автоматизация процессов поиска и отбора кандидатов может отсечь новичков, с высоким потенциалом и большим желанием работать, которые не 100% соответствуют заранее заданным критериям [3].

Отсутствие приватности и невозможность защитить личные данные

Благодаря активному пользованию соцсетями исчезает граница между приватным и публичным. Причем открытыми становятся не только данные, намеренно выложенные самим пользователем в открытый доступ, но и утечки данных, произошедшие по вине ИТ-компаний. К примеру, только в 2019 году в России произошло около 10 крупных инцидентов с раскрытием персональных данных (ФИО, дата и место рождения, сведения о месте регистрации, паспортные данные и даже уровень дохода). В этих скандалах были замешаны государственные предприятия и коммерческие компании: электронные торговые площадки по госзакупкам, региональное управление здравоохранения одной из областей, Альфа-банк, ОТП-банк, ХКФ-банк, ВТБ, мобильный оператор «Билайн», оператор фискальных данных «Дримкас» [4]. В 2017 и 2018 гг. произошла масштабная утечка биометрических данных из крупнейшей системы биометрии – индийского проекта AADHAAR, изначально созданного в качестве платформы цифровизации государственных услуг и базы данных о резидентах страны.

Подобные утечки биометрических данных из ИИ-систем особенно опасны, т.к. позволяют злоумышленникам воспользоваться привилегиями полномочного пользователя или фальсифицировать его поведение. К примеру, массовое внедрение единой биометрической системы в банковские сервисы, анонсированное в России с 2018 года, предполагает удаленную идентификацию клиента по голосу и видеозаписи его лица. Однако, с учетом возможностей ИИ-технологии Deep Fake, это становится потенциальными воротами для преступников, которые могут обмануть ML-алгоритмы, зная принципы их работы и уязвимости [5].

Также, благодаря доступу к истории пользовательских действий в интернете и возможности чтения даже личной переписки в соцсетях и мессенджерах, государство и бизнес получают дополнительные рычаги влияния на отдельных граждан. В частности, в июле 2020 года компания «Вымпелком» представила сервис, который позволяет получать сведения о демографии граждан по 16-ти параметрам: пол, возраст, уровень дохода, интересы, сервисы и приложения в интернете и прочие данные, выявленные с помощью ИИ-методов по корпоративной базе. Воспользоваться этим маркетинговым инструментом может любой желающий, авторизовавшись в личном кабинете на сайте «Билайна» и загрузив в форму телефонные номера, которые нужно проанализировать (не менее 300). Система отфильтрует абонентов Вымпелкома и выдаст по ним обезличенную статистику, например, каков процент мужчин и женщин в рассмотренной выборке с разбивкой по возрастам и типам занятости. Тогда же отечественное Министерство экономики предложило вывести обработку персональных данных в рамках экспериментальных правовых режимов из-под действующего регулирования, включая тайну связи, переписки и телефонных переговоров, а также врачебную тайну. Это означает, что можно будет не соблюдать тайну связи, переписки и телефонных переговоров, а также врачебную тайну, и не соблюдать требования об обязательном получении письменного согласия гражданина на обработку его данных и возможности отозвать такое согласие.

Пока этот законопроект находится на стадии согласования. Ожидается, что новый законопроект повысит качество диагностировании заболеваний, облегчая принятие врачебных решений с помощью ИИ при мониторинге состояния пациентов, назначении и корректировке лечения. А непрерывный сбор банковских, абонентских и другие клиентских данные, позволит предпринимателям более эффективно находить новые рынки прочие возможности улучшения бизнеса. Однако, эксперты в области приватности данных, в частности, зампред комиссии по правовому обеспечению цифровой экономики московского отделения Ассоциации юристов России Александр Савельев, подчеркивает, что этот законопроект фактически уничтожает неприкосновенность личной информации под видом развития инноваций. Причем речь идет не только о тотальном контроле государства за своими гражданами, но и огромных рисках различных правонарушений, от финансовых мошенничеств по телефону до физических преступлений, когда персональные данные о доходе и местонахождении человека попадают в недобросовестные руки [6].

Стимуляция излишнего потребительского спроса

ИИ-системы активно используются маркетологами, чтобы увеличить продажи и стимулировать клиентов к еще большему потреблению, делая им индивидуальные предложения товаров и услуг на основе анализа пользовательских интересов и внешних условий. Например, российский мобильный оператор МТС на 20% повысил эффективность своих рекламных кампаний по сравнению с традиционным таргетингом за счет прогнозирования потребности своих абонентов на основе автоматизированного анализа их пользовательской истории. Персонализированное рекламное предложение автоматически поступает клиенту, побуждая его к покупке и таким образом увеличивая выручку компании [7].

Аналогично ИИ-технологии принесли доход другой отечественной телеком-корпорации, компании Билайн: рост числа заявок в 1,7 раз, а конверсии – в 100 раз [8]. По такому же принципу построены маркетинговые программы современных ритейлеров. В частности, сеть гипермаркетов «Лента», благодаря интеллектуальному анализу данных о своих клиентов за год увеличила число пользователей карт лояльности сети на 24%: теперь более 10 миллионов лояльных клиентов совершают 93% всех покупок. Данные об этом потребительском поведении оперативно собираются и анализируются. Найденные с помощью ИИ закономерности о пользовательских предпочтениях оформляются в персональные маркетинговые предложения и доставляются клиенту в виде СМС и email-сообщений, чтобы стимулировать к дополнительным покупкам [9].

Наконец, отметим случай навязчивой ретаргетинговой рекламы, с которой сталкивался каждый пользователь интернета. Эта техника убеждения потенциальных клиентов заставляет вернуться на веб-сайт после того, как этот ресурс был закрыт без покупки или другого конвертирующего действия (оставить заявку, подписаться на рассылку и пр.). Чтобы такое рекламное обращение к клиенту было эффективным, многие маркетинговые компании используют готовые ИИ-сервисы и пишут создают ML-платформы для прогнозирования пользовательских намерений в реальном времени [10].

Экологический ущерб, наносимый окружающей среде

К примеру, обучение нейросети даже на обычном «офисном» компьютере сравнимо с выбросами углекислого газа от 5 автомобилей. В частности, тренировка нейросетевой модели Transformer на 65 миллионах параметров приводит к выбросу примерно 11 кг. А при увеличении числа обучающих параметров до 213 миллионов выделяется уже 87 кг вредных для окружающей среды веществ [11].

Возможность неправомерного использования для намеренного причинения вреда

Из-за отсутствия общечеловеческих понятий морали и нравственности. Вопиющим примером такого применения ИИ-технологии стала серия преступлений в США 2016-2019 гг. В рамках преступного сговора разработчиков медицинской ИИ-системы с производителем опиоидных препаратов для лечения боли электронная система поддержки принятия клинического решения выдавала ошибочные рекомендации. Это привело к существенному росту смертности из-за передозировок наркотическими и опиоидными препаратами. Причем, пострадали не наркоманы, а люди, получавшие специфическую терапию в лечебных целях и ранее никогда не принимавшие опиоиды [12]. Таким образом, ориентированное на массовое применение технологии, сконцентрированные в руках малой группы людей, становятся потенциальным оружием и средством достижения чьих-то индивидуальных целей в ущерб развитию общества в целом. Это еще более усугубляет разрыв между богатыми и бедными, приводя к социальной дестабилизации.

Вместо заключения

Все рассмотренные примеры в очередной раз показывают, что перед массовым внедрением ИИ-технологий в любую прикладную сферу деятельности, нужно оценивать не только потенциальную выгоду, но и возможные риски, честно ответив на следующие вопросы:

какие решения могут быть приняты неправильно;
кто может пострадать в этом случае;
как предупредить, обойти или снизить вероятность этих угроз, а также смягчить их последствия;
есть ли возможность «ручного вмешательства», т.е. перехват управления у ИИ-системы.

Такой тщательный анализ позволит точнее определить возможности и ограничения реального применения искусственного интеллекта на пользу человеческого разума, как это изначально и задумывалось.

Источники