Обратная сторона ИИ, часть 1-я

Любая технология может использоваться во благо или наоборот, оказывать негативное влияние на отдельного человека и общество в целом. Сегодня поговорим о том, что такое искусственный интеллект, как это работает, стоит ли людям опасаться своего же изобретения и почему.

Что такое ИИ и как это работает: краткий ликбез

Под искусственным интеллектом (ИИ) подразумевают совокупность методов и средств на стыке математики, науки о данных (Data Science) и вычислительной техники, которые позволяют анализировать большие объемы информации, выделяя из них сведения, ценные с прикладной точки зрения. Например, алгоритмы распознавания изображений определяют автомобильные номера и диагностируют новообразования, модели предиктивной аналитики прогнозируют события пользовательского поведения в интернет-магазинах, рассчитывают вероятность своевременной выплаты кредита в банке или угрозу внеплановой аварии технологического оборудования и т.д. ИИ автоматизирует сбор, распознавание и аналитическую обработку данных в различных областях деятельности, от живописи до логистики с помощью моделей машинного обучения. ML-алгоритмы выявляют математические закономерности во входных данных после обучения на множестве аналогичных примеров. Из-за способности находить в огромных объемах данных неочевидные зависимости и принимать на основе этого решения, такие алгоритмы считают интеллектуальными и называют искусственным интеллектом.

Однако, стоит отличать понятия интеллекта и разума. Интеллект – это умение оптимально решать поставленные задачи путем рационального поведения на основе накопленного опыта, тогда как разум – способность к иррациональным действиям и нестандартным решениям [1]. Поэтому не следует считать ИИ (объект, созданный человеческим разумом для оптимального решения конкретных задач) разумным в том смысле, как это свойственно человеку. Тем не менее, люди часто наделяют антропоморфными чертами неодушевленные объекты и явления, особенно те, принцип работы которых непонятен или неизвестен. Именно так обыватель воспринимает ИИ-технологии, видя в них угрозу для своей жизни и развития общества. Впрочем, подобные опасения отнюдь не беспочвенны – далее рассмотрим, почему.

6 причин, почему искусственный интеллект может быть опасен

Презумпция истинности

В абсолютном большинстве случаев принятые искусственным интеллектом решения сегодня по умолчанию считаются абсолютно верными и правильными, хотя это далеко не всегда так. Например, в 2018 году в Москве был задержан молодой человек, не совершавший неправомерных действий. Однако, городская система видеонаблюдения с ИИ-модулями распознавания лиц идентифицировала его как преступника [2]. А летом 2020 года в США произошло минимум 2 подобных случая, когда из-за ошибок городской системы распознавания лиц полицейские вместо нарушителей закона задержали невиновных людей, предъявив им обвинения в совершении уголовных преступлений [3].

Ложные совпадения и ложные несоответствия

Такие ошибки 1-го и 2-го родов по confusion matrix приводят не только к вышеуказанным ситуациям, когда невиновные люди были отмечены биометрической ИИ-системой как преступники, но и к отказу в обслуживании легитимного пользователя, а также предоставлению нарушителям несоответствующих привилегий. Например, в 2017 году злоумышленники смогли взломать чужой смартфон Samsung Galaxy S8, обманув ИИ-систему распознавания владельца с помощью обычной контактной линзы, на которую был нанесен снимок радужной оболочки глаза хозяина. В 2019 году подобным образом был взломан сканер отпечатка пальцев смартфона Samsung Galaxy S10 с помощью искусственного пальца, распечатанного на 3D-принтере, а смартфон OnePlus 7 Pro «хакнули» с помощью муляжа из фольги и клея ПВА. Тогда же произошло огромное по масштабам нанесенного ущерба преступление, когда иностранная энергетическая компания потеряла около 220 тысяч евро, переведя их на счет злоумышленников в результате подложного телефонного звонка от руководителя фирмы. Правдоподобная имитация голоса и манеры разговора начальника была сделана с применением GAN-методов глубокого машинного обучения (Deep Learning). GAN-сеть – это комбинацию двух конкурирующих нейросетей, одна из которых генерирует образцы，а другая старается отличить подлинники от подделок, обрабатывая все данные. Со временем каждая сеть улучшается, благодаря чему качество обработки данных существенно возрастает, т.к. в процесс обучения уже заложена функция обработки помех. Так обе нейросети взаимно тренируют друг друга, постепенно доводя результат до совершенства [4].

Суждение о понятиях реального мира без понимания их истинной сущности

И принятие решений на основе только набора характеристик, которые могут меняться. Сегодня ИИ-алгоритмы распознавания образов неплохо справляются с задачами идентификации некоторых объектов, обучившись на множестве подобных образцов. К примеру, ML-модель с достаточно высокой точностью отличит собаку от кошки, но не от волка из-за схожести характерных признаков. А что на самом деле представляют собой эти животные и насколько они опасны, ИИ-система даже не учитывает, т.к. это не требуется для их визуальной идентификации. В аналогичном эксперименте травяной холм идентифицировался как овца, поскольку в обучающей выборке барашки были сфотографированы на фоне травы. Более того, в проекте обнаружения рака кожи по фотографии линейка опознавалась как злокачественное новообразование, т.к. большинство фотографий в обучающей выборке было сделано на фоне линейки, чтобы показать размер патологии. Все это иллюстрации того, что у ИИ нет семантического понимания сущности анализируемого объекта. Человек видит в наборе пикселей часть реального мира: кошку/собаку/волка, кожу или линейку, а ИИ-модель – лишь закономерности (паттерны) в числовых данных [5].

Необъяснимость или сложность интерпретации результатов

При том, что аналитическое агентство Gartner включило объясняемый ИИ в ТОП-10 трендов 2020 года в области Data&Analytics [6], сегодня для большинства обывателей ИИ-технологии представляются как черный ящик, внутри которого происходит неясная магия. При этом даже у ИТ-специалистов возникают когнитивные искажения в попытке объяснить явные ошибки алгоритма. Поэтому, даже в случае создания «объяснимого ИИ», описывающего, на каком основании принято то или иное решение, например, с помощью специальных инструментов интерпретации и визуализации ML-моделей, таких как библиотеки Yellowbrick, ELI5, LIME, SHAP [7], люди будут или чрезмерно доверять ИИ-системе или, наоборот, саботировать ее, не понимая принципов работы.

Предвзятость принимаемых решений

Зависимость результатов от разработчиков ML-алгоритмов и предоставленных для обучения датасетов на результаты. Как показали исследования 2017 года, опубликованные американскими учеными в журнале Science, ИИ-система, обучаясь на примере реальных текстов, может «запомнить» скрытые в них гендерные и расовые стереотипы [8]. А еще в мае 2016 года вышло расследование, которое выявило серьезные недостатки в работе ИИ-системы COMPAS, принимающей решения об условно-досрочном освобождении заключенных в США. Созданный белыми разработчиками алгоритм почти в 2 раза чаще выдавал заключение о низком риске совершения повторного преступления белокожим заключенным, чем темнокожим (47,7% против 28%). При этом в реальности в течение двух лет рецидив случался в обеих расовых группах с одинаковой частотой. Интересно, что доля афроамериканцев, которым ИИ прогнозировал высокий риск совершения рецидива составила 44,9%, а белых заключенных — 23,5% [9].

Неспособность оценить комплексный характер анализируемой ситуации

Например, понять, как эмоциональное состояние человека или предыстория рассматриваемого кейса влияет на случившиеся факты и совершенные действия. Именно поэтому еще ни в одной стране мира ИИ-системам не делегировано полное право принимать судебные решения, хотя сервисы по автоматизации поиска информации правового характера и анализа документов могут сэкономить до 80% времени юристов и до 90% стоимости их консультаций. Однако, в случае 100%-ной автоматизации юридических разбирательств есть опасность того, что будет подорван важнейший принцип юстиции – справедливого судебного разбирательства с учетом всех сопутствующих факторов, которые уникальны в каждой ситуации. Кроме того, возрастает риск наказания за несовершенные преступления, вычисленные с помощью предиктивных ML-моделей. Это дает возможность давления на «неудобных» граждан и может стать инструментом манипулирования [10].

Впрочем, что это еще не все опасности от ИИ в реальной жизни из-за некорректно разработанной системы или ее умышленного применения во вред. В следующей статье продолжим разговор про темные стороны ИИ и рассмотрим, как предотвратить эти угрозы или хотя снизить риски их возникновения.

Источники