Доверие на автопилоте: почему человек верит машине больше, чем людям, — и не напрасно ли

Перевод издания «Идеономика».

Журналисты BBC рассказали, почему человек склонен доверять компьютеру и к чему это может привести. Материал перевело издание «Идеономика».

Многие люди заявляют, что скептически относятся к автономным технологиям, но кажется, мы, наоборот, слишком доверяем машинам.

Когда рейс 447 Air France полетел брюхом в Атлантический океан со скоростью почти 300 км в час, пилоту Пьеру-Седрику Бонену пришлось бороться со штурвалом. Он взял управление на себя, когда автопилот внезапно отключился, по-видимому, из-за оледенения на корпусе. Ситуация требовала ручного вмешательства.

Другие пилоты, не предполагавшие такого сценария, не могли стабилизировать самолёт. Их сбивали с толку сообщения и сигналы тревоги от бортового компьютера — всё выглядело так, будто двигатель не заглох, хотя на самом деле ситуация была критической.

Лётный экипаж надеялся на автопилот и на то, что информационные системы самолёта предоставляют точную информацию. И это далеко не единственный инцидент, в котором излишнее доверие к технологиям привело к гибели людей.

Это хорошо изученное явление, известное как предвзятость автоматизации, которая иногда также приводит к потере бдительности — то есть люди меньше способны замечать неисправности, когда всем управляет компьютер. Удивительно то, что на эту склонность «слишком доверять» машинам, возможно, напрямую повлияли миллионы лет эволюции.

«Излишнее доверие к технологиям — это ошибка ошеломляющего масштаба», — пишет Патрисия Хардре из Университета Оклахомы. Она утверждает, что людям обычно не хватает способности судить о том, насколько надежна конкретная технология. Мы иногда отказываемся от помощи компьютера в ситуациях, когда это принесёт нам пользу, или слепо доверяем ему тогда, когда он в конечном счёте вредит человеку и угрожает его существованию.

Поведение одного из наших ближайших родственников, шимпанзе, указывает на то, почему мы так плохо умеем оценивать надежность техники. Возможно, причина в том, что мы вместо этого оцениваем других представителей своего вида.

В недавнем эксперименте исследователи создали устройство, позволяющее шимпанзе в заповеднике в Кении получать еду, потянув за верёвку. Одна верёвка предлагала основную награду в виде кусочка банана. Но был второй вариант — более крупное вознаграждение в виде двух кусочков банана и ломтика яблока, которые можно было получить либо с помощью машины, либо от другого шимпанзе.

Однако иногда машина не выдавала угощение, а другой шимпанзе предпочитал не делиться. Таким образом, хотя этот способ потенциально обещал большую награду, его использование предполагало некую неопределённость. А участники-шимпанзе оказывались либо в социальных, либо в несоциальных условиях. Им нужно было довериться либо машине, либо другому шимпанзе, чтобы иметь шанс получить большее вознаграждение.

«Они колебались гораздо больше, когда партнёром был другой шимпанзе», — говорит Лу Хо из Института развития человека Макса Планка, которая работала над экспериментом. Это одно из немногих исследований, показывающих, что социальный риск играет большую роль в том, как шимпанзе и люди ориентируются в мире.

Это называется «отвращение к предательству», говорит Хо. «Страх быть обманутым другим человеком [или шимпанзе], который, как считается, вызывает более сильные эмоции». Можно положить деньги в торговый автомат и не получить запрошенный напиток, и это, без сомнения, вызывает раздражение. Но представьте, как бы вы себя чувствовали, если бы деньги взял бармен, а затем начал пить колу прямо у вас на глазах. Вы, наверное, были бы в ярости.

Конечно, торговый автомат не собирался никого обманывать, он просто не смог выдать заказ, а вот бармен осознанно выпил напиток, несмотря на то, что знал, какие чувства это вызовет.

Исследовательская группа на этом не остановилась. Они провели еще один эксперимент с участием шимпанзе, которые уже поняли, насколько вероятно получить больше угощения при выборе неопределённого варианта, благодаря участию в первом эксперименте. Теперь неопределённый вариант не был полностью неопределённым — шимпанзе уже осознавали, на какой риск они идут.

И вот тут обнаружился сюрприз. Шимпанзе больше не различали социальный и несоциальный варианты — теперь они перестали больше доверять машине, чем своему собрату. «Вот почему мы считаем захватывающим открытие, что они проводят различие между социальным и несоциальным миром в тех случаях, когда вокруг много неопределенности», — говорит Хо.

«В этом есть смысл, если подумать о том, насколько важно для приматов согласовывать свое социальное окружение, — говорит психолог из Технологического института Флориды Дарби Проктор. — Что касается техники, нет никаких последствий в будущем и потенциальных социальных затрат», — объясняет она.

В конце концов, шимпанзе, которые участвовали в этих экспериментах, должны были по его окончании проводить время вместе, так что любое неудовольствие могло каким-то образом повлиять на их взаимоотношения.

Проктор и её коллеги ранее проводили аналогичные тесты и также обнаружили, что шимпанзе больше доверяют предметам, чем другим шимпанзе. Проктор упоминает, что когда один из приматов не смог дать щедрую награду другому, удручённый шимпанзе выразил свои чувства, прыснув на партнёра водой. «Обычное проявление недовольства», — говорит она.

Впрочем, Проктор сомневается, что шимпанзе в этих экспериментах действительно больше доверяли машинам. Можно также предположить, что они просто более спокойно реагируют на плохую сделку, когда в ней не участвует социальный партнер.

«Дело не в уверенности, что машина непременно даст хорошую награду. Возможно, мы просто не воспринимаем её как эмоционально значимый объект, поэтому более охотно идем на риск», — предполагает она.

Эволюция, похоже, повлияла на готовность приматов иметь дело с неопределенностью в зависимости от ощущений, идём ли мы на социальный риск или нет. Но она не подготовила нас к тому факту, что предательство машины может обойтись довольно дорого, утверждает Франческа де Петрилло из Института перспективных исследований в Тулузе.

В течение миллионов лет у нас не было необходимости развивать умение оценивать машины так же тщательно, как представителей своего вида. Но сегодня, когда технологии оказывают огромное влияние на жизнь людей, эта необходимость возникла.

Есть и другие факторы. Помимо эволюции, на нашу готовность доверять технологиям также влияют личные знания о технике или устройстве и культурные ожидания. Исследование 2019 года показало, что люди в среднем на 29% чаще сообщают данные своей кредитной карты во время текстового чата, если думают, что общаются с компьютером, а не с другим человеком. Исследователи обнаружили, что этот эффект был даже более выражен среди тех, кто заранее считал, что машины более безопасны или надёжны, чем люди.

С другой стороны, иногда люди выступают против доверия к технологиям. Опросы показывают, что многим не нравится идея беспилотных автомобилей или автоматизация рабочих мест.

Люди боятся потерять часть своей идентичности, если всё будет автоматизировано. Или просто скептически относятся к тому, что компьютер сможет выполнять определённые задачи с необходимой осторожностью и умением. Вы вовсе не удивляетесь, когда видите сотни видеороликов с падающими роботами или сталкиваетесь с упорным отказом компьютера работать правильно.

Среди тех, кто изучал, что именно влияет на готовность человека доверять той или иной технологической системе, был социальный психолог из Билефельдского университета в Германии Филипп Кульмс. Он и его коллега придумали головоломку в стиле тетриса, в которой участники сотрудничали с компьютером.

Когда компьютер хорошо играл в игру (демонстрируя компетентность) и давал игроку-человеку доступ к ценным предметам, приносящим дополнительные очки (демонстрируя тёплое отношение), участники чаще доверяли ему, а также обменивались деталями пазла — то есть выражали эту уверенность в игре.

Если согласиться с тем, что люди, как правило, плохо оценивают надёжность машин, потому что эволюционно привыкли судить о надёжности на основе социальных сигналов, тогда это логично. Это также перекликается с другими исследованиями, предполагающими, что люди более азартны при игре на тех автоматах, которые отображают человеческие свойства.

Мы также лояльнее относимся к механическими объектами, когда они начинают вести себя немного как социальный партнёр, который проявляет заботу о наших интересах.

Таким образом, в отличие от человека, который был уязвлен безответностью компьютеров и поэтому не доверяет им всем, человек, который научился доверять определённым системам — например, автопилотам самолётов — с трудом понимает, как они могут ошибаться, даже когда это происходит.

Де Петрилло отмечает, что при общении с голосовыми помощниками, такими как Siri от Apple или Alexa от Amazon, она ощущает уверенность в компьютерах.

«Я думаю, что они действуют в моих интересах, поэтому мне не нужно в них сомневаться», — говорит она. Исследование Кульмса предполагает, что этот эффект сохранится до тех пор, пока технологии будут выглядеть компетентными и достаточно доброжелательными. Кульмс отмечает, что именно поэтому разработчики технологий должны быть уверены в этичности создаваемых систем и в прозрачности их функциональности.

Большая ирония всего этого заключается в том, что за любой технологией, которая кажется надёжной, может скрываться злой человек с гнусными намерениями. Чрезмерное доверие к неисправной машине достаточно опасно, не говоря уже о технике, специально созданной для обмана.

«Если бы мы так же рисковали с людьми, то о возможных негативных последствиях было бы известно куда больше», — говорит Проктор. И она, и Хо согласны, что требуется дополнительная работа, чтобы выяснить, насколько искренне шимпанзе доверяют машинам и в какой степени это раскрывает правду о человеческом поведении.

Но здесь есть намёк на то, что на наше случайное, иногда катастрофическое и чрезмерное доверие к технологиям повлиял простой факт: мы эволюционировали в социальных животных в мире, где машин не существовало. Теперь они есть, и люди все время доверяют им свои деньги, личные данные и даже свою жизнь. Это не обязательно неправильно — просто зачастую мы плохо понимаем, когда это можно делать, а когда не стоит.

#искусственныйинтеллект #компьютеры