Машины-надзиратели и непредвиденные ошибки: когда и почему люди перестанут понимать, как работают «умные» системы

Издание The Outline на примере авиационных автопилотов объяснило, почему растущая зависимость человечества от автоматических механизмов может нести опасность, и рассказало о том, как исследователи и разработчики изучают поведение «умных» систем.

8 января 2016 года, полночь. Высоко в небе над заснеженной тундрой арктической части Швеции грузовой самолёт CRJ-200 компании Canadair пробирался через воздух температурой -60 градусов по Цельсию. 

В кабине самолёта командир изучал данные о посадке, поступившие из норвежского города Тромсё. В его глазах всполохами отражались показатели с основного дисплея — прямоугольного экрана размером с iPad в левой части приборной панели. Один из них — индикатор того, насколько поднят нос самолёта относительно горизонта, начал расти.

Начались неприятности.

Пилот не чувствовал движения вверх, но это было не важно: его первым делом научили тому, что когда землю не видно, невозможно со стопроцентной точностью утверждать, поднимается самолёт или опускается. Пилот должен полностью доверять своим приборам.

Звуковой сигнал обозначил отключение автопилота. Времени думать не было. Если нос задерётся слишком высоко, заходящий на посадку самолёт на мгновение зависнет в воздухе, что приведёт к катастрофе. На дисплее яркая красная стрелка указывала вниз — опускайся! 

Пилот потянул штурвал вперёд, но индикатор всё равно показывал, что нос слишком высоко. Он дернул сильнее. Бумаги и папки взлетели в воздух и ударились о потолок кабины. Сам пилот висел на ремнях безопасности так, словно находился там же. Зазвучала сирена: самолёт превысил максимальную скорость полёта.

«Мне нужна помощь!» — крикнул капитан.

«Я пытаюсь!» — ответил второй пилот.

Капитан не знал, что его самолёт уже потерял более трёх километров высоты и летел к земле под углом почти в 90 градусов. За 40 секунд до этого автоматизированная система, управляющая самолётом, частично вышла из строя, из-за чего индикатор начал выдавать неверную информацию. Из-за этого самолёт двигался в объятья заледенелых скал со скоростью 940 километров в час. 

Такими темпами до столкновения оставалось меньше 30 секунд, при этом пилот не имел ни малейшего понятия о том, что происходит. Второй пилот вышел в радиоэфир: «Терпим бедствие, Air Sweden 294!»

Автоматизация — использование механизмов с целью минимизировать человеческий труд, — появилась ещё в XVIII веке, когда были изобретены первые ткацкие станки. Обычно автоматические механизмы работают так, как и должны, позволяя людям делать то, на что иначе они были бы неспособны: искать точную фразу на миллионах веб-страниц, добавлять в каждый пончик абсолютно одинаковое количество джема или обеспечивать стабильный полёт самолёта на высоте в девять с половиной километров и в полной темноте.

Однако становясь всё более полезными, автоматические механизмы неумолимо усложняются. Эти системы могут удивлять их создателей, даже когда они работают так, как задумано. А с повсеместным распространением примитивного искусственного интеллекта становится всё сложнее понять, что происходит в недрах наших машин.

Первый автопилот появился в 1914 году. В 30-е годы технологию начали использовать на коммерческих рейсах. Эти простейшие устройства, направляющие самолёт в нужную сторону, проложили дорогу для более сложных компьютерных систем, которые могут управлять взлётом, навигацией и посадкой вообще без человеческого вмешательства. Всё увеличивающиеся мощности авиационных автопилотов — основная причина того, что соотношение фатальных катастроф на авиалиниях упало с 40 случаев на миллион в 1959 году до 0,1 на данный момент.

Коммерческие самолёты — вещи дорогие: один Boeing 777 стоит четверть миллиарда долларов. Более того, чтобы он работал как надо, приходится тратить весьма приличное количество ресурсов. 

Все важные системы трижды дублируются, так что крайне маловероятно, что все они перестанут работать одновременно. Автопилот даже снабжён защитой от человеческих ошибок: если пилот попытается осуществить потенциально опасную процедуру, автопилот просто откажется это делать. В одних случаях пилот может заставить машину подчиниться, в других — нет.

Однако стабильность работы идёт рука об руку со сложностью системы. А сложные системы состоят из множества частей и, следовательно, есть множество вариантов того, как они могут поломаться.

Спонтанный сбой на рейсе Air Sweden 294 не был первым в своём роде. В 2015 году из-за ошибки в бортовом компьютере самолёт компании Lufthansa внезапно потерял высоту, когда летел из испанского города Бильбао в Мюнхен. В 2008 году из-за сбоя на борту самолёт Qantas A330, направлявшийся из Сингапура в Перт, резко тряхнуло — некоторые члены экипажа и пассажиры переломали кости или получили повреждения позвоночника.

А в 2011 году автомат, контролировавший ситуацию на взлётно-посадочной полосе, заставил частный самолёт Dassault Falcon 7X резко набрать высоту и выйти в прямой подъем во время захода на посадку в малазийском городе Субанг. Если бы не сообразительность второго пилота, который заставил самолёт вернуться в нормальное положение, всё точно обернулось бы катастрофой.

Во многих случаях тем, кто потом изучал причины аварии, удавалось выяснить, какой участок системы дал сбой. Но не во всех. В случае рейса Air Sweden у них получилось отследить проблему до блока воздушных инерционных сигналов (Air Data Inertial Reference Unit) или ADIRU — устройства, которое показывает, как самолёт движется сквозь пространство. Оно внезапно начало подавать ошибочные сигналы, и никто так и не понял, почему.

Мы, разумеется, не хотим, чтобы наши машины выходили из-под контроля, и не только на высоте девяти километров. И если в будущем мы будем всё больше и больше на них полагаться, с чем мало кто спорит, нам нужно лучше понимать, когда и почему они могут выйти из строя, и что с этим делать.

Сейчас автономные системы вроде автопилотов создаются «сверху»: все их части располагаются по своим местам людьми. В результате сложность машин получается ограниченной, так что, если что-то пойдёт не так, ошибку наверняка можно будет найти и устранить, например, с помощью технологий.

В штаб-квартире компании Airbus во французском городе Тулуза инженеры, разрабатывающие новый самолёт, проверяют его компоненты с помощью хитроумной машины под названием «Железная птица». 

Она состоит из всех компонентов самолёта, соединённых между собой и связанных с лётным симулятором — так у инженеров появляется возможность симулировать различные конфигурации оборудования и проверять, как сбои могут повлиять на работу оборудования. «Железной птицей» пользуются годами — пока идёт разработка новой модели, — и даже после этого о ней не забывают, поскольку даже когда модель выходит на рынок, нужно на чём-то тестировать модификации для неё или искать возможные ошибки.

Вообще, такой подход — методичная проверка любой возможной комбинации входящих данных и сбоев, — может быть достаточно развит, чтобы полностью исключить возможность ошибок. По крайней мере, теоретически.

Однако в обозримом будущем это вряд ли случится. Дни собранных вручную систем вроде современных автопилотов скоро будут сочтены. На данный момент передовой технологией исследований искусственного интеллекта является «глубокое обучение», основанное на нейросетях. Если дать такой нейросети большое количество данных и научить её их категоризировать, она сможет правильно оперировать новыми данными, с которыми раньше не встречалась.

Например, если показать такой машине картинки панд, она сможет самостоятельно найти изображения панд в интернете. Именно на этой технологии будут построены программы для совершенного распознавания лиц и машинного перевода.

По словам Васанта Дхара, профессора кафедры анализа и обработки данных в Нью-Йоркском университете, системы, основанные на глубоком обучении, программируются не так, как обычные.

Описанная им гибкость — залог эффективной работы многих систем. Например, самоуправляемым автомобилям придётся решать огромное количество проблем, и очень сложно вручную прописывать алгоритм решения для каждой.

Однако, продолжает Дхар, основной минус нейросети в том, что она на самом деле — чёрный ящик. В отличие от систем, построенных «сверху», процессы, происходящие внутри нейросети, всегда будут непонятны для людей.

Инженеры, конечно, могут заглянуть внутрь работающей нейросети, но то, как она обрабатывает информацию, для человека фундаментально непостижимо. Такие системы состоят из слоёв, данные — скажем, необработанная картинка, — вводятся внизу, а результат — описание того, что на этой картинке изображено, — выходит сверху. Если изучить работающую нейросеть, можно будет понять, чем занят каждый вычислительный элемент в верхнем и нижнем слоях, но происходящее между ними охарактеризовать сложно.

Из-за своей конструкции нейросети склонны к необычному и даже удивительному поведению. Например, если скормить им противоречивые данные — те, что были слегка изменены, — программы, основанные на глубоком обучении, могут сойти с ума. 

Система распознавания изображений, которой дали лишь слегка изменённую картинку панды, может решить, что на ней гиббон. Хотя такое поведение вряд ли может проявляться спонтанно, этой уязвимостью могут воспользоваться хакеры — например, так можно вызвать сбой в системе безопасности, распознающей лица людей из их фотографий.​

Самообучаемые автономные системы могут удивлять и по-другому. Поскольку они способны обрабатывать объемы данных, недоступные обычным людям, и на их основе изучать большее количество потенциальных результатов, такие системы могут приходить к выводам, которые человеку и в голову не пришли бы.

Знаменитая программа AlphaGo компании Google не только смогла обыграть в го лучшего игрока-человека, но и сделала во время настолько необычный ход, что оппоненту пришлось покинуть комнату, чтобы прийти в себя. Гамбит оказался настолько ошеломительным, что один из комментаторов впоследствии признал: «Я думал, что это была ошибка».

На самом деле это был гениальный ход. Однако иногда неожиданные результаты работы нейросетей — лишь обычные ошибки. Недавно исследователи обучали нейросети на данных пациентов из Медицинского центра Питтсбургского университета, чтобы она помогла им разработать методы лечения больных пневмонией.

В целом, нейросети справились лучше обычных алгоритмов, но с одним смертельным исключением: они решили, что пациентов с пневмонией, уже переболевших астмой, нужно отправлять домой. Исследователи изучили эту логическую цепочку и выяснили следующее: нейросеть обнаружила, что такие пациенты выздоравливали быстрее и заключила, что их случаи наименее проблематичны. 

На самом деле, всё ровно наоборот — таких больных сразу отправляют в интенсивную терапию. Компьютер рассудил неверно из-за того, насколько эффективной ему показалась стратегия.

Как считает Чо, прежде чем мы передадим важные аспекты наших жизней в руки самообучаемых автономных систем, «нужно подумать над способами проверки их выводов».

Однако это может быть невыполнимо. По словам Чо, один из способов подразумевает создание второй машины, чтобы она приглядывала за первой.

Но можем ли мы доверять второй системе, поставленной надзирать над первой? Чо считает, что обществу нужно инвестировать в такие исследования.

Одно дело, когда автоматические системы непредсказуемо учатся и удивляют нас. Другое, когда технология становится настолько развитой, что мы перестаём понимать, как именно она работает. Если мы позволим машинам принимать за нас бессчётное количество решений, возрастёт опасность того, что они выйдут из-под контроля.

В грядущие годы инженеры все чаще будут испытывать чувство, знакомое родителям с начала времён: удивление от того, на что способна порождённая ими сущность. Роботы, словно дети, сами будут изучать мир и исследовать то, чему их не планировали учить создатели. В среде исследователей искусственного интеллекта это называется «проблема контроля». Оказывается, в определённых условиях даже простейшие программы могут научиться обходить препятствия, созданные, чтобы они выполняли конкретные цели.

Стюарт Армстронг, научный сотрудник из Института будущего человечества в Оксфордском университете, разработал простейшую демонстрацию с роботом, единственная задача которого — толкать коробки в жёлоб.

Робота поощряют, когда он сталкивает коробку в жёлоб. Затем устанавливается устройство наблюдения, которое отключает робота, когда он успешно доставляет в жёлоб одну коробку. В итоге он может «научиться» обманывать устройство, блокируя его коробками, чтобы он мог столкнуть в жёлоб больше одной. (Здесь можно посмотреть онлайн-демонстрацию этого процесса.)

Усложняясь, машины всё чаще будут включать человеческое поведение в их модели мира. Чтобы достигать своих целей наиболее оптимально, им придётся адаптировать свои стратегии для нашего предсказуемого поведения. Если они решат, что мы можем помешать им достигнуть своих целей, например, выключив их, они могут придумать способы это предотвратить.

Поработав коллективно, мы, возможно, сможем изменить наше восприятие, чтобы избежать опасности. Либо окажется, что перед нами стоит проблема, которую мы не в состоянии полностью осознать.

Через 40 секунд после того, как в ADIRU случился сбой, рейс Air Sweden 294 уже пролетел вниз более шести километров. Командир и второй пилот видели, что высота падает с ужасающей скоростью и понимали, что нужно что-то делать. Но они были полностью дезориентированы и, вместо того, чтобы вернуть себе контроль над ситуацией, спорили о том, вправо или влево поворачивать. В какой-то момент пилот всё-таки потянул штурвал на себя, из-за чего экипаж испытал на себе силу утроенной гравитации. Затем он снова опустил нос вниз.

Через одну минуту и 20 секунд самолёт столкнулся с заледеневшей землёй со скоростью пули сорок пятого калибра. Оба пилота мгновенно погибли, а от столкновения остался кратер шестиметровой глубины и 15 метров в диаметре. Прибывшие спасатели увидели только огромные следы от огня и копоти на белоснежном ландшафте.

До сих пор неизвестно, что за ошибка произошла в ADIRU.

#Будущее