Обмануть автопилот Tesla с помощью фальшивой разметки, перехвата управления и апельсина

О команде Tencent Keen Security Lab впервые узнал на конференции BlackHat 2018, когда они выступили с докладом про удалённый взлом критических компонентов Tesla: шлюза, модуля управления кузовом и электронного блока управления автопилотом (ЭБУ).

Это была первая демонстрация взлома модуля, отвечающего за автопилотирование. Современный автомобиль — это распределённая система ЭБУ, объединённая одной или несколькими изолированными друг от друга CAN-шинами.

ЭБУ представляет из себя вычислительное устройство, обрабатывающее сигналы от радаров, сенсоров или других электронных блоков управления. Одна из разновидностей атак на автомобиль заключается в подмене такого сигнала (spoofing). Также хакеры могут найти уязвимость в прошивке ЭБУ и использовать её в любой момент. Ребята из Tencent Keen Security Lab как раз и занимаются исследованиями атак такого рода.

Сергей Гребенников, инженер-исследователь Центра технологий компонентов робототехники и мехатроники Университета Иннополис

Эксперты из Tencent Keen Security Lab опубликовали объёмный отчётный документ “Experimental Security Research of Tesla Autopilot”, где подробно описали различные проведённые атаки. В отчёте утверждается, что некоторые уязвимости уже исправлены. Но сколько ещё их осталось?

Тестировать настолько технологичные штуки сложно и дорого. Такими исследованиями чаще занимаются ИБ-энтузиасты, участвующие в разных программах баг-баунти. Но если мобильные приложения, сайты или какие-то недорогие железки доступны каждому, чтобы получить для тестирования целую Tesla, нужно постараться.

Хотя я знаю, интерес есть. Но сможет ли столь малое количество исследовательских команд, имеющих возможность тестировать Tesla, найти максимальное число уязвимостей? Или они будут закрываться по мере возникновения инцидентов? Вопрос пока открыт.

У систем, использующих ИИ, есть разные типы уязвимостей. Например, существуют сервисы, использующие онлайн-обучение модели, то есть обучение, при котором модель для обновления текущих параметров получает данные в последовательном порядке.

Зная, как система обучается, можно спланировать атаку: подавать заранее подготовленные данные и переобучать её. Так можно обмануть биометрические системы, обновляющие свои параметры по мере небольших изменений, скажем, во внешности человека при возрастных трансформациях, и выдать себя за жертву происшествия.

Чтобы понять, какие именно атаки угрожают конкретной системе, следует её изучить, описать политику безопасности и модель угроз. Одну из классификаций возможных атак разработал Канг Ли, профессор Университета Джорджии и директора Института кибербезопасности и конфиденциальности Джорджии. Он выделяет следующие риски в системах с искусственным интеллектом:

1. Вредоносное машинное обучение — методы, находящие слепые зоны в моделях и подбирающие данные, которые попадают в эти зоны, что приводит к ошибке. Та или иная модель имеет определённую точность, например 90%. Стало быть, всегда находятся данные, на которых модель ошибается. На эту тему проведено немало исследований, однако решаются в основном абстрактные задачи, и нередко результаты трудно применить на практике.

2. Бэкдоры ─ программы скрытого удалённого администрирования, предоставляющие злоумышленникам доступ к заражённому компьютеру и управление им.

3. Кража модели: когда вы научились решать задачу хорошо, а конкуренты скопировали решение, научившись манипулировать системой.

4. Уязвимости в фреймворках машинного обучения.

5. Логические уязвимости сервисов.

6. «Отравление» данных.

Кроме самого искусственного интеллекта существует много других уязвимых компонентов, защиту которых обойти гораздо проще. Представим: в вашей квартире установлена надёжная «умная» дверь, которая открывается при помощи распознавания лица. Но вору не придётся её взламывать, если вы забудете закрыть окно.

То же и с информационными технологиями. Как бы ни была безопасна система, всегда нужно учитывать человеческий фактор, а также наличие в ней элементов (помимо искусственного интеллекта), которые взломщик сможет обойти.

Задачи безопасности необходимо решать в комплексе и не только применительно к искусственному интеллекту. Сегодня атаки на него реализуемы сложнее, чем атаки с использованием стандартных веб-уязвимостей, входящих хотя бы в десятку OWASP, проекта по обеспечению безопасности веб-приложений.

Надо ли заботиться о безопасности искусственного интеллекта, если порой «дверь» и так открыта? Думаю, в этом случае однозначно выработается практика по имплементации и использованию нечётких алгоритмов, принимающих важные решения. Пока же потребности в таких продуктах растут быстрее, чем люди успевают подумать о рисках безопасности.

А для совершенствования беспилотных технологий хорошо бы начать их массово распространять, чтобы разработчики сталкивались с нестандартными ситуациями. К примеру, именно в нашей стране таких нетипичных кейсов много. Если Tesla и многие автопилоты тестируют (и они успешно работают) на идеальных дорогах Калифорнии, то давайте выглянем в окно и посмотрим на наши дороги.

Рискнули бы вы прокатиться, не держа руки на руле? У Tesla есть кейс, где она ошибается из-за некорректной разметки. Сейчас один из важных вопросов, насколько знаю, — как раз запуск автопилотов на заснеженных территориях. У нас во многих регионах зима длится больше полугода.

Не видно не только разметку, потому что дороги полностью покрыты снегом (могут ли калифорнийцы такое представить?), но и образуются ледяные колеи, и лучше ехать по ним, чем по правилам полос. Сможет ли машина сама проехать в пробке по обледеневшей дороге в горку? А для многих автовладельцев это ежедневное развлечение зимой. Где, кроме как в реальных условиях, можно встретить такое?

Если говорить о беспилотных технологиях не только применительно к автомобилям, есть мнение, что самолёты на обычных авиарейсах уже вполне могут летать без пилотов-людей. Но как много пассажиров на это согласится?

Александра Мурзина, инженер по машинному обучению группы перспективных технологий компании Positive Technologies

Способов взломать искусственный интеллект существует много. Но способов взломать естественный интеллект — не меньше. Не говоря уже о том, что человек в принципе ошибается гораздо чаще хорошо обученного ИИ.

Любая система в какой-то степени уязвима и требует регулярной доработки. Эффективным будет иметь в штате «белого хакера», который понимает алгоритм действий при взломе «чёрными хакерами» и знает, как им противостоять.

Процесс совершенствования технологии искусственного интеллекта бесконечен. Каждая компания проводит локальные лабораторные испытания для улучшения технологии. В целом схема циклична: разработчики и менеджеры по безопасности будут совершенствовать её, а хакеры — придумывать новые схемы взлома.

Хотя сейчас уровень безопасности технологии намного выше, чем, например, лет десять назад. Поэтому через десять лет система будет ещё надёжнее. Однако до тех пор, пока производители не будут достаточно уверены в том, что автопилот безопасен для окружающих, и перехват контроля над ним станет невозможным, массовое использование беспилотных технологий будет оставаться под вопросом.

Марина Майорова, руководитель Центра компетенций «Искусственный интеллект и машинное обучение» ИТ-компании «Крок»

Существует несколько уровней взлома автопилота. Первый — ИТ-система, у которой есть защита информации. Вы можете эту защиту каким-то образом обойти или взломать, как компьютер на колёсах. Второй уровень — когда вы можете обмануть компьютерное зрение, например, нанося специальные метки, которые для человека ничего не значат, но автопилот принимает их за какой-то объект. Это даже не взлом, а скорее введение в заблуждение искусственного интеллекта.

Это разные попытки взлома, и существуют разные способы борьбы с ними. В первом случае — шифрование трафика и другие распространённые методы, которыми занимаются типовые специалисты по защите информации.

Во втором — мы просто собираем как можно больше информации о способах обмана и обучаем нейронные сети так, чтобы эти способы попадали в отрицательные выборки.

Есть два типа обучающих выборок для нейронных сетей: условно позитивные, когда мы, допустим, хотим обучить нейросеть узнаванию кошки и показываем системе разные изображения с кошками. Затем мы показываем нейросети собаку, сообщаем ей: «Это собака, она похожа на кошку, но это не кошка», и прямо говорим: «Это не кошка, не учись этому».

Наши беспилотники мы защитили от взлома тем, что они не предполагают возможности дистанционного управления. Представьте аналогию со стандартными мерами защиты: сделать более укреплённую дверь, поставить замки и прочее. У нас вообще нет дверей, в этот автомобиль нельзя постучаться. А поскольку нет дверей, нет и предмета для взлома.

Юрий Минкин, руководитель департамента разработки беспилотных транспортных средств Cognitive Technologies

Чтобы защитить автопилот от атак, необходимо расширить каналы его восприятия, то есть применять не только машинное зрение для распознавания объектов, но и установить дополнительные датчики, правильно задействовать комплексирование данных от сенсоров разной природы: видимый диапазон, лидар, геоданные. Обмануть сразу все «органы чувств» автопилота очень трудно — это и делает его надёжным.

При этом современные беспилотные технологии уже сейчас в тысячу раз безопаснее, чем обычные автомобили, управляемые человеком. Мы постоянно слышим о новых происшествиях с участием автономных машин только потому, что из каждого инцидента раздувается сенсация. Вчера, проезжая вечером по шоссе, я увидел четыре аварии, и если бы о каждом таком ДТП писали все СМИ, картина представлялась бы иной.

Александр Ханин, генеральный директор компании VisionLabs