ИИ и безопасность

Развитие любой технологии связано не только с возможностями, но и с угрозами. Искусственный интеллект не исключение. В предыдущей статье "Регулирование ИИ (AI)" мы начали погружение в тему угроз ИИ. Эта статья продолжение. Она посвящена теме информационной безопасности и критериям, которым должны будут соответствовать ИИ-решения.

В предыдущей статье при пришли к простому выводу - ИИ-решения при оценке их безопасности будут помещаться в изолированную среду и проходить некий аналог краш-теста автомобиля. И ключевая задача понять, какие именно должны создаваться условия при таком тестировании. А первый шаг в этой цепочке – определение недопустимых событий, которые нужно гарантированно не допустить.

Для выполнения этого упражнения для начала определим то, а какой ущерб может быть вообще? Какие последствия для нас нежелательны?

Для обычных людей:

Для организаций и бизнеса:

Ну и для государств:

Именно этот блок похож на гадание по кофейной гуще. Сценариев того, как можно использовать ИИ для нанесения ущерба огромное количество. Порой это похоже на идеи фантастов и далеком будущем. Мы попробуем подойти к этой задаче концептуально.

Для начала давайте разберемся, а как же ИИ могут использовать для атак на организации? Здесь можно выделить три ключевых сценария.

Первый и самый опасный, но пока нереализуемый – это создание автономного ИИ, который сам анализирует ИТ-инфраструктуру, собирает данные (в том числе о сотрудниках), ищет уязвимости, проводит атаку и заражение, а затем шифрует данные и крадет конфиденциальную информацию.

Второй — использование ИИ как вспомогательного инструмента и делегирование ему конкретных задач. Например, создание дипфейков и имитация голоса, проведение анализа периметра и поиск уязвимостей, сбор данных о событиях в организации и данных о первых лицах.

И третий сценарий — это воздействие на ИИ в компаниях с целью вызвать у них ошибку, спровоцировать на некорректное действие.

Давайте рассмотрим второй сценарий на примере подмены видео, голоса для атак с помощью социальной инженерии.

Истории про дипфейки слышали уже почти все – видео, где подставлялось лицо нужного человека, повторялась его мимика, а отличить такую подделку довольно сложно. Про подделку голоса хочу сказать отдельно. Несколько лет назад, чтобы подделать ваш голос, требовалось предоставить ИИ один-два часа записи вашей речи. Года два назад этот показатель снизился до нескольких минут. Ну, а в 2023 году компания Microsoft представила ИИ, которому достаточно уже трех секунд для подделки. А сейчас появляются инструменты, с помощью которых можно менять голос даже в онлайн режиме.

И если в 2018 году все это было скорее развлечением, то с 2021 стало активным инструментом для хакеров. Например, в январе 2021 года злоумышленники с помощью дипфейка сделали видеоролик, где основатель Dbrain приглашал всех на мастер-класс и предлагал перейти по ссылке, не относящейся к его компании. Цель мошенников состояла в завлечении новых клиентов на блокчейн-платформу.

Еще интересный кейс случился в марте того же 2021 года. Злоумышленники обманули государственную систему Китая, которая принимала и обрабатывала подтвержденные биометрией налоговые документы. Там ИИ использовался хитрее. Приложение запускало камеру на телефоне и записывало видео для подтверждения личности. Мошенники в свою очередь находили фото потенциальных жертв и с помощью ИИ превращали их в видео. И подходили они к этой задаче комплексно. Злоумышленники знали, у каких смартфонов есть необходимые аппаратные уязвимости, то есть, где можно запустить подготовленное видео без включения фронтальной камеры. В итоге ущерб составил 76,2 млн долларов США. После этого инцидента в Китае задумались о защите персональных данных и представили проект закона, в котором предлагается ввести штрафы за такие нарушения и утечку персональных данных в размере до 8 млн долларов США или 5% от годового дохода компании.

Еще пример из ОАЭ. Хакеры подделали голос директора компании и заставили сотрудника банка перевести деньги на мошеннические счета, убедив его, что это новые счета фирмы.

В России хакеры тоже не отстают. Наверняка вам уже звонили представители «служб безопасности» банков или просто с какими-то сомнительными промоакциями. Так, уже в апреле 2021 года случился инцидент, когда злоумышленники звонили жертвам, записывали голос, а потом пытались с помощью этих записей взять кредит в банках. Поэтому, если у вас есть сомнения относительно того, кто вам звонит, лучше вообще не вести диалог. Даже если номер вызывает доверия. Ведь сейчас довольно легко подменить номер телефона. Лично у меня такое уже случалось: номер определился как номер моего банка, но, как оказалось, это были просто мошенники.

При этом от биометрии уже не уйти. Она пришла в нашу жизнь окончательно. Весной 2021 года в России стали появляться новости о возможном разрешении сдавать биометрию через мобильные приложения. А в московском метро внедрили оплату проезда с помощью распознавания лиц. И уже на государственном уровне принят закон о создании государственной системы биометрических данных. Использование биометрии станет возможным не только в метро, но и чуть ли не в любом магазине.

Дополнительно необходимо отметить утечки данных. Все уже знают о скандальных утечках из Яндекса, мы ранее обсуждали взломы государственных баз данных, но помимо этого, по информации от компании DLBI, в 2022 году утекло вообще 75% данных всех жителей России. В итоге утечки затронули 99,8 млн уникальных адресов электронной почты и 109,7 млн телефонных номеров. По себе могу сказать, что смена пароля и его использование на большинстве сервисов в качестве стандартного приводит к тому, что через 1-2 месяца он детектируется как скомпрометированный.

В итоге все это приводит к ужесточению законов и штрафов со стороны государства. И даже если вы – небольшая компания, которая создает ИТ-решение, лучше подумать об этом заранее.

Разберем еще немного вариантов использования ИИ по второму сценарию. Так, злоумышленники стали активно использовать ChatGPT и другие ИИ-решения для создания вирусов. Основываясь на огромной базе данных, СhatGPT может сгенерировать в ответ на поставленную задачу практически любой материал, включая программный код, не используя для этого интернет.

Эксперты из Check Point Research опубликовали доклад, в котором рассказали, как участники хакерских форумов используют ChatGPT для написания вредоносного кода и фишинговых электронных писем — некоторые из этих людей имеют небольшой опыт в программировании или вообще его лишены. Эксперты продемонстрировали два скрипта, один из которых при небольшой доработке можно превратить в программу-вымогатель, которая шифрует данные, а второй производит поиск файлов заданного типа для кражи.

Также ИИ смог сочинить убедительное фишинговое письмо, в котором предлагалось открыть вложенный файл Excel, который ИИ предварительно заразил. После нескольких попыток ChatGPT написал и встроенный в этот файл вредоносный VBA-макрос.

ИИ может в автоматическом режиме собирать информацию из открытых источников на определенные темы и даже по конкретным людям, если известны их персональные данные. В итоге такое «досье» на человека может повысить эффективность фишинговых атак, особенно если оно собирается из утечек баз данных.

Важно еще учитывать и то, что ChatGPT и прочие решения собирают пользовательские запросы и хранят их для «дообучения». А это путь к утечке данных.

Еще один эксперимент – запросы на модификацию результата позволили создать полиморфное вредоносное ПО. Оно не демонстрирует своей вредоносной активности при хранении на диске и не оставляет следов в памяти, что делает обнаружение такого кода весьма затруднительным.

Теперь давайте вернемся на землю и подумаем, из-за чего могут произойти недопустимые события и реализоваться второй или третий сценарий?

Прежде чем я поделюсь своим видением того, какие скорее всего будут краш-тесты и требования по безопасности к ИИ, я хочу поделиться 3-мя концепциями

Эта концепция принадлежит группе авторов, в том числе сотрудникам подразделения безопасности искусственного интеллекта из компании DeepMind. Появилась она аж в 2018 году. В ней техническая безопасность ИИ базируется на трех областях: спецификации, надёжность и гарантии.

Давайте немного подробнее рассмотрим каждую из областей.

Здесь мне понравился пример, который используют сами авторы данной концепции - миф о короле Мидасе и золотом прикосновении.

Мидас попросил, чтобы всё, к чему он прикасается, превращалось в золото. Сначала он был рад: дубовая ветка, камень и розы в саду — всё превратилось в золото от его прикосновения. Но вскоре он обнаружил глупость своего желания: даже еда и питье превращались в золото в его руках.

Здесь мы приходим к тому, что ИИ-решение должно делать именно то, что мы от него хотим и ожидаем. И снова мы возвращаемся к тому, что без хорошего ТЗ (технического задания), результат будет ….

Качественные спецификации должны обеспечить ожидаемое поведение системы, а не ее настройку на плохо определённую или вообще неправильную цель / задачу.

Формально различают три типа спецификаций:

В итоге возможны быть ошибки, которые могут привести к несоответствию между разными спецификациями. Если ошибки приводят к несоответствию между идеальной и проектной спецификацией, то они попадают в подкатегорию «Дизайн». То есть мы допустили ошибку где-то в техническом задании и/или некорректно спроектировали свою систему по отношению к ожиданиям пользователя.

Если ошибки приводят к расхождениям между проектной и выявленной спецификациями, то они попадают в подкатегорию «Эмерджентность». Эмерджентность это ситуация, когда у конечного решения есть свойства, которых не должно быть исходя из списка ее компонентов. Когда, например, лодка начала летать. У нее нет крыльев, но вдруг она начала летать. То есть мы ошиблись где-то в технической архитектуре и получили что-то непредсказуемое. Иногда это от недостатка знаний, что часто бывает на передовом крае науки и технологий.

Так, исследователи приводят в пример игру CoastRunners, которую разбирали эксперты из OpenAI. Для игроков цель в том, чтобы быстро закончить трассу на катере и опередить других игроков. Это и есть идеальная спецификация.

Несмотря на простую идеальную спецификацию перевести ее в проектную трудно. В итоге, когда создали ИИ-модель, то она не проходила уровень, а зацикливалась и крутилась по кругу, собирая вознаграждение здесь и сейчас.

То есть получилась ошибка дизайна – некорректная проектная спецификация. Эмерджентности здесь нет, так как в целом система не демонстрирует аномального поведения. В ИИ-модели нарушен баланс между мгновенным вознаграждением и вознаграждением за полный круг, и для ИИ-модели выгоднее крутиться здесь и сейчас. Прям как у некоторых людей, которые в погоне за краткосрочными удовольствиями пренебрегают долгосрочными перспективами.

Еще яркий пример – клиповое мышление. Многие люди, подсаживаются на короткие ролики в социальных сетях, получая быстрый и дешевый дофамин. В итоге мозг отказывается работать над сложными задачами. Зачем что-то делать в долгосрок, если можно пролистать соцсести и получить удовольствие здесь и сейчас. ИИ похож на нас.

ИИ-модели всегда работают в условиях непредсказуемости и неопределенности. В этом сама суть создания ИИ-моделей. Иначе можно было бы обойтись экспертными системами на базе правил.

В итоге ИИ-модели должны быть устойчивыми к непредвиденным условиям / событиям или целенаправленным атакам. То есть мы как раз говорим про 3 сценарий и устойчивость к повреждениям или манипуляциям.

Ключевые исследования здесь направлены на то, чтобы ИИ-модели не смогли шагнуть за рамки безопасного ни при каких обстоятельствах. И чем сложнее / умнее ИИ-модель, тем сложнее это обеспечить. Поэтому и моя ключевая идея, и ключевой тренд в развитии ИИ – создание «слабых» и узкоспециализированных моделей.

Но если вернуться к исследованиям по надежности, то авторы концепции приходят к выводам, что достичь надежности можно или через избегание рисков или путём самостабилизации и плавной деградации (самовосстановление).

Одни из ключевых проблем здесь – распределительный сдвиг и враждебные входные данные, небезопасное исследование.

Распределительный сдвиг хорошо можно увидеть на примере домашнего робота-пылесоса. Допустим, ИИ этого робота пылесоса обучили уборке пустого дома. Пока он в такой ситуации все хорошо. Но, допустим, в доме появился домашний питомец. Если ИИ был обучен только на идеальные условия пустого дома, то он начнет пылесосить этого домашнего питомца.

Это пример проблемы надёжности, которая может возникнуть, когда входные данные во время обучения отличаются от того, что будет в реальности.

Враждебные входные данные — это частный случай распределительного сдвига. Однако в данном случае данные специально сконструированы для обмана ИИ.

Наиболее понятный пример – модификация картинок, когда ИИ вместо кошки видит самолет. При этом человек вообще не увидит разницы между исходной картинкой и модифицированный.

Также, например, обходят системы анализа на плагиат. Ставят кучу пробелов, или буквы с белым шрифтом. Человек ничего не видит, а для системы там уже другой текст и он отличается от оригинала. Ну и про небезопасное исследование. Это тот случай, когда система пытается найти самый быстрый путь к цели / вознаграждению. Мы говорили ранее, что для ИИ нет этики, понятия добра и зла, он не думает стратегически и долгосрочного. Ему важно решить задачу как можно эффективнее.

Примером снова может послужить робот-уборщик, который в поисках оптимальной стратегии начнет совать влажную швабру в электрическую розетку.

Гарантии: мониторинг и контроль активности системы

Любая инновация и возможность всегда несет в себе риски. Я об этом говорил и в книге «Цифровая трансформация для директоров и собственников. Часть 3. Кибербезопасность». Любые цифровые технологии несут не только возможности, но и риски. Собрать все и сразу так, чтобы это было безопасности – невозможно.

Мы либо это принимаем и развиваемся, отслеживая риски и выявляя их, устраняя. Либо останавливаемся и перестаем развиваться, медленно деградируя, отставая от конкурентов и постепенно уступая им.

В области ИИ нужны инструменты для их постоянного мониторинга и настройки, возможности перехватить управление. Область гарантий, рассматривает эти проблемы с двух сторон:

Мониторинг и прогнозирование поведения может быть:

Подчинение и контроль предполагает разработку механизмов контроля и ограничения поведения. Например, проблемы интерпретируемость и прерываемости должен решает именно блок контроля и подчинения.

Вопрос обработки данных и черного ящика мы с вами проговаривали выше. Даже для самих разработчиков ИИ-модель зачастую остается черным ящиком. Это и хорошо, и плохо. Именно благодаря этому качеству с помощью ИИ-можно делать новые открытия и находить новые взаимосвязи. Но это и приводит к проблеме интерпретируемости. Мы просто не можем полностью доверять ИИ, ведь не понимаем его логику принятия решения.

Одно из направлений развития ИИ – подготовка моделей и решений, которые не просто выдают рекомендации и заключения, диагнозы, но и объясняют свою логику.

Второе направление здесь – разработка инструментов ИИ, которые будут проверять другие ИИ на их поведение и предсказывать из. Для этого даже есть отдельное направление – машинная теория разума.

Заключительное в блоке контроля и подчинения – проблема прерываемости. Мы должны иметь возможность отключить ИИ в любой момент.

Частое вмешательство в работу ИИ для последнего будет проблемой и начнет сказываться на принятии им решений. Он будет искать способы, как этому помешать. И если мы говорим про сильный ИИ, который подключен к глобальной сети, то просто отключить дата-центр здесь уже не поможет.

Также исследователи декларируют интересный тезис – сразу спроектировать безопасно все невозможно. Это затормозит прогресс. То есть мы должны принимать эти риски, но вырабатывать механизмы по минимизации их вероятности наступления и / или тяжести последствий.

AI Watch – организация, которая создана при Европейской комиссии. Она провела обзор различных стандартов в области ИИ на предмет их соответствия положениям. AI Act.

В итоге они выделили 8 общих требований для всех ИИ-решений:

А затем они разработали целый перечень детализированных требований, например по наличию технической документации.

Кому интересно погрузиться в исследования, в конце гиперссылки на статьи

Ну и финальным блоком в обзорной части я хочу поделиться еще одним материалом - видением исследователей из Майкрософта.

Они подсвечивают 3 ключевых проблемы.

Первая – ИИ на ML не могут различать вредоносную входящую информацию и безвредные нестандартные данные.

Большую долю обучающих данных составляют неструктурированные и непромодерированные данные из сети Интернет. В том числе эти данные используются и для «дообучения» / актуализации ИИ-моделей.

То есть, злоумышленники могут вмешаться в работу больших ИИ-моделей не сразу, а со временем. Например, создав кучу сайтов и статей с «отравленными» данными. В итоге, им даже не нужно целенаправленно атаковать компании. Со временем вредоносные / грязные данные «надежными».

Вторая – проблема интерпретируемости. ИИ решения становятся все сложнее, в них все больше слоев скрытых классификаторов/нейронов, которые используются глубоком обучении. Такая сложность моделей в итоге делает невозможность для алгоритмов искусственного интеллекта и машинного обучения продемонстрировать логику своей работы и затрудняет доказательство правильности результатов, когда они ставятся под сомнение. То есть наши отношения с ИИ и их рекомендациями строятся на доверии без четкого понимания как эти решения были достигнуты.

Вторая проблема приводит к третьей – ограниченности применения ИИ. ИИ на ML все чаще используется для поддержки принятия решений в медицине и других отраслях, где ошибка может привести к серьезным травмам или смерти. Отсутствие возможностей получить аналитическую отчетность о работе алгоритмов искусственного интеллекта и машинного обучения не позволяет использовать ценные данные как доказательства в суде и перед лицом общественного мнения.

В итоге, они приводят несколько областей для развития при создании ИИ.

Фокус на исключение известных уязвимостей и быстрое устранение вновь выявленных. А также на обнаружение и реагирование на вредоносное поведение в отношении системы или данных пользователя.

В данном блоке исследователи затронули проблему того, что ИИ должен действовать беспристрастно и учитывать всю информацию без дискриминации какой-то отдельной группы пользователей или достоверных выходных данных. Но для этого в системе ИИ изначально должна быть заложена концепция предвзятого отношения. Без обучения распознавать предвзятость, троллинг или сарказм, ИИ может быть обманут злоумышленником или просто людьми, которые любят пошутить.

Это как раз та проблема, о которой было написано самом начале – злоумышленники могут даже не атаковать самого разработчика или ИИ-модель. Им достаточно изменить данные в сети, и со временем ИИ-модель, если она подключена к сети, будет отравлена. Своего рода атака на цепочку поставок (мы эту технику разбирали в книге о кибербезопасности).

В перспективе ИИ сможет действовать от нашего имени в работе и помогать с принятием решений. Поэтому нужно обеспечить ведение журналов безопасности (такой же пункт содержится в AI Act). Это поможет и в расследовании инцидентов, и сделает механизмы принятия решений «черным ящиком» более понятными.

Что необходимо отслеживать по мнению исследователей?

Еще один из блоков аналитики – фиксация ИИ-модели попыток взлома. То есть не только противостоять атакам, но и фиксировать, когда и как пытались атаковать.

Для накопления опыта и обучения моделей нужно обрабатывать большое количество информации. Люди добровольно передают огромные массивы данных для обучения. Содержимое этих массивов варьируется от обычного контента из очереди потокового видео до динамики покупок по кредитной карте и истории транзакций, которые используются для обнаружения мошенничества. Ключевое требование к ИИ – защита персональных данных пользователей, даже если они были взяты из открытых источников.

В итоге, одна из идей исследователей - создавать «типовые» блоки и базы знаний, которые будут использоваться разработчиками. Примерно, как конструкторы лего. Вы собираете решения из готовых модулей / библиотек, которые проверены на устойчивость к атакам и понятна логика их работы.

А также создание связок из разных ИИ моделей, чтобы проверять друг друга и выявлять угрозы / аномалии в поведении друг друга. Такая перекрестная проверка.

Ознакомиться с оригинальной статьей можно также по QR-коду и гиперссылке.

И так, теперь давайте сформируем список возможных «краш-тестов» и ключевых требований к безопасности.

Конечный список этих краш-тестов будет определяться или классом безопасности / доступа, или уровнем риска системы.

Полезные ссылки