Забота или слежка: почему критикуют решение Apple проверять откровенные снимки в iMessage и iCloud для защиты детей
Компания обещает защищать детей, а исследователи считают, что технологию легко масштабировать для цензуры и слежки за людьми.
5 августа Apple объявила, что расширит функции для защиты детей на всех своих операционных системах:
- Компания будет сканировать отправляемые фото в iCloud на материалы с сексуальным насилием над детьми — ограничивать распространение таких изображений и передавать информацию о пользователях правоохранительным органам.
- Размывать откровенные снимки в iMessage и уведомлять родителей о получении и отправке откровенных фотографий в переписках детей.
- В Siri и «Поиске» появятся дополнительные руководства о безопасности.
Компания объясняет изменения «защитой детей от хищников, которые используют средства коммуникации для привлечения и эксплуатации».
Financial Times подчеркивает, что Apple таким образом пытается найти компромисс между обещанием защищать приватность пользователей и постоянными требованиями правительств, организаций по защите детей и силовыми структурами.
От компании требуют, чтобы она больше помогала в расследовании уголовных дел, в том числе связанных с детской порнографией и терроризмом».
Как Apple будет распознавать фото и кому передавать информацию
Анализ фото в iCloud
Новая технология в iOS 15 и macOS позволит бороться с распространением контента с сексуальным насилием над детьми (Child Sexual Abuse Material, CSAM), утверждает Apple.
- На устройстве пользователя хранится база хеш-сумм (цифровых отпечатков) изображений CSAM, которые предоставил Национальный Центр для пропавших и эксплуатируемых детей и другие организации (National Center for Missing and Exploited Children, NCMEC).
- Когда пользователь выгружает фотографии в облако iCloud, система сверяет их хеш-суммы с базой CSAM. Сравнение работает на криптографической технологии «пересечения приватных наборов» — она проводит сравнение не выдавая результат.
- Система создает безопасный криптографический ваучер, который расшфровывает результаты сравнения вместе с другими данными о фото и выгружает его в iCloud вместе с изображением.
- Если система зафиксировала совпадение хешей и набралось определенное количество подозрительных снимков, сотрудники Apple будут вручную проверять каждый случай. Они не смотрят само фото, а лишь видят некоторые элементы, которые позволяют понять, есть совпадение с известной CSAM или нет.
- Если совпадения подтвердятся, Apple заблокирует учетную запись пользователя и передаст данные в NCMEC и в правоохранительные органы.
- Пользователь может оспорить блокировку, если считает, что это ошибка.
- Apple утверждает, что система будет выдавать меньше одного из триллиона ложных результатов за год.
Анализ iMessage
- В мессенджере на iOS 15, watchOS 8 и macOS Monterey появится инструмент для определения откровенных фотографий с помощью машинного обучения. Алгоритмы будут локально сканировать фотографии и распознавать сексуальный контент — Apple утверждает, что не получит доступа к этим данным.
- Если ребёнок младше 13 лет хочет отправить кому-то сообщение с откровенным контентом или ему отправят таковое, iMessage автоматически размоет изображение, а ребенок увидит предупреждение, что его родители получат уведомление о содержимом снимка.
- Ребенок может отказаться от просмотра сообщения с откровенным содержимым. Если же он соглашается с отправкой уведомления родителям, изображение сексуального характера будет сохранено на устройстве в защищенной папке в разделе «Родительского контроля». Ребенку будет запрещено его удалять.
- Для детей в возрасте от 13 до 17 лет появится аналогичное предупреждение, но без уведомления родителей.
Новые руководства безопасности и подсказки детям в iOS 15
- Apple также начнёт лучше предупреждать и обучать юных пользователей систем и их родителей о том, как лучше вести себя в небезопасных ситуациях.
- Siri и «Поиск» вмешаются, когда пользователи попытаются найти связанные с CSAM данные — система объяснит, что это проблемные и болезненные темы, и предложит почитать о них подробнее.
- Siri также начнёт предлагать дополнительную информацию детям и родителям о том, как реагировать на эксплуатацию детей и сексуальное насилие. Например, если пользователи спросят голосового ассистента, как сообщить о CSAM, то их направят на соответствующие сайты.
Новые функции станут доступны осенью 2021 года, Apple обещает со временем расширить ресурсы для защиты детей.
Также компания предоставила подробную документацию о нововведениях: выжимку об использовании технологий, протоколы безопасности, и независимые технические консультации экспертов.
Какие вопросы есть к решению Apple
Некоторые активисты и исследователи в области безопасности данных отмечают несколько проблем, связанных с идеей Apple, которые делают её потенциально опасной.
Среди критиков — профессор проектирования безопасности Кембриджского университета Росс Андерсон и эксперт по безопасности Мэтью Грин, а также «Фонд электронных рубежей».
Какие аргументы они приводят :
- Внедрение систем анализа фото сравнивают с законным бэкдором внутри устройства: это возможность следить за миллионами устройств и получить доступ к личным данным пользователей со стороны властей в тоталитарных странах.
Эти инструменты могут нести благо для поиска детской порнографии, но представьте, что они могут сделать в руках авторитарного государства?
Возможность добавления подобных сканирующих систем в мессенджеры со сквозным шифрованием были основным запросом правоохранительных органов по всему миру.
Apple начала с фотографий, которыми люди уже поделились с облаком — это не «вредит» конфиденциальности. Но зачем кому-то разрабатывать подобную систему, если её целью не станет сканирование шифрованных фотографий?
Даже если Apple не будет злоупотреблять своими возможностями, есть о чем беспокоиться. Эти системы полагаются на базу данных хешей, которую пользователи не могут посмотреть, и они ничего не знают об алгоритмах.
Что будет, если кто-то отправит безобидный медиафайл, который совпадёт с хешем известного файла детского порно?
- Системы анализа Apple работают на изображения сексуального характера, но их легко натренировать и на другие виды содержимого, утверждает «Фонд электронных рубежей».
Apple создала лазейку, которая только и ждёт, что внешнее давление [со стороны властей] расширит её для поиска дополнительных видов контента или сканирования переписки не только детей, но и взрослых.
Например, в Индии приняты правила, по которым платформам необходимо определять источник сообщений и предварительно анализировать его. В Эфиопии есть закон, который заставляет удалять «дезинформацию» в течение 24 часов, такие же законы есть в других странах.
Легко представить, как Apple заставляют изменить систему, чтобы та определяла ЛГБТ-контент, популярные сатирические картинки или протестные листовки.
Уже есть примеры, как это работает. Одна из технологий для сканирования хешей изображений сексуального насилия над детьми была переделана для борьбы с «террористическим контентом».
Но она закрыта, и невозможно определить, не перегнули ли в ней палку. Ведь платформы регулярно называют «терроризмом» публикации о насилии в стране, политическую сатиру, расследования и другие важные вещи.
- Функция анализа сообщений в iMessage устроена таким образом, что если один несовершеннолетний с отключенной функцией отправит фото другому несовершеннолетнему, у которого она включена, то родители получателя будут уведомлены об этом — без согласия отправителя на их участие.
- Алгоритмы машинного обучения могут ошибочно классифицировать контент, как «сексуально откровенный». Такое происходило с Tumblr и Facebook, когда платформы блокировали изображения щенков, статуй и селфи одетых людей. Это может быть чревато ложными обвинениями в педофилии, считают пользователи.
- Функцию анализа переписки в iMessage можно использовать как сталкерское ПО, а сканирование снимков и их сохранение без возможности удаления может грозить сливами фото в открытый доступ.
Microsoft разработала в 2009 году подобную технологию определения детской порнографии — её используют Twitter, Facebook, Google, Reddit и другие
Исследователи Microsoft Research в 2009 году представили технологию PhotoDNA. Она позволяет идентифицировать CSAM с помощью уникальных хешей, которые сравнивают с базой из 300 тысяч хешей примеров детской порнографии от Британского фонда наблюдения за интернетом. Основное её отличие от технологии Apple — проверка хешей происходит не на устройстве пользователя, а в облаке.
PhotoDNA работает как с фото, так и видео, которые разбивает на отдельные кадры. Её используют как собственные службы Microsoft, включая Bing и OneDrive, так и Google, Gmail, Twitter, Facebook, Adobe, Reddit, Discord и более 200 других организаций.
В 2016 году технологию доработали для борьбы с экстремистским контентом, например, для автоматического удаления видеороликов «Аль-Каиды» из соцсетей.
В 2018 году Microsoft сообщала, что с помощью PhotoDNA создается около 90% расследований, посвященных публикации материалов сексуального насилия над ребенком. Данные предоставляет национальный центр по делам пропавших без вести и эксплуатируемых детей CyberTipline MCMEC.
В 2019 году Facebook сообщала о 15 млн совпадений изображений с базой хешей, а Dropbox — о 21 тысяче в 2020 году.
Технология позволяет удалять миллионы изображений, ловить педофилов, а в некоторых случаях спасти потенциальных жертв до того, как им был нанесён вред, утверждает Microsoft.