Алгоритмы, узаканивающие гонения
Пару дней назад вышла новость, что в Сан-Франциско полицейским дали право на использование роботов с летальным оружием. В очередной раз, люди придумали новый способ убивать друг друга.
Может кто-то и верит в рациональное использование этих технологических примочек, но расследование ряда изданий, показывает, что эти рассуждения очень наивны и далеки от реальности.
В период с 18-го по 21-й год каждый 33 житель США подвергся полицейским проверкам по решению компьютерной программы PredPol (искусственный интеллект, система прогнозирования на основе данных и т. д. называть это можно разными названиями но суть остается той же) . Более 6 000 000 прогнозов по потенциальным преступлениям было отправлено в правохранительные органы за тот же период.
PredPol компания, основанная как совместный проект Департамента полиции Лос-Анджелеса и профессора Калифорнийского университета в Лос-Анджелесе Джеффа Брэнтингэма.
PredPol разбивает населенный пункт на сектора размером 500x500 футов (152м на 152м) , затем, по уже имеющейся статистической информации по преступлениям, составляются и обновляются прогнозы в течение дня — своего рода прогноз погоды в отношении преступности.
Проблема заключается в данных, которыми питаются алгоритмы прогнозирования. Во-первых, алгоритмы прогнозирования легко искажаются по уровню арестов. В Америке, вероятность ареста чернокожего в два раза выше чем арест белого человека.
По данным Министерства юстиции США, вероятность ареста более чем в два раза выше, чем если вы чернокожий, чем если бы вы были белым. Чернокожих в пять раз чаще останавливают без причины, чем белых.
Попав один раз в эту статистику, человек навсегда может стать для бессердечного алгоритма проблемой, на решение которой будет периодически в его район посылаться полиция города. И по статистике, кого чаще проверяют, того чаще и обвиняют, несмотря на статистически равную вероятность совершения злодеяния среди всех социальных и демографических групп. Это своего рода самоисполняющееся пророчество.
Данные об арестах программируют шаблоны расистского поведения полицейских. В результате, они с большей вероятностью предскажут высокий потенциал преступности в районах проживания меньшинств или среди меньшинств. Даже когда данные об арестах и преступности совпадают, существует множество социально-экономических причин, по которым некоторые группы населения и некоторые районы имеют более высокий исторический уровень преступности, чем другие. Подача этих данных в инструменты прогнозирования позволяет прошлому формировать будущее.
«Расизм всегда был связан с прогнозированием, о том, чтобы определенные расовые группы выглядели так, как будто они предрасположены делать плохие вещи, оправдывая контроль над ними»
По этому поводу хорошо выразилась Дороти Робертс, писательница, профессор Университета Джорджа Вайса сказав: «Расизм всегда был связан с прогнозированием, о том, чтобы определенные расовые группы выглядели так, как будто они предрасположены делать плохие вещи, оправдывая контроль над ними».
Все дошло до того, что в 2020 году более 1400 математиков из США написали гневное письмо с призывом к своим коллегам прекратить сотрудничество с полицией из-за множества задокументированных инцидентов того, как правоохранительные органы США обращаются с людьми разных рас и этнических групп.
Злоупотребления, коррумпированность и сговор среди правоохранителей давно известная вещь. Причем американцы активно снимают художественные фильмы по этим делам. Последнее что я смотрел, биографический фильм «Черная месса» с Джонни Деппом, которая хорошо показывает как детская связь сотрудника ФБР с гангстерами и его желание хорошо жить сохранила на долгие годы ирландскую мафию в Бостоне. Это реальная история, и таких очень много. И эти, изначально скомпроментированные данные лягут в основу статистических прогнозов по преступлениям.
Сторонники компьютерного прогнозирования аргументируют свое решение как ни странно той же борьбой с предрасположенностью в принятии решений. Они считают что что алгоритмы могут быть более справедливыми, чем лица, принимающие решения, или по крайней мере, сделают несправедливость явной. Приводятся примеры предвзятости судей в принятии решений, в частности, выявилось, что в одном из штатов, судьи в среднем тратят до 30 секунд на рассмотрение дела о досудебном освобождении. И искусственный интеллект может сделать подобные решения более взвешенными.
Что в итоге?
Спустя несколько лет использования программы PredPol, под давлением общественности и научного сообщества, программы по построению прогнозных моделей преступности в американских штатах начали сворачивать.
Чикагская полиция оценила риски и пришла в выводу, что данные являются ненадежными и потенциально могут привести необоснованно суровым последствиям. Они отказались от программы.
Первый последователь PredPol — полиция Лос-Анджелеса также свернула свою деятельность по данному направлению. Причиной стало то, что они даже не смогли оценить ее эффективность.
Некоторые города, такие как Санта-Круз ввели запрет на действия в отношении граждан на основании прогнозирования преступлений.
Смитсоновский журнал в 2018 году заявил, что ни одно независимое опубликованное исследование никогда не подтверждало заявления PredPol о точности своего программного обеспечения.
Лично у меня, как человека связанного с менеджментом и IT конечно возникает вопрос: сумев построить такую систему, неужели служители закона не проводили тестовые работы по качеству и эффективности выдаваемых прогнозов? Не пытались на основе тестов сделать более точные модели?
Что погубило проект? Бюрократия? Предвзятость? Или целенаправленная программа по контролю меньшинств? Ответ у каждого свой. Но лично мне все меньше хочется такого будущего, где алгоритм на основе неверных данных будет бессердечно преследовать меня по холодному расчету.