Когда расизм нашли в строках кода или неэтичный алгоритм

Китайскую компанию Dahua окончательно поймали в использовании в своём софте алгоритмов, которые дискриминируют человека на основе расы. Речь про обнаружение с помощью "умных камер" в реальном времени уйгуров (притесняемого меньшинства в Китае) и мгновенного оповещения полиции.

В их открытых документах и репозитории на гитхабе нашли строки кода:

EM_NATION_TYPE_UYGUR = 1.

и полную сортировку по расе

EM_RACE_UNKNOWN = 0, EM_RACE_NODISTI = 1, EM_RACE_YELLOW = 2; EM_RACE_BLACK = 3 and EM_RACE_WHITE = 4.

Роль "уйгур" в системе стоит рядом с категориями "драгдилер", "террорист" и подобными для полицейской системы "Умный город".

После того, как этот скандал раскачали, многие руководители компаний (а только в Калифорнии известно про 70 контрактов) стали публично отказываться от работы с Dahua. По-моему это первый пример, когда тема расизма _внутри_ продукта использована для того, чтобы ударить по коммерческой крупной компании.

При этом нет доказательств, что в конкретном софте или камерах, купленных американскими компаниями, реализован именно этот код. Dahua тоже хороши - прячут голову в песок, твердят "вы всё врете" и зачищают свои же документы и презентации. Но получается недостаточно ловко.

Источник, источник

Автор - основатель Segmento, занимаюсь новой магистратурой ВШЭ про продукт