Скандал недели: Midjourney приостановила генерацию изображений в trial-подписке. Причина — слишком много дипфейков

Суть новости: Midjourney приостановил бесплатное использование сервиса для людей, не оплативших подписку. Причина — скандальные дипфейки, созданные с помощью нейросети, которые прокатились по соцсетям. Генеральный директор компании Дэвид Хольц сообщил в Discord , что приняла такое решение из-за «чрезвычайного спроса и злоупотреблений пользователей пробных версий». По словам Хольца, меры безопасности оказались «недостаточными» для предотвращения неэтичного использования сервиса во время пробных периодов.

Текст и все иллюстрации подготовлены создателем телеграм-канала "Нейронутые". На канале — самые крутые генерации, лайфхаки и уроки по Midjourney, новости мира нейросетей и много чего еще.

Этот дипфейк я сделал, чтобы вы увидели, как все опасно. Обама в Белом Доме. Мы не делаем генерации политиков, сцен насилия или иллюстрации политических событий. Все изображения в этом материале созданы, чтобы показать суть проблемы.<br />

Решение проблемы: подписаться. Минимальный порог входа — $10 долларов в месяц. На этом тарифе вы сможете создать 250 изображений. Тариф в $30 позволит генерировать неограниченное число изображений. Тариф в $50 дает возможность работать в «невидимом» режиме: ни один из пользователей не сможет увидеть ваши промты (текстовые запросы).

The Washington Post пишет, что в последние недели Midjourney оказалась в центре нежелательного внимания. Пользователи полагались на искусственный интеллект для создания дипфейков ареста Дональда Трампа и Папы Франциска. Волна дипфейков, в центре которых Папа Римский — прокатилась серией скандалов в сети.

Папа Франциск — не богоугодное поведение. Дипфейк, который я сделал, чтобы проиллюстрировать новость.<br />

Папа Франциск — рэпер. Ну и как тебе такое, Илон Маск?<br />

Владимир Путин делает фото с новым русским андроидом. Дипфек. Я сделал его, чтобы проиллюстрировать проблему.<br />

Да, все же идентифицировали как фальшивки. Но есть опасения, что злоумышленники могут использовать Midjourney, OpenAI DALL-E и аналогичные генераторы для распространения дезинформации. Иными словами — для генерации fake news.

Еще один дипфейк — Эммануэль Макрон делает селфи на фоне горящего Парижа.<br />

Проблема стала еще более актуальной после представления Midjourney версии 5. Изображения стали еще более реалистичными — и теперь действительно отличить фейки от реальных фотографий известных политиков стало гораздо сложнее.

Основатели Midjourney уже признали наличие проблемы с политикой в отношении производимого контента. В 2022 году Дэвид Хольц ввел запрет на изображения китайского лидера Си Цзиньпина, заявив пользователям Discord, что команда хочет «минимизировать драму».

В беседе с пользователями в минувшую среду (29 марта 2023 года) Хольц сказал, что у него возникли трудности с политикой производства контента, поскольку ИИ с представлением пятой версии Midjourney «создает еще более реалистичные изображени»я. В ближайшее время Midjourney надеется улучшить модерацию, которая выявляет злоупотребления.

Некоторые других разработчики уже прибегли к строгим правилам, чтобы предотвратить подобные инциденты. Так, OpenAI (разработчик DALLE-2), блокирует любые запросы, призванные изобразить текущие политические события, теории заговора и самих политиков. Сервис также запрещает изображать ненависть, сексуальность и насилие.

У других сервисов все еще свободные правила. Так Stability AI (разработчик Stable Diffusion) не позовляет пользователям копировать стили или делать небезопасные для изображения , но в целом не диктует, что именно люди могут или не могут делать.

Резюмируем: вводящий в заблуждение контент — не единственная проблема для создания изображений с помощью ИИ. Не утихают споры по поводу авторских прав. До сих пор нет четкого определения — кто автор генераций: человек, который придумал интересный промт, или нейросеть, реализовавшая запрос. В то время как одни компании используют работы ИИ в своих маркетинговых, другие фирмы опасаются, что они привлекут нежелательное внимание.

А что думаете вы? Мы уже открыли ящик пандоры и все черти выскочили наружу? Или это безумие еще можно остановить?

Текст подготовлен создателем телеграм-канала "Нейронутые". На канале — самые крутые генерации, лайфхаки и уроки по Midjourney, новости мира нейросетей и много чего еще.