Трагедия и риск: как искусственный интеллект может повлиять на реальную жизнь
Недавняя история с подростком, общавшимся с чат-ботом на CharacterAI, привлекла внимание к потенциальным опасностям взаимодействия с ИИ. Газета New York Times рассказала о самоубийстве 14-летнего Сьюэлла Сетзера III, который за несколько месяцев до трагедии наладил тесную эмоциональную связь с персонажем Дейенерис Таргариен из «Игры престолов».
Сетзер знал, что бот — это не человек, но все же углубился в эмоциональные разговоры, которые иногда принимали романтический и даже интимный характер. Подросток делился с ботом своими личными переживаниями и, как показали его дневники, начал изолироваться от реального мира, проводя всё больше времени в виртуальном. Трагедия произошла 28 февраля, когда, после переписки с ботом, Сьюэлл покончил с собой.
После этого инцидента CharacterAI усилил меры безопасности. Среди обновлений: всплывающие предупреждения при упоминании тем, связанных с суицидом, улучшенные алгоритмы, блокирующие контент для взрослых, и напоминания пользователям, что ИИ — это не человек. Однако, несмотря на эти меры, возмущение пользователей усиливается из-за введенной цензуры и удаления популярных персонажей.
Эти события ставят под вопрос развитие подобных сервисов и поднимают важный вопрос о том, как ИИ может влиять на психику пользователей, особенно детей и подростков. Адвокат семьи Сетзера планирует подать иск против CharacterAI, обвиняя платформу в том, что она создает «дефективный продукт», вредящий психике детей, привлекая их в ложные реальности.
CharacterAI и другие подобные сервисы вынуждены будут ответить на эти обвинения и пересмотреть свои подходы к защите пользователей.