История про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться – есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?
Почему будет только один шанс у Юдковского плохо аргументировано. Какое-нибудь значимое проишествие может произойти и с недостаточно мощьным для уничтожения человечества ИИ, после чего все резко одумаются.
Может быть и так, а может быть и нет. Мы не знаем, насколько быстро пойдет эволюция ИИ. Особенно, если в какой-то момент он научится улучшать сам себя (а AGI как бы это предполагает). Собственно, эта статья как бы предлагает начинать "одумываться" заранее.