Собственно, риск не в искусственном интеллекте, а в сверхразуме, который может появиться в результате технического прогресса, и, в частности, развития искусственного интеллекта. Это произойдет быстрее, чем мы ожидаем, так как темпы прогресса ускоряются в геометрической прогрессии.

Несколько миллионов лет назад наши предки прыгали с ветки на ветку в африканских лесах. 200 тысяч лет назад сформировался вид хомо сапиенс. Способность к абстрактному мышлению (в первую очередь в связи с появлением языка) дала этому виду принципиальное преимущество в выживании.

Примерно 5 тысяч лет назад в результате неолитической революции (переход от собирательства к земледелию) население и его плотность увеличились на порядки. 200 лет назад произошла индустриальная революция, после чего радикально изменился облик планеты.

Чуть больше 50 лет назад появилась машина, способная совершать любые математические и логические операции — компьютер. Вот с тех пор всё и понеслось. Если смотреть назад на историю технического прогресса, то это бесконечная долина, а впереди — отвесная вертикаль.

Мы стоим на экспоненциальной кривой. Следующий рывок может быть связан с искусственным интеллектом.