Новые горизонты искусственного интеллекта: анализ способности ИИ решать длительные задачи

После прочтения статьи вы узнаете:

Традиционные методы оценки ИИ часто оторваны от реальности. Некоммерческая организация METR из Беркли предложила революционный подход: измерять прогресс искусственного интеллекта через время, которое требуется людям для выполнения тех же задач.

Как пишет Гаррисон Лавли в статье Nature: "METR создала почти 170 реальных задач в области программирования, кибербезопасности, общего рассуждения и машинного обучения, а затем установила 'человеческий базовый уровень', измерив, сколько времени требуется опытным программистам для их выполнения".

Исследователи назвали новую метрику "временной горизонт выполнения задачи" — это время, которое обычно требуется профессионалам для выполнения задач, которые ИИ может решить с определенной степенью успешности.

Суть нового исследования в том, что ученые измеряют возможности ИИ через "временной горизонт" — продолжительность задач, с которыми модели могут справиться. Проще говоря: если человеку нужен час на решение задачи, способен ли ИИ её выполнить?

Результаты анализа 13 ведущих моделей ИИ впечатляют:

Другими словами, за 5 лет временной горизонт ИИ вырос с менее чем 1 минуты до почти 1 часа.

Автор статьи в Nature отмечает закономерность: "В целом, временной горизонт 13 ведущих моделей ИИ примерно удваивался каждые семь месяцев с 2019 года... Экспоненциальный рост временных горизонтов ИИ ускорился в 2024 году, при этом новейшие модели примерно удваивают свой горизонт каждые три месяца".

Если такие темпы сохранятся, мы увидим потрясающий скачок возможностей ИИ выполнять всё более длительные задачи:

Гаррисон Лавли в своей статье подчеркивает значимость этого прогноза: месяц целенаправленной работы профессионала "может быть достаточно для создания новой компании или научных открытий". То есть речь идет о способности ИИ выполнять по-настоящему сложные, творческие и инновационные проекты.

Представьте, к чему это может привести — ИИ, способный самостоятельно разрабатывать бизнес-проекты или делать научные открытия.

Что же двигает такой стремительный рост возможностей искусственного интеллекта? Это не только увеличение масштаба моделей, но и качественные изменения:

Один из соавторов исследования, Бен Уэст, в комментарии для Nature отмечает интересный парадокс: несмотря на сверхчеловеческую производительность ИИ на многих тестах, его экономическое влияние пока ограничено. По его мнению, это объясняется тем, что "лучшие модели имеют временной горизонт около 40 минут, а за это время человек не может выполнить много экономически ценной работы".

Но что произойдет, когда этот горизонт расширится до недели или месяца?

Конечно, остаются и скептики. В статье Nature приводится мнение профессора менеджмента Торонтского университета Джошуа Ганса, который предостерегает: "экстраполяции соблазнительны, но мы все еще слишком мало знаем о том, как ИИ будет реально использоваться, чтобы эти прогнозы были значимыми".

Антон Тройников, исследователь ИИ и предприниматель из Сан-Франциско, в беседе с автором статьи указывает на другое ограничение: метрика временного горизонта не показывает способность моделей к обобщению — выполнению задач, отличающихся от тех, на которых они обучались.

Он также считает, что экономическое влияние ИИ могло бы быть больше, "если бы организации были более готовы экспериментировать и инвестировать в эффективное использование моделей".

Если прогнозы оправдаются, уже через 4-5 лет мы будем жить в мире, где ИИ способен выполнять месячные проекты. Как к этому подготовиться?

Для компаний:

Для специалистов:

Профессор Ганс из Торонтского университета предлагает самый разумный подход: следующий этап исследований должен быть направлен не на противопоставление человека и ИИ, а на изучение того, "насколько хорошо пары человек-ИИ улучшают общую производительность при выполнении задач".

Вероятно, будущее не за полной автоматизацией, а за эффективным партнерством, где люди и искусственный интеллект усиливают друг друга.

А что вы думаете о перспективах расширения временных горизонтов ИИ? Готовы ли вы к миру, где месячные проекты будут выполняться искусственным интеллектом? Поделитесь своими мыслями в комментариях!