12 главных выводов из отчета AI Index 2025 от Стенфорда 🔝
8-й ежегодный отчет Стенфордского университета об индексе ИИ.
В отчете этого года впервые представлены углубленный анализ меняющегося ландшафта аппаратного обеспечения ИИ, новые оценки затрат на вывод и новые анализы тенденций публикации и патентования ИИ. Свежие данные о корпоративном принятии ответственных практик ИИ, а также расширенное освещение растущей роли ИИ в науке и медицине.
Инструменты, инсайты ИИ для бизнеса в моем тг-канале 😎, приглашаю
Главные выводы отчета
1. Производительность ИИ в сложных тестах продолжает расти.
В 2023 году исследователи представили новые тесты — MMMU, GPQA и SWE-bench — для проверки пределов возможностей современных систем ИИ. Всего год спустя производительность резко выросла: баллы выросли на 18,8, 48,9 и 67,3 процентных пункта на MMMU, GPQA и SWE-bench соответственно. Помимо тестов, системы ИИ добились значительных успехов в создании высококачественного видео, а в некоторых ситуациях агенты языковой модели даже превзошли людей в задачах программирования с ограниченным бюджетом времени.
2. ИИ все больше внедряется в повседневную жизнь.
От здравоохранения до транспорта ИИ быстро переходит из лаборатории в повседневную жизнь. В 2023 году FDA одобрило 223 медицинских устройства с поддержкой ИИ, по сравнению с шестью в 2015 году. На дорогах беспилотные автомобили больше не являются экспериментальными: Waymo, один из крупнейших операторов США, обеспечивает более 150 000 автономных поездок каждую неделю, в то время как доступный парк роботакси Apollo Go от Baidu теперь обслуживает многочисленные города по всему Китаю.
3. Бизнес делает ставку на ИИ, рекордные инвестиции и использование, поскольку исследования продолжают демонстрировать сильное влияние на производительность.
В 2024 году частные инвестиции США в ИИ выросли до 109,1 млрд долларов, что почти в 12 раз больше, чем в Китае (9,3 млрд долларов) и 24 раза больше, чем в Великобритании (4,5 млрд долларов). Генеративный ИИ показал особенно сильный импульс, привлекая 33,9 млрд долларов США в глобальном масштабе частных инвестиций — на 18,7% больше, чем в 2023 году. Использование ИИ в бизнесе также ускоряется: 78% организаций сообщили об использовании ИИ в 2024 году, по сравнению с 55% годом ранее. Между тем, растущий объем исследований подтверждает, что ИИ повышает производительность и, в большинстве случаев, помогает сократить разрыв в навыках среди рабочей силы.
4. США по-прежнему лидируют в производстве лучших моделей ИИ, но Китай сокращает разрыв в производительности.
В 2024 году американские учреждения выпустили 40 заметных моделей ИИ по сравнению с 15 в Китае и тремя в Европе. В то время как США сохраняют лидерство по количеству, китайские модели быстро сократили разрыв в качестве: различия в производительности по основным бенчмаркам, таким как MMLU и HumanEval, сократились с двузначных цифр в 2023 году до почти паритета в 2024 году. Китай продолжает лидировать по публикациям и патентам в области ИИ. Разработка моделей становится все более глобальной, с заметными запусками на Ближнем Востоке, в Латинской Америке и Юго-Восточной Азии.
5. Экосистема ответственного ИИ развивается неравномерно.
Инциденты, связанные с ИИ, резко растут, однако стандартизированные оценки RAI остаются редкими среди крупных разработчиков промышленных моделей. Однако новые бенчмарки, такие как HELM Safety, AIR-Bench и FACTS, предлагают многообещающие инструменты для оценки фактичности и безопасности. Среди компаний сохраняется разрыв между признанием рисков RAI и принятием значимых мер. Напротив, правительства демонстрируют возросшую срочность: в 2024 году глобальное сотрудничество в области управления ИИ активизировалось, и такие организации, как ОЭСР, ЕС, ООН и Африканский союз, выпустили рамочные программы, ориентированные на прозрачность, надежность и другие основные принципы ответственного ИИ.
6. Глобальный оптимизм в отношении ИИ растет, но сохраняются глубокие региональные разногласия.
В таких странах, как Китай (83%), Индонезия (80%) и Таиланд (77%), подавляющее большинство считает, что продукты и услуги ИИ скорее полезны, чем вредны. Напротив, оптимизм остается гораздо ниже в таких местах, как Канада (40%), США (39%) и Нидерланды (36%). Тем не менее, настроения меняются: с 2022 года оптимизм значительно вырос в нескольких ранее скептически настроенных странах, включая Германию (+10%), Францию (+10%), Канаду (+8%), Великобританию (+8%) и США (+4%).
7. ИИ становится более эффективным и доступным.
Благодаря все более эффективным малым моделям стоимость вывода для системы, работающей на уровне GPT-3.5, снизилась более чем в 280 раз в период с ноября 2022 года по октябрь 2024 года. На уровне оборудования затраты снижались на 30% в год, в то время как энергоэффективность повышалась на 40% каждый год. Модели с открытым весом сокращают разрыв с закрытыми моделями, сокращая разницу в производительности с 8% до всего лишь 1,7% по некоторым показателям за один год. В совокупности эти тенденции быстро снижают барьеры для передового ИИ.
8. Правительства активизируют работу с ИИ — с помощью регулирования и инвестиций.
В 2024 году федеральные агентства США ввели 59 нормативных актов, связанных с ИИ, что более чем вдвое больше, чем в 2023 году, и выпустили их вдвое больше агентств. В глобальном масштабе законодательные упоминания об ИИ выросли на 21,3% в 75 странах с 2023 года, что в девять раз больше, чем в 2016 году. Наряду с растущим вниманием, правительства инвестируют в масштабах: Канада выделила 2,4 млрд долларов, Китай запустил фонд на 47,5 млрд долларов, Франция выделила 109 млрд евро, Индия выделила 1,25 млрд долларов, а проект Саудовской Аравии Transcendence представляет собой инициативу на 100 млрд долларов.
9. Образование в области ИИ и компьютерных наук расширяется, но разрывы в доступности и готовности сохраняются.
Две трети стран теперь предлагают или планируют предлагать образование в области компьютерных наук в два раза больше, чем в 2019 году, — причем наибольший прогресс наблюдается в Африке и Латинской Америке. В США число выпускников со степенью бакалавра в области вычислительной техники увеличилось на 22% за последние10 лет. Тем не менее, доступ остается ограниченным во многих африканских странах из-за пробелов в базовой инфраструктуре, такой как электроснабжение. В США 81% учителей говорят, что ИИ должен быть частью базового образования в области ИИ, но менее половины чувствуют себя готовыми преподавать его.
10. Промышленность стремительно движется вперед в области ИИ, но граница сужается.
Почти 90% заметных моделей ИИ в 2024 году были получены из промышленности, по сравнению с 60% в 2023 году, в то время как академическая среда остается основным источником высокоцитируемых исследований. Масштаб модели продолжает быстро расти — вычислительные мощности обучения удваиваются каждые пять месяцев, наборы данных — каждые восемь, а потребление энергии — ежегодно. Тем не менее разрывы в производительности сокращаются: разница в баллах по навыкам Эло между моделями, занимающими первое и 10-е места, сократилась с 11,9% до 5,4% за год, а две верхние теперь разделены всего 0,7%. Граница становится все более конкурентной — и все более переполненной.
11. ИИ получает высшие награды за свое влияние на науку.
Растущая важность ИИ отражена в крупных научных наградах: Две Нобелевские премии были присуждены за работу, которая привела к глубокому обучению (физика) и его применению к сворачиванию белков (химия), а премия Тьюринга была присуждена за новаторский вклад в обучение с подкреплением.
12. Сложное рассуждение остается проблемой.
Модели ИИ отлично справляются с такими задачами, как задачи Международной математической олимпиады, но все еще испытывают трудности с такими сложными тестами рассуждений, как PlanBench. Они часто не могут надежно решать логические задачи, даже когда существуют доказуемо правильные решения, что ограничивает их эффективность в ситуациях с высокими ставками, где точность имеет решающее значение.