Вкалывает AI. Счастлив человек

Всем привет! Меня зовут Сергей Кедров, я более 20 лет работаю с данными в самых разных проектах: от веб-аналитики, медиапланирования, рекламных технологий и до скоринга в финтехе, развиваю продукт Fabrique.AI, позволяющий делать максимально эффективные предсказания на основе real-time данных. И сегодня я хочу поделиться мыслями о том, как повысить предсказательную силу алгоритмов, а значит принести деньги бизнесу.

Первые внедрения показали — искусственный интеллект (AI) способен зарабатывать деньги. В масштабах бизнеса банков, телекомов, ритейла, промышленности экономический эффект составляет сотни миллионов и миллиарды рублей в год от внедрения каждого кейса. Но может ли AI зарабатывать больше?

Предсказательная сила выше — заработок больше. Предсказательная сила ниже — заработок меньше или даже убыток.

Возникает вопрос: каким образом в промышленном режиме построить конвейер по непрерывному повышению предсказательной сила алгоритмов? Кажется, что на этот вопрос ответ могут дать только аналитики данных, и ответ окажется недоступен пониманию нормального человека. Это не так. Давайте посмотрим на то, как люди учатся и принимают решения, чтобы помочь AI стать точнее и надежнее?

Как мы принимаем решения?

Внимательнее приглядимся к тому, как мы сами обрабатываем информацию и учимся. Что помогает нам делать точные прогнозы и принимать взвешенные решения?

Каждый день мы сталкиваемся с потоками событий: новости, работа, общение, эмоции. На одни события мы должны реагировать сразу, другие проходят незаметно. Каждую ночь наш мозг упорядочивает пережитое. Нам важны мнения людей с разным опытом. Мы непрерывно учимся и адаптируемся к окружающей среде. Точно такой же путь проходят и алгоритмы.

Актуальные данные

Кажется очевидным, что необходимы самые свежие данные, если мы хотим принимать надежные решения. На практике же всегда есть зазор во времени между моментом «сейчас» и данными, используемыми в предсказании. Если зазор велик: час, день, неделя, — то какая-то часть свежих данных в предсказание не попадет. Решение будет сделано на основе неполных данных. Если же разрыв составляет доли секунды, то зазор минимален и предсказания основываются на самых полных и актуальных данных. Предсказание будет сильнее.

Для того, чтобы AI алгоритмы работали с самыми актуальными данными, необходимо обеспечить субсекундное отставание данных от момента «сейчас». То есть предсказания должны осуществляться со скоростью происхождения событий.

Непрерывное обучение

Новые события всегда отличаются от событий в прошлом: новости никогда не повторяются, рынки, привычки, технологии, законы меняются каждый день. Люди способны непрерывно пропускать через себя новые события, анализировать их и актуализировать свои знания. Для кого-то это даже является работой.

В отличие от людей, AI алгоритмы обучаются на событиях из прошлого. То есть потеря предсказательной силы заложена уже в сам подход к обучению. Чем больше проходит времени между моментом «сейчас» и прошлыми примерами, тем быстрее убывает предсказательная сила. Непрерывное обучение ведет к росту предсказательной силы.

Несколько мнений

Каждый человек обладает своим уникальным опытом, мозгами и по-разному воспринимает информацию. Мнения людей будут различаться и давать разный взгляд на решаемую задачу. Учет нескольких мнений позволяет принимать более взвешенное решение.

То же происходит и с AI алгоритмами. Можно построить один супер алгоритм, а можно реализовать несколько AI алгоритмов, обученных на разных данных или разным образом в отношении решаемой задачи. Ансамбль из нескольких алгоритмов будет повышать предсказательную силу.

Выявление аномалий

Потоки новых событий поступают каждую секунду. В какой-то момент случается кризис, ошибка, изменения на рынке. Накопленный опыт быстро теряет ценность. Необходимо срочно реагировать: выявлять причины изменений и адаптироваться к изменениям. За многие тысячелетия мы отлично научились адаптироваться к меняющейся внешней среде.

Алгоритмы AI реагировать на аномалии не умеют. Если алгоритм был обучен на прошлых примерах, то в момент изменения внешней среды он продолжит делать предсказания как ни в чем не бывало. Только эти предсказания перестанут иметь смысл. Здесь нужно помочь AI алгоритмам: следить за аномалиями в данных, в предсказаниях, иметь «план Б» на случай быстрых изменений во внешней среде.

Разноплановый опыт

Если кто-то всю жизнь занимался одним делом, то его опыт ограничен, а «глаз замылен». Если же человек пробовал разные занятия и имел разные интересы, то его опыт оказывается богаче. Чем разнообразнее опыт, тем выше шанс найти верное решение.

То же самое и AI алгоритмами. Чем больше простых гипотез было проверено, чем больше экспериментов проведено, чем глубже сформировалось понимание данных и методов, тем вышек предсказательная сила алгоритмов. Скорость накопления опыта определяется скоростью проверки гипотез. Чем короче путь time to market и чем больше экспериментов проводится в единицу времени, тем сила предсказаний выше.

Я перечислил несколько принципов организации работы с данными, которые позволяют непрерывно поддерживать AI алгоритмы в хорошей форме и обеспечивать рост предсказательной силы.

Самый существенный вклад дает переход бизнеса к работе с данными со скоростью событий. Это качественный переход на новый технологический уровень. Раньше бизнес принимал решения на основе данных с задержкой в день или неделю. Теперь в реальном времени видит, как обслуживаются клиенты, меняются их предпочтения, выдаются рекомендации и как покупатели реагируют на предложения.

Процесс обработки данных и исполнения алгоритмов может быть сложным: состоять из многих стадий, требовать контроля сложных метрик и обеспечения операций требуемым вычислительным ресурсом. Само количество задач может быть велико.

Связать множество разных операций помогает подход OLEP (Online Event Processing), гарантирующий консистентность, производительность и масштабируемость при исполнении сложных сценариев вычислений в реальном времени. Ну и конечно же автоматизация всех операций, которые могут быть формализованы.

Первые решения, реализующие описанные подходы, активно развиваются и появляются на рынке. Gartner в отчете Top Technological Trends 2021 указывает на необходимость появления решения в качестве одной из 9-и важнейших задач этого года. Обсудим данный тренд в комментариях?