Как дата-сайентисты Альфа-Банка автоматизировали создание нейросетей и избавились от рутины
Сервис, который они разработали, уже обучил 80 моделей.
«Меня сильно раздражает, когда мы делаем что-то одно и то же», — говорит Евгений Смирнов, руководитель Лаборатории машинного обучения Альфа-Банка. Так он объясняет, как команда пришла к мысли сделать ANNA — сервис, который самостоятельно строит нейросети для решения банковских задач. Рассказываем, как это работает.
Что делают нейросети в банке и кто такая ANNA
Развитием нейросетей в Альфа-Банке занимается Лаборатория машинного обучения. Команда дата-сайентистов отвечает за построение и обучение моделей на временных последовательных данных, таких как платежи по картам, переводы или кредитные истории.
Первым процессом, в который банк внедрил нейросети, стал кредитный скоринг — оценка надёжности заёмщиков. Оказалось, решение легко масштабируются на другие важнейшие бизнес-задачи, такие как предсказание оттока клиентов или определение их склонности к использованию тех или иных банковских продуктов. Теперь благодаря нейросетям банк может быстро и точно анализировать активность клиентов так, чтобы делать персональные предложения, которыми каждый отдельно взятый человек воспользуется с наибольшей вероятностью.
Сначала — шёл 2021 год — нейросети адаптировали к разным бизнес-процессам вручную. Для этого команде приходилось многократно выполнять одни и те же действия: специалисты построили и внедрили не менее 15 нейросетей, и за это время выработали универсальные техники обучения.
Вместе с тем модели показали свою эффективность. Они приносят банку сотни миллионов рублей в год, поэтому количество бизнес-процессов, которые можно улучшить с помощью нейросетей, росло.
Стало понятно, что саму задачу по внедрению моделей тоже нужно оптимизировать, чтобы не тратить ресурсы специалистов Лаборатории машинного обучения на типовые операции. Иначе у них не оставалось времени для более вдумчивой работы: проведения исследований, улучшения качества моделей и профессионального развития.
Вариант нанять «джунов», которые бы обучали модели по налаженной схеме, отмели сразу: дорого и неэффективно. Решили автоматизировать процесс.
«За полтора года работы по построению нейронных сетей вручную мы внутри команды поняли, что можно создавать эти модели автоматически, нажатием одной кнопки. Мы сами разработали проект при поддержке службы управления рисками и розничного бизнеса, защитили его перед нужными структурами банка, получили финансирование и собственными силами реализовали. Задача амбициозная и масштабная, но работу мы выполнили командой всего из четырёх специалистов».
«Мы как розничный бизнес уделяем приоритетное внимание повышению эффективности бизнес-процессов и активно внедряем инновационные решения. Когда Женя предложил инициативу по разработке сервиса AutoML, руководство сразу осознало перспективность концепции и обеспечило необходимое ресурсное сопровождение. Реализация проекта не только полностью оправдала возложенные ожидания, но и продемонстрировала существенный операционный эффект, подтвердив правильность выбранной стратегии развития».
Так появилась ANNA — сервис, который создает нейросети сам, причём делает это быстро и без помощи дата-сайентистов. Работать с сервисом могут сами аналитики, которые раньше для построения каждой новой нейросети обращались в Лабораторию машинного обучения.
В Лаборатории шутят, что назвали сервис женским именем, чтобы в их мужском коллективе появилась хотя бы одна девушка. Впрочем, реальная история нейминга не менее интересная.
«В то время мы постоянно задерживались в офисе: бэклог был огромным. На свадьбе невеста нашего тимлида Димы — Аня — пожаловалась гостям, что жених постоянно работает, и у них остается мало времени на совместный отдых. Тогда мы и решили назвать сервис ANNA. Шутка в том, что теперь Дима точно будет проводить с Анной больше времени. Но вообще ANNA — это аббревиатура от Auto Neural Network Analytics».
Как работает ANNA
Внешне взаимодействие с ANNA выглядит так:
Специалист (как правило, аналитик) через веб-интерфейс загружает нужный датасет — историческую выборку данных по бизнес-процессу, в который нужно внедрить нейросеть. Например, для принятия решений по кредитам такой выборкой будут кредитные истории: на этом датасете и будет учиться нейросеть.
Затем специалист просто нажимает кнопку «Обучить модель» и — наблюдает за прогрессом. Когда модель будет готова, он сможет изучить подробную аналитику по ней, провести ретро-тесты и пилоты. Если нейросеть работает хорошо, ее запускают в работу.
«Под капотом в ANNA четыре нейросети. Одна анализирует операции по карте за определённый отрезок времени, другая — по расчётному счёту, третья — по кредитной истории. Четвёртая нейросеть объединяет результаты работы первых трёх».
Процесс создания нейросети с помощью ANNA можно разделить на три основных этапа: подготовка данных, построение модели и бэкенд:
Подготовка данных. Данные, например, о карточных транзакциях, нельзя взять и использовать для обучения модели «как есть»: их нужно подготовить — очистить и разметить. Сложность в том, что массивы данных огромные и постоянно расширяются. Чтобы экономить время на этой подготовке, в банке настроили ETL-процесс. Данные по частям с определенной периодичностью поступают из хранилища, автоматически преобразуются в формат, пригодный для обучения, и помещаются обратно.
Создание модели. Чтобы по максимуму автоматизировать саму разработку моделей, в Лаборатории машинного обучения стандартизировали код и обернули его в библиотеку. Благодаря этому, чтобы создать нейросеть под новый бизнес-процесс, теперь не нужно дорабатывать или менять код. Достаточно передать в библиотеку необходимые параметры — ту самую историческую выборку.
Бэкенд. «Мозг» сервиса, который объединяет все его элементы в единую инфраструктуру и заставляет работать: от запуска кода до сбора аналитики по моделям.
Результаты и планы по развитию
К началу 2025 года с помощью ANNA создано уже более 80 моделей, из них более десяти — внедрены и работают.
Кроме того, на основе инфраструктуры, разработанной для ANNA, вырос другой сервис — AMELIA. Это проект для автоматического построения простых моделей. В будущем их планируют объединить в один большой нейросервис, который сможет решать ключевые задачи банка.
Специалисты Лаборатории машинного обучения благодаря ANNA почти полностью освободили время от рутинных ручных операций в построении нейросетей. Теперь они сосредоточены на развитии «мозгов» сервиса, проводят исследования и добавляют новые источники данных, а также улучшают методологии обучения моделей.
Для бизнеса ANNA стала следующим этапом в оптимизации процессов и увеличении прибыли. Первым таким этапом было внедрение аналитики, затем — машинного обучения, после — нейросетей. И, наконец, сервиса по автоматизации создания нейросетей.
«Когда бэклог большой, задачи надо решать автоматически при помощи таких сервисов, как ANNA. Если раньше множество маленьких задач могли долго ждать своей очереди и, возможно, никогда её не дождаться, то теперь их решает ANNA, — и бизнес получает дополнительный профит. Суммарно получаются внушительные суммы: такой подход помогает банку зарабатывать примерно на 10% больше».
В 2025 году команда собирается существенно расширить использование ANNA внутри банка — сделать сервисы доступными большему числу специалистов из разных подразделений. Это поможет быстро внедрять нейросети даже в небольшие локальные процессы и оптимизировать их.
Также Альфа планирует предоставлять ANNA в пользование другим компаниям, а в будущем, возможно, сделает сервис Open Source решением. Пока же команда создала обучающие курсы о том, как создать аналог ANNA самостоятельно — эти материалы доступны всем желающим.