Погода в «Яндексе»: от виджета до собственной технологии

Руководитель группы метеопрогнозирования «Яндекса» Александр Ганьшин рассказывает, как сервис стал самым популярным в России.

«Яндекс.Погода» появилась в далёком 2000 году, это был один из первых сервисов компании. В начале пути он представлял собой погодный виджет от внешнего сервиса «Метео-ТВ». Позже в команде появились выделенные менеджер и разработчик, которые наладили показ на сайте «Яндекса» метеопрогноза финской компании Foreca для ограниченного списка городов. С тех пор многое изменилось.

Версия прогноза погоды, которую вы видите сейчас на сайте, начала развиваться, когда, казалось бы, сервис уже состоялся — ему было 14 лет. В 2015 году мы запустили первую версию технологии Meteum. С этого момента «Яндекс.Погода» перестала быть ретранслятором чужих прогнозов. Сначала сервис работал в пилотном режиме: прогнозы по технологии Meteum были доступны только в Центральном и Уральском федеральных округах, так как основные силы разработки базировались в Москве и Екатеринбурге. Команда буквально на себе проверяла собственные прогнозы, что позволяло быстрее исправлять промахи.

В основе нашего Meteum была модель машинного обучения, которая искала и исправляла неточности в прогнозах Foreca, американского метеоцентра и своего собственного. Собственный прогноз мы рассчитывали на кластере из сотни вычислительных машин с помощью мезомасштабной модели Weather Research and Forecasting Model (WRF) и метода машинного обучения Матрикснет, который разработали внутри «Яндекса» и использовали на тот момент в поиске.

Погода может меняться так же стремительно и непредсказуемо, как настроение без чашки кофе. Особенно изменчива она бывает летом, когда солнце может внезапно смениться ливнем. Традиционные прогнозы погоды не всегда успевают за такими событиями, поэтому и говорят «местами дожди».

Чтобы наши пользователи могли планировать свой день, мы сделали в Погоде интерактивную карту осадков: в её основе — измерения с метеорадаров и машинное обучение. Сперва мы подключили 20 приборов, затем — ещё десять. Это позволило увеличить покрытие и, как следствие, количество пользователей.

Метеорологические радары делают замеры в радиусе 250 км от места установки, но сейчас мы используем только измерения, полученные в радиусе 170 км: на границе видимости уже могут быть неточности. Радары дают нам информацию о силе осадков (непосредственно дождь возле поверхности Земли) и об отражаемости или, другими словами, об ослаблении или рассеивании сигнала от радара на каплях воды в атмосфере до высоты 10 км — она позволяет улучшить прогноз возникновения и исчезновения осадков.

На интерактивной карте можно с точностью до 10 минут посмотреть прогноз на ближайшие два часа и узнать об осадках в разных районах города, чтобы спланировать свой маршрут и не попасть под дождь.

Хотя количество метеорадаров увеличивалось, их не всегда хватало для точного прогноза, а кроме того, они охватывают не все населенные пункты. Поэтому в регионах без радарной сети мы начали анализировать снимки со спутников с помощью нейронной сети.

Работает это так: сначала нейронные сети находят на спутниковых снимках места, где прямо сейчас идет дождь. После этого в дело снова вступают нейросети: на базе полученной информации о передвижении областей с дождями они строят прогноз, как будет меняться погода в ближайшие два часа.

Сейчас мы задействовали и коллективную силу пользователей «Яндекса». Чтобы оценивать качество наших прогнозов и делать их еще точнее, мы предложили людям сообщать нам об осадках через приложение. Сообщения пользователей отображаются на карте осадков в виде зонтиков.

Если говорить о традиционных способах наблюдения за погодой, то с метеостанций на территории России можно получить около 8 тысяч сообщений о дожде в сутки. Наши пользователи оставляют нам больше миллиона сообщений в день, а в особо дождливые дни — до трёх миллионов. Не все из них достоверны, но объем поступающей информации позволяет обеспечить высокую точность за счёт агрегации и сравнения сообщений, которые приходят из одного района.

Также профессиональные приборы не всегда быстро реагируют на внезапные дожди, зато люди сигнализируют об этом мгновенно: по нашим расчётам, благодаря их сообщениям нам удалось уменьшить количество ошибок на 20%. Также пользователи могут написать развернутое сообщение через форму обратной связи. Мы отслеживаем количество жалоб на неправильный прогноз и перепроверяем модели, чтобы выявить возможные неполадки.

Использование сообщений пользователей позволило нам построить принципиально новую систему прогноза осадков. Для уменьшения ошибок мы используем свои данные о состоянии атмосферы и информацию от четырёх метеокомпаний: американской, европейской, японской и канадской. Данные радаров и спутников обрабатываются нейросетью и комбинируются с использованием алгоритма машинного обучения CatBoost. Модель машинного обучения ищет закономерности и учится воспроизводить сообщения от наших пользователей. Таким образом мы получаем информацию о дожде на основе всех объективных факторов.

Если первый Meteum базировался на гидродинамических моделях и машинном обучении, то во втором к ним добавились сообщения людей. Это позволило увеличить точность прогноза осадков на 5-15% в зависимости от погоды и региона. Такой подход позволяет делать прогноз и там, где мало наблюдений или активных пользователей: алгоритмы Meteum 2.0 могут опираться на данные районов, для которых достаточно информации.

Чтобы нашим пользователям было удобнее сообщать о погоде, мы изменили дизайн сервиса. На передний план мы вывели карту осадков, чтобы о ней узнало как можно больше людей.

Опросы и UX-тесты показали, что люди охотнее участвуют в чём-либо, если видят свой вклад в общее дело и получают обратную связь. Поэтому мы решили добавлять на карту осадков зонтики. Как только пользователь оставляет сообщение об осадках, на карте у него и у других пользователей появляется зонтик.

До Meteum 2.0 сбор сообщений о погоде был немного запутанным. У нас было много вопросов про облачность, ветер, температуру — и люди не хотели тратить на них время. А о том, что можно ответить только на один вопрос, знали не все. Тогда мы сделали одну кнопку «Это так?» под иконкой с погодой, а на карте осадков — простой интерфейс, где надо выбрать, идёт дождь или нет. Это позволило нам увеличить поток сообщений в десятки раз. В итоге мы смогли разработать новую технологию прогноза, участвовать в котором теперь может каждый.