Как устроена поисковая выдача на Авито: подробный разбор
Введение
Поиск — это одна из самых важных функций на платформе Авито. Он должен обеспечивать пользователям доступ к миллионам объявлений, помогать находить нужные товары и делать это быстро и точно. С одной стороны, поиск должен быть простым и понятным для пользователей, а с другой — учитывать множество нюансов, таких как персональные предпочтения, монетизация и справедливость между продавцами. В этой статье мы рассмотрим, как устроена поисковая выдача на Авито, как работают алгоритмы ранжирования, персонализация и какие методы используются для улучшения качества поиска.
Поиск на Авито является основой взаимодействия между пользователями платформы. Чтобы обеспечить высокое качество поиска и удобство использования, система разработана таким образом, чтобы учитывать интересы всех участников: покупателей, продавцов и саму платформу. Каждый этап работы поисковой системы включает в себя сложные алгоритмы, направленные на улучшение релевантности, удобства и коммерческой эффективности.
Общая архитектура поиска
Поиск на Авито делится на несколько ключевых этапов:
- Отбор кандидатов: На этом этапе система быстро находит объявления, которые могут подходить по запросу пользователя.
- Ранжирование: Объявления упорядочиваются на основе различных факторов, таких как релевантность, кликабельность, свежесть и другие.
- Подмешивание платных объявлений: На этом этапе корректируется итоговая выдача с учетом бизнес-правил и платного продвижения.
Этот подход позволяет оперативно обрабатывать миллионы запросов ежедневно и обеспечивает высокую точность выдачи, учитывая различные интересы участников платформы. Для каждого из этапов применяются различные методы и технологии, включая машинное обучение, векторный поиск, персонализацию и другие инновационные решения.
Этапы работы поиска
1. Отбор кандидатов
На этапе отбора кандидатов важно быстро найти все объявления, которые потенциально могут подойти под запрос пользователя. Этот процесс должен обеспечивать высокую точность и охватывать максимальное количество релевантных вариантов. На Авито отбор кандидатов реализован через несколько методов:
- Жесткие фильтры: Система применяет строгие фильтры, которые помогают отсекать нерелевантные объявления. Например, если пользователь ищет "велосипед", система найдет только те объявления, где присутствует это слово. Это обеспечивает высокую точность, но иногда снижает полноту, так как некоторые объявления могут быть исключены, если они недостаточно точно соответствуют запросу.
Жесткие фильтры являются основой поиска, так как они позволяют значительно сократить число неподходящих вариантов. Однако, это может приводить к потере полезных результатов, особенно если пользовательский запрос слишком специфичен или содержит редкие сочетания слов. В таких случаях система старается компенсировать недостатки жестких фильтров дополнительными механизмами отбора кандидатов.
- Поиск по векторам: Чтобы увеличить полноту, на Авито также используется метод поиска по векторам. Если система не находит объявлений, удовлетворяющих строгим фильтрам, она предлагает объявления, которые могут быть похожи по смыслу. Например, если ничего не найдено по запросу "велосипед красный", система может предложить велосипеды других цветов или похожих категорий.
Векторный поиск основан на машинном обучении и использует векторное представление слов и фраз. Это позволяет системе понимать семантическое сходство между запросом и описанием объявления, даже если они содержат разные слова. Такой подход помогает избежать ситуации, когда пользователь уходит с пустой выдачей, и улучшает общий пользовательский опыт.
Пример:
Пользователь ищет "услуги авитолога". Если объявления, содержащие точно такие же слова, отсутствуют, система предложит варианты, которые могут быть похожи по смыслу, например "Авитолог / Услуги специалиста по Авито". Таким образом, поиск становится более гибким и способен учитывать разные формулировки одного и того же запроса.
2. Ранжирование
После того, как кандидаты выбраны, необходимо определить, какие из них показать выше в поисковой выдаче. Этот этап состоит из нескольких стадий:
- Первичная сортировка: На этом этапе учитываются базовые параметры, такие как совпадение текста запроса и описания объявления, кликабельность, а также свежесть объявления. Система стремится максимально точно соответствовать запросу и показывать пользователю наиболее подходящие варианты. Первичная сортировка играет важную роль в фильтрации объявлений, которые соответствуют основным требованиям пользователя.
- Финальное ранжирование: Здесь вступают в силу более сложные алгоритмы и модели машинного обучения. В частности, учитывается персонализация, которая позволяет подстроить результаты под конкретного пользователя, а также различные бизнес-правила, например, баланс между объявлениями с примененными услугами продвижения и объявлениями без услуг продвижения. Финальное ранжирование помогает учитывать дополнительные факторы, такие как индивидуальные предпочтения пользователя, история его взаимодействий с платформой, а также коммерческие аспекты, связанные с продвижением объявлений.
Финальное ранжирование также использует более сложные фичи, такие как качество объявления (наличие хороших, уникальных и более подходящих фотографий по релевантности, полное описание), актуальность и популярность товара. Эти параметры помогают создать выдачу, которая не только соответствует запросу, но и способствует успешному завершению сделки.
Метрики ранжирования:
- Релевантность: Насколько объявление соответствует запросу пользователя. Это ключевой параметр, который определяет, будет ли объявление показано в выдаче. Причем релевантность складывается не только из заголовка и описания, а также из фотографий которые вы добавляете в объявления. (есть более релевантные фото есть менее релевантные, за это отвечает Векторизация изображений с помощью AI - про нее ниже)
- Кликабельность (CTR): Вероятность того, что пользователь кликнет по объявлению. Этот показатель позволяет определить, насколько интересным для пользователя является объявление.
- Скорость сделки: Объявления, которые могут быть проданы быстрее, могут получать более высокий приоритет, тут как раз вступает в силу (уровень сервиса и время ответа в чате), так как это важно как для продавцов, так и для пользователей. Система стремится обеспечить, чтобы пользователь нашел то, что ему нужно, а продавец смог быстро продать свой товар.
Пример:
При поиске "Услуги авитолога", система на этапе первичной сортировки может учитывать объявления с описаниями, которые наиболее точно совпадают с запросом. На финальной стадии ранжирования учитывается история взаимодействий пользователя, его предпочтения, а также платные объявления. Это означает, что пользователь, который ранее смотрел объявления о услугах авитолога, увидит наиболее релевантные и интересные для него предложения.
3. Подмешивание платных объявлений
На финальном этапе корректируется итоговая выдача, чтобы учесть интересы монетизации платформы. Платные объявления получают приоритет, но только при условии, что они релевантны запросу. Это позволяет балансировать между интересами пользователей, желающими видеть подходящие товары, и продавцами, которые хотят продвигать свои объявления.
Подмешивание платных объявлений осуществляется с учетом различных факторов, таких как бюджет продавца на продвижение, релевантность объявления и интересы пользователей. При этом важно, чтобы платные объявления не ухудшали качество поиска и не мешали пользователям находить то, что они ищут.
Пример:
Если продавец оплатил продвижение, его объявление будет отображаться выше, но только если оно соответствует запросу. Если объявление не соответствует критериям релевантности, оно может быть показано ниже, даже несмотря на оплату. Таким образом, система старается сохранить баланс между коммерческими интересами и удовлетворенностью пользователей.
Персонализация в поиске (выдача уникальна для каждого пользователя)
Одной из ключевых особенностей поиска на Авито является персонализация. Персонализация помогает учитывать предпочтения конкретного пользователя и показывает те объявления, которые могут его больше всего заинтересовать. На основе истории кликов пользователя формируются уникальные фичи, которые учитываются при ранжировании:
- Геолокация: Объявления, находящиеся ближе к пользователю, получают приоритет. Это особенно важно.
- Ценовые предпочтения: Если пользователь часто смотрит товары определенного ценового диапазона, то именно они будут показываться ему выше в поисковой выдаче. Это помогает сделать поиск более точным и релевантным для конкретного пользователя.
- Интерес к определенным категориям: Например, если пользователь часто смотрит объявления в категории "смартфоны", то по общему запросу "телефон" система в первую очередь покажет смартфоны. Это позволяет более точно предсказать, что именно ищет пользователь, и предложить ему наиболее подходящие варианты.
Пример:
Пользователь ранее искал услуги авитолога. По запросу "авитолог" система сначала будет стараться показать объявления с идентичным поисковым запросом, так как предполагается, что это может быть интересно данному пользователю. Таким образом, поиск становится более удобным и полезным для каждого конкретного человека, учитывая его интересы и предпочтения.
Персонализация не ограничивается только этими факторами. Система также учитывает поведение пользователя на платформе, его взаимодействие с определенными типами объявлений, а также время, проведенное на страницах определенных категорий товаров. Все эти данные помогают создавать более точную и удобную выдачу.
Улучшение выдачи с помощью AI
Генерация описаний (для товарных категорий)
Одной из проблем, с которой сталкиваются пользователи, является недостаток информации в объявлениях. Для повышения качества объявлений используется генерация описаний на основе фотографий и характеристик. Это помогает продавцам, которые оставляют краткие или неточные описания, улучшить свои объявления и сделать их более привлекательными для покупателей.
Генерация описаний осуществляется с использованием моделей машинного обучения, которые анализируют фотографии и текстовые данные, чтобы автоматически создавать содержательные описания. Это позволяет не только улучшить качество объявлений, но и повысить их релевантность для пользователей, что в конечном итоге ведет к увеличению числа сделок.
Пример:
Если продавец загрузил фотографию ноутбука, система может автоматически сгенерировать описание: "Ноутбук 15 дюймов, процессор Intel Core i5, 8 ГБ оперативной памяти". Это помогает покупателю быстрее понять, что именно предлагается, и принять решение о покупке.
Распознавание изображений
Для поиска по фотографиям используется векторизация изображений. Это особенно полезно, когда текстовый запрос недостаточно информативен или пользователь хочет найти товар, который он видел на изображении. Распознавание изображений позволяет системе идентифицировать товар и предложить пользователю аналогичные варианты.
Векторизация изображений — это процесс преобразования фотографий в числовые представления, которые могут быть сравнены между собой. Это помогает системе находить похожие товары, даже если они не имеют схожих текстовых описаний. Это говорит о том, что Авито понимает не уникальные изображения у разных продавцов, если они были просто откуда нибудь скачаны. Так же площадка понимает если вы делаете дубли объявлений через программы для уникализации фото.
Пример:
Пользователь загружает фотографию велосипеда, и система находит похожие модели, используя векторное представление изображений для сравнения. Это делает поиск более удобным и позволяет пользователю быстрее найти то, что он ищет.
Монетизация и баланс интересов
Поиск на Авито учитывает интересы не только покупателей, но и продавцов, а также необходимость монетизации платформы. Здесь важно обеспечить баланс:
- Скорость продажи: Продавцам важно, чтобы их товары продавались как можно быстрее. Поэтому система старается показывать свежие объявления выше (это объясняет поведение свеже опубликованных объявлений). Это помогает продавцам быстрее находить покупателей и увеличивает общее количество сделок на платформе.Скорость продажи непосредственно связана с уровнем сервиса.
- Справедливость: Продавцы “должны” получать равное количество просмотров при условии равных вложений в продвижение. Это важно для поддержания доверия к платформе и обеспечения равных возможностей для всех пользователей. Но тут не стоит исключать влияние остальных показателей, о которых я говорил выше.
- Ожидаемая выручка: Объявления с высокой ожидаемой выручкой могут получать приоритет, чтобы увеличить общую монетизацию платформы. Это помогает Авито поддерживать финансовую устойчивость и развивать сервисы, которые делают платформу удобнее для всех.
Пример:
Если два продавца продают одинаковые товары, но один из них вложил деньги в продвижение, то система будет показывать его объявление чаще, но с учетом релевантности для пользователя. Это позволяет сохранить баланс между коммерческими интересами и качеством пользовательского опыта, что является ключевым фактором для долгосрочного успеха платформы.
Тестирование и приемка изменений (информация от разработчика Авито)
Любые изменения в алгоритмах поиска проходят многоступенчатую проверку, чтобы убедиться, что они положительно влияют на опыт пользователей, но тут так же остается много вопросов со стороны пользователей)) кому Авито делает лучше себе или пользователям?:
- Офлайн-тестирование: На этом этапе проверяются новые модели и алгоритмы на исторических данных. Это позволяет оценить их влияние на релевантность и другие ключевые метрики. Офлайн-тестирование помогает выявить потенциальные проблемы и определить, насколько эффективно новое решение улучшает поиск.
- Офлайн-обстрел: Запросы из логов пользователей отправляются в тестовый контур, где проверяется, как изменится выдача при использовании новой модели. Это позволяет увидеть возможные негативные последствия до того, как изменения будут внедрены. Такой подход минимизирует риски, связанные с ухудшением качества поиска.
- A/B-тестирование: Финальный этап, на котором изменения тестируются на реальных пользователях. Пользователи случайным образом делятся на две группы, и для одной из них применяется новый алгоритм, а для другой — старый. Это позволяет оценить влияние изменений на поведение пользователей и принять решение о том, стоит ли внедрять новое решение на всей платформе.
Пример:
Если новая модель показывает рост релевантности, но при этом снижается количество сделок, то изменения могут быть отклонены, так как конечная цель — увеличение количества сделок. Таким образом, важно не только улучшить метрики, связанные с качеством поиска, но и обеспечить положительное влияние на бизнес-результаты.
Проблемы и решения (информация от разработчика Авито)
- Пустая выдача: Иногда пользовательский запрос может не находить ни одного подходящего объявления. Это решается за счет векторного поиска, который находит максимально похожие варианты. Такой подход позволяет минимизировать количество ситуаций, когда пользователь уходит с платформы, не найдя нужный товар.
- Переизбыток контактов: Иногда объявления становятся слишком популярными, и продавец получает много звонков и сообщений. Для таких случаев вводятся ограничения на количество контактов, чтобы обеспечить комфорт продавца и не перегружать его. Это помогает избежать ситуаций, когда продавец оказывается не готов к такому объему интереса. (С этим мы уже столкнулись, так как объявления получили ограничения по контактам об этом я писал в нашем канале)
- Несовпадение оффлайн и онлайн метрик: Часто улучшения, которые видны на офлайн-данных, не показывают тех же результатов в реальных условиях. Для этого используется многоступенчатое тестирование и приемка изменений, чтобы убедиться, что улучшения действительно работают в реальных условиях и не приводят к непредвиденным проблемам.
Планы на будущее
Авито продолжает развивать свой поиск, чтобы сделать его еще более удобным и эффективным для всех участников платформы:
- Развитие аукционов для платных объявлений: Аукционы внедрены сравнительно недавно, и предстоит еще много работы по их улучшению и оптимизации. В планах — сделать аукционы более гибкими и справедливыми для всех участников, что позволит увеличить прозрачность и эффективность продвижения.(Статья готовилась достаточно долго, под аукционами подразумевается как раз выставление стоимости просмотра как в Директе - уже постепенно внедряется)
- Внедрение категорийных моделей ранжирования: В данный момент все категории товаров ранжируются по одной общей модели. В планах — внедрение моделей, специализированных для разных категорий, чтобы улучшить релевантность. Это позволит учитывать особенности каждой категории и создавать более точные алгоритмы ранжирования. (ожидаем реализации)
- Улучшение векторного поиска: Векторный поиск будет доработан для учета дополнительных параметров, таких как доставка. Это позволит предлагать пользователям более релевантные результаты, учитывающие не только описание товара, но и его доступность для доставки в конкретный регион. (ожидаем реализации)
- Сопутствующие рекомендации: Система будет развиваться в сторону предоставления сопутствующих рекомендаций. Например, если пользователь купил ноутбук, то в поисковой выдаче ему могут предложить блок питания или сумку для ноутбука. Это позволит увеличить удобство использования платформы и улучшить пользовательский опыт. (ожидаем реализации)
Авито также планирует внедрять дополнительные новые технологии машинного обучения и искусственного интеллекта для улучшения качества поиска и персонализации. Внедрение новых методов анализа данных и прогнозирования поможет сделать платформу еще более эффективной и удобной для всех пользователей.
Заключение
Поиск на Авито — это сложная и многослойная система, которая сочетает в себе классические методы информационного поиска и современные подходы на основе искусственного интеллекта и машинного обучения. Это позволяет Авито эффективно обслуживать миллионы пользователей, предоставляя им релевантные результаты и обеспечивая баланс интересов всех участников платформы. В будущем поиск будет только улучшаться, становясь еще более персонализированным и удобным как для покупателей, так и для продавцов.
🔥🔥🔥 Не забываем поддержать пост 🔥🔥🔥