Векторные вложения: почему вам стоит пересмотреть свою работу с семантикой

Практика работы с семантикой с самого начала представляла собой работу с ключевыми словами. Мы считали вхождения, словоформы, оценивали различные текстовые зоны. Но всегда речь шла о чисто статистических методах оценки: в этой нише среднестатистические данные говорят, что нужен листинг на 30 карточек, 30 вхождений ключа в заголовок, текстовый блок на 300 слов и т.п.

И всё это время фактически вся работа была основана на том, что поисковые алгоритмы – черный ящик, и всё, на что можно опираться, ограничено поисковой выдачей. Делай как все – и получишь сравнимый результат. Хочешь подняться чуть выше – сделай чуть больше (посадочных страниц, ссылок, трафика), и может быть, добьёшься большего.

Да, мы все слышали что-то про машинное обучение, нейросети, дистрибутивную семантику, но всё это казалось чем-то абстрактным, а работа с семантикой всегда упиралась в фактически лексические средства и статистику употребления ключевых слов в документах из эталонного корпуса – топа поисковой выдачи. Но эра «наивного» поиска уже закончилась.

И вот сейчас у нас появилась возможность полноценной работы с большими языковыми моделями (LLM) на естественном языке. Откройте первую попавшуюся статью об использовании чат-ботов в SEO: там будет в лучшем случае заявление, как ChatGPT помогает нам с аналитикой (ага, ага), но чаще – как мы сгенерировали миллион статей, пустив по миру копирайтеров с бирж.

И это всё?

Рассмотрим, как действительно стоит использовать ChatGPT и другие LLM для поисковой оптимизации.

Времена, когда всё определяли только алгоритмы уровня BM25, давно прошли. Это не значит, что они перестали работать. Вычисления такого рода не относятся к затратным для поиска, и на первом этапе ранжирования, когда новый контент уже просканирован, он до сих по классифицируется таким способом. Поисковая система использует самые простые алгоритмы, чтобы понять, к какой тематике относится контент и по каким запросам его показывать. Здесь и речи нет о семантике, контексте, тональности – есть только список ключевых слов и их «веса».

В дальнейшем данные по странице будут дополнены не менее весомыми группами метрик: поведенческими, ссылочными, трафиковыми. А в дополнение к этому – более затратными алгоритмами текстового анализа, если система посчитает это необходимым. Никто не будет тратить ресурсы на контент, который этого не заслуживает, поэтому не надейтесь, что после публикации малополезного и дублируемого контента вы сможете потом что-то отредактировать и получить резкий рост.

Когда в 2013 году Google внедрил Hummingbird на базе word2vec (сейчас уместнее говорить о ScaNN), Яндекс – «Палех» на базе DSSM, и позже – «Королев», ключевые слова технически перестали быть реальной необходимостью для того, чтобы поисковые системы смогли разобраться с контекстом. Но это вовсе не значит, что ключевые слова утратили смысл: как было уже сказано, текстовые алгоритмы, используемые для работы с контекстом, затратны и требуют больших ресурсов, поэтому для SEO мало что изменилось, тем более – в коммерческом сегменте. Считаем ключевики, потом накачиваем URL ссылками и поведенческими ботами – и вот он результат.

Мало на что в работе оптимизаторов повлияли и более поздние BERT и YATI – а ведь это был большой рывок вперед, поскольку речь шла о трансформерах, способных полноценно работать с контекстом. В этот раз – действительно работать. Причина заключалась ровно в тех же факторах:

По последнему пункту: откройте любую статью о SEO того времени на эту тему и увидите стандартный набор чепухи: «оптимизируйте тайтлы», «обновите семантику», «форматируйте текст», «заполните alt у картинок», бла-бла-бла. Всё те же архаические подходы, основанные на синтаксисе и лексике, но не имеющие отношения к семантике как работе со смыслом и контекстом.

Примерно та же история произошла с оптимизацией под голосовой поиск, избранные фрагменты, и теперь повторяется с оптимизацией под AI на выдаче (термин “SGE”, похоже, так и не прижился).

А была ли альтернатива? – Фактически – нет. Незачем усложнять, если всё решается ботами и ссылками, и банальным текстовым спамом. Разумеется, поисковые системы многое делали, чтобы это побороть, но по итогам раскачанный хост с возрастом, лояльной аудиторией, цитируемостью и высоким трафиком остаётся приоритетным для ранжирования.

Для начала уточним основные проблемы, с которым сталкивается продвижение в поиске.

Можно «настукать» высокие позиции по отдельным частотным ключевым словам, но это не обеспечит ни трафик на сайт, ни продажи. Просто потому, что накрутки не увеличивают видимость сайта по большинству конверсионных запросов, а получив топы по частотным «ботным» запросам вы получите и соответствующий трафик – преимущественно чужих поведенческих ботов.

Для поисковых систем вполне очевидно, что сайт, имеющий высокую видимость по частотному запросу, но не имеющий видимости по микро-частотным – нонсенс. Такое простительно дорвеям уровня «Озон» или «Авито», но не прощается менее авторитетным хостам.

Вы должны максимально полно охватывать выбранную тематику, и не только на уровне ключевых слов: сайт должен действительно содержать ответы на любые запросы, напрямую связанные с продвигаемыми. А это уже намного более реально решить, если выйти за пределы мышления запросами из «Вордстат» и подсчётом ключевых слов по конкурентам.

Поисковые системы используют машинное обучение. Чтобы хоть как-то воспроизвести их логику, нужно научиться оценивать свои сайты точно так же.

Основа машинного обучения – это векторные вложения, эмбеддинги, «встраивания», «вставки». Система ранжирования оперирует с векторным представлением всего контента, от текста до видео. Векторное вложение – это одномерный массив, или многомерный вектор, с помощью которого LLM фиксирует семантическое значение слов, предложений и целых текстов. Благодаря преобразованию текстовых данных в векторные вложения языковые модели могут генерировать тексты, отвечать на вопросы, анализировать тональность текста и т.п.

И вот в чём разница между машинным подходом и нашими попытками воспроизвести логику алгоритма.

Если лексические модели работают со словарями, присваивая словам какой-то вес на основании частотности употребления в документе, то семантический поиск определяет связи между ними. Вы берете текстовый корпус и помещаете его в многомерное векторное пространство. Те вложения, что находятся ближе, связаны между собой сильнее. Таким образом можно определять связанные концепции, синонимы, предсказывать окружающий текст, кластеризовать, выявлять пользовательские интенты и т.п. Благодаря этому результаты поиска больше не определяются исключительно ключевыми словами: поиск моделирует представления тематики, концепций, сайтов целиком.

Что это значит на практике? И чем отличается, к примеру, от тех же LSA, word2vec, или просто тех самых народных «облаков»? Можно ли просто собрать все ключи по сайтам из заданной тематики и составить некоторый словарь, максимально релевантный запросам?

Можно. Только это не обеспечит внятной проработки контекста – если, конечно, текст не будет написан реальным экспертом в тематике. Но ему и списки ключевиков не нужны.

Для BM25 нет никакой разницы, что значит слово «лук»: важно, сколько раз оно используется в тексте. Методы дистрибутивной семантики способны понять: если в тексте кроме слова «лук» есть «огород», «грядка», «бабушка» – это не тот «лук», который в ряду «Робин Гуд» «Шервудский лес», «стрела», и совсем не тот, где «модное кисо», «гламур» и «фэшн». Однако трансформер и тут покажет большую эффективность в сравнении с тем же word2vec.

Есть большая разница между тем, как работают классические алгоритмы дистрибутивной семантики и тем, что делает трансформер. Трансформер, в отличие от статистических методов, определяет не только слово, но и его позицию в тексте: он работает с контекстом. А значит, текст, искусственно нашпигованный тематическими словами, лучше оцениваться не станет.

И вот тут мы сталкиваемся с глобальной проблемой: поисковые системы работают с гигантскими корпусами, сопоставимыми разве что с теми корпусами, на которых обучаются модели уровня ChatGPT. У вас нет таких технологических возможностей и ресурсов. Совершенно недостаточно спарсить десяток, сотню, тысячу текстов в заданной тематике и получить внятный результат. Хотя, безусловно, лучше хоть что-то, чем ничего, стоит обратиться к тем данным, что предоставляет либо сам BERT, либо современные LLM уровня ChatGPT.

Примечание. Разумеется, есть ещё одна альтернатива: дообучение BERT, то есть работа с самыми верхними его слоями. Это не так дорого и сложно, как обучение модели с нуля, но также требует навыков и ресурсов.

Уточним термины, чтобы избежать недоговорок и двусмысленностей.

Если поисковая система работает с векторным представлением слов, отдельных шинглов, страниц, разделов и сайтов целиком – нам также стоит изменить логику своей работы. Не табличка со списком запросов из «Вордстат», а некоторое представление концепций и связанных тем, где все связи имеют совершенно конкретное числовое выражение.

На базовом уровне идея проста:

Основное отличие от подходов, основанных на лексических методах – это опора на контекст, возможность охватить максимум пользовательских намерений, которые могут быть неочевидными – и чаще всего именно неочевидны. Вы формируете структуру, соответствующую домену знаний – так, как это представляет поисковый алгоритм, граф знаний или шаблон разметки. Формировать структуру помогает работа с макросемантикой, отображающей темы в соответствии с пользовательскими намерениями (интентами). Микросемантика определяет релевантность отдельных документов.

Простой пример: анализ векторного сходства отдельных страниц позволит вам быстро и предельно точно даже на сайте большого объёма выявить семантические дубли, плохо сформированные кластеры, ошибки группировки. Вы не сделаете это вручную или даже средствами NLP, работающими с энграммами и вхождениями. Просто потому, что текст может в принципе не содержать заданного ключа, а товарная категория полностью перекрывать другую.

Однако проработка сети контента, создание текстового контента или проработка отдельных текстовых зон постранично – вовсе не всё, для чего можно эффективно применять векторные вложения. Не менее интересная сфера – это проработка ссылочного профиля, как внутреннего, так и внешнего.

Если у вас есть сопоставление списка ключевых слов с целевыми страницами, у вас есть лучшее понимание, что и с чем связывается на уровне семантического графа. Особенно это полезно для хорошо масштабированных ресурсов: вы физически не сможете установить реальные связи, когда у вас по каждому субкластеру – сотни страниц. Как проверить, что с чем должно быть перелинковано, а от каких ссылок лучше отказаться?

Напомню, как это делалось вручную:

Объём ссылочного профиля уступает важности его релевантности. Ссылки с нерелевантных источников исключаются из расчётов PageRank, хотя, теоретически, могут учитываться в статистике – просто там быть.

Процедура проста: сопоставьте эмбеддинги предполагаемого донора со своим ресурсом и оцените косинусную близость. Всё, что ниже определенного предела, следует отсечь: этот донор едва ли будет хорошим. Всё же текст про автомат Калашникова не имеет никакого отношения к созданию сайта, несмотря на ключ «разработка» в анкоре. Как минимум, кликнет по такой ссылке разве что умалишенный, которому очень скучно.

Примечание. Разумеется, речь идёт не только о ссылке с конкретного документа. Отличная страница на непосещаемом сайте, пусть и из соответствующей тематики, ничего не даст. Как и нерелевантная, но на жирнющем доноре, может дать эффект.

Одна из наиболее интересных возможностей использования LLM – это кластеризация на базе эмбеддингов.

Можно делать это привычным способом, по топу выдачи, на базе запросов. Но кластеризацию по семантической близости как минимум стоит протестировать. Зачем это может быть нужно:

В зависимости от типа вашего сайта и бизнес-задач, эмбеддинги можно использовать для следующих задач:

Это – самый печальный блок этого текста. Чтобы внедрить всё это в работу, вам понадобится:

Собственно, все ограничения так или иначе можно обойти, тем более что результат того стоит. Вложения в этой сфере окупятся благодаря тому, что вам не придётся больше работать вслепую и сливать бюджеты на продвижение на неэффективные средства и неработающие стратегии.

Но самое главное: масштабирование семантической структуры сайта привычными средствами уже неэффективно. Мало вручную или автоматически оценить контент конкурентов по топам, создать табличку, где методом «научного тыка» распределяется важность гипотетических метрик. Особенно – если есть реальная возможность обратиться к внутренним ресурсам самих поисковых систем (прежде всего – Google), и понять, что даст эффект, а что будет частью карго-культа оптимизации. Если можно устранить разрыв между поисковыми алгоритмами и практикой оптимизации – это надо делать.

Не стоит воспринимать всё это как ключ к топам, тем более, если речь идёт о Яндекс. Однако тренд очевиден, условия понятны, а эксперименты в этой сфере обнадёживают. На минимальных вложениях можно добиться отличных результатов, хотя говорить о системности тут ещё рано. И тем более было бы интересно почитать кейсы, в которых оптимизаторы вышли за пределы переписывания тайтлов, ускорения загрузки и подготовки миллиона новых ненужных статей силами ChatGPT.

Уверен, такие кейсы скоро появятся.