Семантическое SEO: от слов к смыслу с помощью LLM

Поисковые алгоритмы развиваются, а оптимизаторы продолжают обсуждать, куда надо вставлять ключевые слова. Разберем, что давно пора внедрять в работу, чтобы оптимизация для поиска не превратилась в профанацию.

Времена, когда поисковые алгоритмы опирались только и исключительно на список слов, чтобы предположить, о чём идёт речь на странице, безвозвратно прошли. Это были хорошие времена:

И поисковые системы всё это кушали.

Мы парсили поисковые запросы из «Вордстата», и для оценок хватало лишь частотностей и оценки коммерческого потенциала на базе данных Яндекс-Директа. Вот у нас список запросов из пары сотен ключевиков, а страничка не резиновая? – Это используем на странице, а это – в анкор-листах, которые «толкнём» с помощью всемогущей «Сапы».

Представители поисковых систем рапортовали о внедрении новых алгоритмов, но по факту ничего не менялось всерьёз. Текстовая оптимизация означала подробную проработку запросного индекса и ключевых слов: оцениваем топ выдачи по интересующим кластерам, готовим ТЗ для биржевых копирайтеров, которые понятия не имеют, о чём пишут и для кого, при необходимости – раздуваем каталог, чтобы алгоритм, оценивающий коммерческий потенциал сайта только на текстово-структурных данных, сделал нужные выводы. Оставалось только полить сайт трафиком и ссылками, чтобы закрепить и усилить результаты, и будет хорошо. И ведь было.

А что изменилось?

Всё это делает SEO занятием не только более затратным, менее предсказуемым, а во многих случаях – и совершенно неэффективным. Для того, чтобы получать целевой трафик из поисковой выдачи, ваша компания должна быть реально заметным игроком в своей нише, сайт должен быть полноценной презентацией вашего бизнеса, а его контент представлять какую-то ценность для потенциальных посетителей – и поисковых систем. Если в этой формуле чего-то не хватает – продвижение будет напоминать гальванизацию лягушачьего трупика: лапки дёргаются, но называть это «динамикой» не совсем правильно.

SEO-специалист никак не может повлиять на суть компании: из «Конторы Никанора» не сделать «Амазон». Однако если речь идёт о конкурентоспособной компании, чей сайт пока просто не дотягивает до ожидаемых стандартов, SEO всё ещё может стать весомым фактором продвижения бизнеса в поиске и получения лидов.

Оценим, как использовать для этой задачи работу с семантикой и современный инструментарий. Но для начала разберем понятия, от которых давно пора отказаться.

Реальная история: владелец сайта компании, оказывающей услуги по алмазному бурению, по совету оптимизатора разместил на главной странице пару десятков видео, в которых какой-то пролетарий задумчиво бурил стену. Совершенно одинаково на всех роликах. Там, где достаточно минутного ролика, где показано, что алмазный бур работает быстро, точно, тихо и не оставляет грязи. Но мы же знаем, что чем дольше посетитель смотрит видео, тем выше позиции? (Это мрачная шутка).

А теперь разберем то, на что действительно стоит обратить внимание.

Представление о поисковых интентах, ограничиваемых информационным и коммерческим, перестало быть полезным. Алгоритмы, основанные на нейросетях, оценивают комплекс представленной информации, который лучше всего визуализировать в виде древа или графа. Малополезно оценивать «коммерческость» запроса в процентах на базе того, какой контент поисковая система показывает в поиске. Поиск пытается «закрыть» все известные ему возможные интенты и задачи пользователей. Ваша задача – стать тем ресурсом, где представлена вся необходимая для пользователей информация в заданной теме, с акцентом на тех запросах, где пересекаются интересы ваших потенциальных клиентов и интересы вашего бизнеса.

Нет причины высоко ранжировать сайт компании, которая ровно ничем не отличается от десятков таких же. Если вы хотите получить преимущество перед другими – вам нужно что-то, выгодно отличающее вас от всех прочих.

Уникальное торговое предложение (УТП) касается не только коммерческих запросов. Под УТП можно понимать вообще любую добавочную ценность вашего ресурса, выражаемую в качественных метриках. Если вы никак не можете дополнить информационные базы поиска – вы просто разместили контент «чтобы был», для технического объёма страницы.

Если вы рассчитываете получить трафик за счёт низкочастотных и малопопулярных запросов с «длинным хвостом» – оставьте эту идею. Поисковые системы склонны обобщать запрос до общей темы, а для ранжирования выбирают сайты, где эта тема представлена максимально полно. Кроме того, для оценки документов под заданный запрос используются исторические данные: подобные люди искали ответы на похожие вопросы и находили их вон там.

Логично: если вы пришли в библиотеку в поиске материалов по какому-то математическому вопросу, библиотекарь отправит вас в раздел математики, но не станет искать единственную книгу в разделе кулинарных рецептов, где пара абзацев максимально точно отвечает на ваш запрос. В конце концов, зарплата библиотекаря не настолько велика, чтобы он держал в голове предельно точные данные на каждый чих, а вы – не единственный посетитель этой библиотеки.

Проработанный контекст особенно важен для ключевых слов с «длинным хвостом», которые представляют собой конкретные, нишевые фразы, которые ищут реже. Поскольку векторное вложение слов фиксирует связи между словами, оно может помочь поисковым системам понять значение ключевого слова с длинным хвостом, даже если оно не совпадает со словом в поисковом запросе.

Если вы используете на странице какие-то слова, которые могут быть восприняты поисковыми алгоритмами как ключевые, они должны быть связаны с соответствующим контекстом. Нет контекста – нет ключевого слова, выше риск попадания под фильтр за спам.

Традиционные методы представления слов, такие как «мешок слов» или one-hot encoding из word2vec, не учитывают контекст, в котором используется слово, или связи между словами. Это может привести к менее точным результатам, поскольку слово может иметь разные значения в зависимости от контекста, в котором оно используется.

Если выбранное ключевое слово не может выступать как именованная сущность, термин и в принципе слишком многозначно, можно рассматривать его как стоп-слово. Да, сервисы наподобие «Акварель-генератора» могут показывать, что это слово имеет высокий показатель связи с продвигаемым ключевым словом, потому что каждый второй сайт в топе по заданному запросу его использует. Но это вовсе не значит, что это слово может быть частью семантического графа и частью базы знаний.

Незачем добавлять в текст биграммы типа «изумительный отдых» и «красивые фотографии» для оптимизации страницы под запрос «туры на яхте»: да, их, вероятно, использовал каждый второй копирайтер, но веса они не имеют, поскольку не являются частью семантического графа и не имеют единого для всех смысла. Это просто семантический шум. Но совершенно понятно, что люди, которые хотят красиво отдохнуть на яхте, хотели бы получить и фотографии на память – поэтому добавьте соответствующий контент про услуги фотографа и вообще возможность сделать снимки на память.

Любой сайт может быть отнесен к вполне определенной тематике. Любой общий поисковый запрос может фактически относиться к нескольким тематикам и выполнять совершенно разные задачи. Пример – «таможенное оформление»: по этому запросу продвигаются таможенные брокеры, логисты, юристы, а ещё – чисто информационные ресурсы, куда ходят студенты в поиске информации для рефератов и курсовых работ. Соответственно, семантическая структура всех этих сайтов будет отличаться, и нет общего набора ключевых слов, которые позволяют сайту из одной тематики получить релевантный контент сайту из другой.

Хуже того: если вы используете лексику, относящуюся к теме, в которой у вас точно нет экспертизы, а на сайте нет соответствующего контекста – вы снижаете релевантность своего контента. Это серьёзный недочёт, если речь идёт о тематиках уровня YMYL, имеющих отношение к финансовой, юридической или медицинской сфере.

Используйте тематические классификаторы, чтобы определить принадлежность запроса, чтобы исключить несоответствие. Классификаторы Яндекса и Google отличаются, поэтому ориентируйтесь на целевой поисковик либо попробуйте обобщить данные.

С момента появления термина E-E-A-T сложилось несколько искаженное представление о термине «экспертность». Её стали применять исключительно к человеку – автору статьи. Сложилась целая индустрия по выращиванию «экспертов»: создаётся виртуальная «личность», для неё формируются учётные записи в соцсетях, её пытаются вносить в какие-то базы данных и даже в «Википедию». И всё это – в расчёте на то, что поисковые системы (Google прежде всего) сочтёт материал, подписанный «экспертом», действительно качественным.

Применительно к SEO экспертиза – это комплексная оценка сайта, определяющая уровень доверия к нему с точки зрения поисковой системы. Да, она подразумевает ряд таких метрик, как возраст сайта, его репутацию, цитируемость, связь с авторитетными источниками. Но в данном случае есть не менее важная группа метрик, относящихся к контенту.

Сайт должен быть признан относящимся к заданной тематике, предоставлять развернутую и достоверную информацию, соответствующую существующему домену знаний, максимально полно представлять граф тем и подтем из соответствующего кластера. Для оценки используются статус издателя, социальные сигналы, исторические данные, соответствие предметной информации, шаблоны поиска и многое другое. Поисковая система должна знать: этот сайт посвящён данной теме, здесь представлена вся необходимая информация, её предоставляют и проверяют специалисты, а посетители находили здесь то, что искали.

В практическом применении это означает, что продавец кухонной утвари может размещать обзоры сковородок, но для него нет никакого смысла публиковать статьи на тему «Как жарить картошку». Эти домены знаний близки, но для кулинарных рецептов сайту явно не хватит экспертизы.

Один документ (страница сайта) с точки зрения семантики может относиться к нескольким кластерам (отдельным группам ключевых слов). Нет никакого «маркерного ключевого слова» (какого-то общего запроса, объединяющего все остальные ключевые слова страницы). Например, Sentence-BERT, используемый Google, делит контент на чанки – контентные блоки, ограничиваемые каким-то объёмом знаков (сейчас – 700). Векторизация и дальнейшее сопоставление векторных вложений идёт на этом уровне. А это значит:

Что это означает на практике? – Можно сделать несколько выводов.

А теперь перейдём к практике. В качестве примера используем запрос «Чем кормить старую кошку» для подготовки статьи или ТЗ для копирайтера.

Здесь всё стандартно: идём в «Вордстат» или любой другой аналогичный сервис и выгружаем данные по основному ключевому слову и его синонимам. Можно почистить от явного мусора, запросов «не о том», «накрученных» искусственно, витальных – с подстановкой бренда и т.п. Надо только понимать, что в данном случае нас интересует лексика, словарный состав, используемый аудиторией, а не поисковая статистика и коммерческий потенциал.

Полученные запросы кластеризуем по привычной схеме. Разделять запросы на «коммерческие» (транзакционные) и «информационные» на этой стадии не нужно, достаточно проверить группировку по реальной выдаче. Запрос, который кажется информационным, может быть важной частью конверсионной цепочки, и вам необходимо дать на него ответ на странице.

Поскольку общие системы статистики не покажут, по каким ещё запросам ранжируются страницы из топа выдачи, на следующем шаге надо использовать сторонние сервисы наподобие keys.so. Выбираем 5-10 сайтов из топа выдачи, отсекая те, что получили высокие позиции явно не за счёт релевантности контента, и выгружаем статистику запросов по конкретным URL: так можно обнаружить запросы, не содержащие изначальные ключевые слова, найти неожиданные формулировки или получить инсайты о поисковых намерениях аудитории.

Избавляемся от явного мусора, находим повторяющиеся запросы и явно целевые новые. Дополняем свой список.

Алгоритмы кластеризации по топу поисковой выдачи не отличаются высокой точностью, поскольку речь идёт о самых простых статистических методах. С учётом того, что все так или иначе смотрят на конкурентов и пытаются соответствовать каким-то медианным данным (от количества вхождений ключевиков до воспроизведения “LSI” и буквального копирования информации) группировка запросов может быть неточной даже после ручных правок. Особенно это касается инфо-контента.

Чтобы максимально устранить случайные ключевые слова и увеличить релевантность запросу, оценим готовый кластер запросов с помощью косинусной близости векторных вложений запросов, входящих в кластер. Порог соответствия можно определить опытным путём. Для себя я использую такую схему:

Разумеется, это условные цифры, которые будут отличаться в зависимости от используемой модели, объёма текста и т.п. Общий принцип: чем больший объём контекста – тем ниже порог соответствия (в пределах от 0 до 1). Например, многие сервисы такого рода признают релевантным контент с релевантностью от 0,6, сопоставляя запрос с фрагментом текста.

Загружаем полученный кластер, выгружаем эмбеддинги для каждого запроса, и сопоставляем их с эмбеддингом основного запроса. Неплохо, все запросы укладываются в заданные пределы, кластер можно считать цельным.

Для проверки возьмём из «Вордстата» запросы, связанные с ключевым словом «старая кошка», заведомо исключая те, что имеют отношение к корму. Повторяем операцию. Как видим, явно несоответствующие запросы порожек не проходят, хотя запросы «старая кошка что делать» и «купить старую кошку» явно близки к анализируемому кластеру, что вполне укладывается в общую логику.

Как утверждают системы статистики, примерно половина всех обращений к Google не продолжается переходами на сайты в выдаче, а половина из этих запросов продолжается другим переформулированным запросом. Это означает, что либо пользователь уже получил ответ на свой запрос, либо результаты выдачи его не устроили, и он решил уточнить.

Нам необходимы эти запросы, чтобы воссоздать логику пользователя, найти действительно важные подтемы и выстроить эффективную структуру страницы, отвечающую на максимум реальных вопросов, относящихся к продвигаемому целевому запросу.

Поисковые системы выводят эти запросы в блоке «Вопросы по теме» и «Люди также спрашивают» (PAA). Эти блоки имеют неочевидную на первый взгляд структуру: вы видите список запросов верхнего уровня, но раскрыв любой пункт, обнаружите, что подгружаются новые пункты, имеющие прямую связь с раскрытым. Таким образом поисковая система пытается дополнительно конкретизировать ответы и предоставить более детальную информацию по целому поисковому кластеру.

Ваша задача – выгрузить соответствующие PAA, возможно – с выводимыми ответами, хотя при доступе к современным LLM эти ответы можно проигнорировать. Можно воспользоваться одним из доступных сторонних сервисов, выгружающих PAA по API.

В данном случае речь идёт именно о вопросах, которые интересуют потенциальную аудиторию, а не поисковые запросы, обращённые к поисковой системе не на естественном языке. Мы фиксируем вероятные намерения, а не ключевики.

У нас есть достаточно детальный список поисковых запросов, относящихся к одной группе, и объединенных общими поисковыми намерениями. По-хорошему – стоит дополнить этот список данными от представителей отдела продаж клиента: они намного лучше знают, что именно спрашивает потенциальный лид и что его интересует конкретно. К сожалению, такую информацию может предоставить далеко не каждый клиент, а в ряде случаев её и попросту не существует.

Готовый список может быть очень объёмным – до нескольких сотен строк. Чтобы не тратить время, можно поручить процесс фильтрации LLM:

Я поступил ещё проще: использовал сопоставление векторных вложений запросов кластера и связанных запросов с вложением основного запроса «чем кормить старую кошку» по косинусной близости. Таким образом стали очевидны не только дублирующиеся по смыслу запросы, но и обнаружились запросы, слишком слабо связанные с основным. Их мы отсеем.

Оставшиеся запросы могут выступать в качестве подзаголовков для будущей статьи или в качестве важных контентных блоков, если речь идёт о странице услуг или товарных описаний.

Соответствие пользовательским вопросам – это ещё не всё. Многие тематики подразумевают информацию, основанную на поисковых сущностях, способных повлиять на оценку релевантности, экспертизы, принадлежности к заданной тематике и т.п. Вы должны понимать, какие поисковые сущности должны присутствовать в контенте на заданную тему, а какие могут стать проблемой, если ваш сайт будет признан не обладающим соответствующей экспертизой, чтобы размещать контент на эту тему и тем более – ранжироваться по таким ключам.

Самый простой способ быстро решить эту задачу – спарсить контент 5-10 страниц из топа поисковой выдачи и обработать их с помощью инструментария, способного выявлять именованные сущности. Те, что устойчиво повторяются от документа к документу, требуют пристального внимания. В случае контента на тему «Чем кормить старую кошку» речь идёт о таких сущностях, как «кошка», «пищеварение», «болезнь», «десны», «запор», «обезвоживание организма» и т.п.

Каждой обнаруженной сущности присваивается оценка релевантности от 0 до 1. Используя эти данные, вы можете отсечь случайные сущности или решить, можете ли вы проигнорировать явно проблемные. Например, сущность «дёсны», встретившаяся у сайтов-конкурентов, получает балл релевантности 0,12 – а это слишком малое соответствие теме, и сущность можно с чистой совестью игнорировать. А вот «обезвоживание организма» получает балл 0,609, что означает его высокую важность в теме, где сущность «кошка» получает оценку релевантности в 0,69.

Помимо того, что важнейшие сущности в принципе должны присутствовать в тексте, им стоит дать достаточно развернутое определение, а некоторые должны получить ссылки на вспомогательные материалы, если связаны с проблемными категориями и требуют особой экспертизы (здоровье, финансы и т.п.).

У нас есть готовый список поисковых запросов. На его базе мы сформулировали основные интересы людей, которые обращаются к поиску с этой группой запросов. Мы выяснили, какие сущности и термины должны присутствовать в контенте. Пора убедиться, чего в тексте быть не должно.

Для этого опять воспользуемся контентом конкурентов из топа. Не всё, что попадает в топ, отличается высокой релевантностью. Список запросов также может не давать всей реальной картины по семантике. Если вы хотите получить контент, превосходящий сайты из топа, стоит потратить время на более подробный анализ их контента.

Схема та же: парсим, исключая сквозные элементы, разбиваем на чанки (фрагменты), извлекаем векторные вложения, сопоставляем как с общим запросом, так и с более конкретным (темой подзаголовка). Выявляем лишние, с низкой релевантностью, а также высоко-релевантные, не попавшие в наш предварительный список.

Можно сократить время на извлечение и обработку данных, если воспользоваться специальными сервисами, например, marketbrew.ai. Такие сервисы способны не только оценить релевантность существующего контента заданным запросам, но и дать развернутые рекомендации по корректировкам.

Предварительные работы закончены, время переходить к подготовке статьи. Вы можете воспользоваться любой моделью, которую считаете достаточно способной справиться с задачей. Лично я чаще всего использую либо Claude 3.5 Opus, либо Gemini 1.5 Pro.

У вас есть готовый список тем, которые должны быть отображены в статье, важнейшие сущности и термины, которые должны быть раскрыты в тексте, понимание, какой контент соответствует семантическому кластеру, а какой – не нужен. Объедините всю эту информацию в единый промпт, и запросите чат-бота сформировать либо структуру текста для передачи технического задания копирайтерам, либо для дальнейшей подготовки текста с помощью самого чат-бота.

Я предпочитаю использовать чат-бота: в большинстве случаев контент, подготовленный им, превосходит контент, подготовленный техническим писателем. Кроме того, этот вариант снимает проблему подготовки списка тематических слов (тех самых, которые любят называть LSI) и лишних слов, которые любят рассматривать как «продающие», «эмоциональные», «креативные» и т.п. LLM, как великий усреднитель, в состоянии самостоятельно справиться с отсевом мусора и выбором правильных слов.

Чтобы получить с помощью любой генеративной модели внятный и эффективный контент, надо понимать её особенности, преимущества и недостатки.

Лично я предпочитаю создавать с помощью LLM фрагменты текста, которые потом ещё нужно редактировать и сшивать в единую статью. Таким образом можно сохранять контекст, логику и связь между разделами. И разумеется, ваш текст по итогам не будет шаблоном, состоящим из банальностей и трюизмов.

Сейчас поисковые системы очень хорошо принимают сгенерированный контент. Однако неизбежно время, когда заказчики сгенерированных текстов столкнутся с проблемой семантических дублей и потеряют возможность получать преимущество за счёт высокорелевантных текстов – просто потому, что такие тексты будут и у их конкурентов.

Описываемые в статье методы могут быть использованы не только для подготовки ТЗ для технических писателей и копирайтеров. С их помощью вы можете анализировать существующий контент, его соответствие продвигаемым запросам и ожиданиям целевой аудитории, находить и устранять семантические дубли на сайте, устранять суб-кластеры, мешающие продвижению целевого кластера, более эффективно структурировать как отдельные страницы, так и сайт в целом, оптимизировать внутреннюю и внешнюю перелинковку.

Несмотря на кажущуюся сложность, использование упомянутого инструментария позволяет сократить процессы сбора, обработки и анализа необходимых данных, при этом получив более весомый и эффективный результат.