Как SEO-специалисту эффективно использовать XPath?

Всем привет! Меня зовут Алексей Сидей, я основатель агентства интернет-маркетинга «WEDEX» и один из авторов телеграм канала «Интернет-маркетинг простым языком».

SEO-специалисты используют разные инструменты, чтобы проанализировать сайт и получать данные для дальнейшего анализа. Это необходимо для составления стратегии продвижения. Один из таких инструментов – XPath. Разберемся, зачем и как он используется.

SEO-специалисты применяют в работе XPath для получения всей информации из сайта для обработки в будущем. Сбор данных происходит через сайт по адресу, чтобы выделить основные моменты.

XPath представляет собой специальный язык в виде запросов, который обращается к элементам HTML и XML документов на странице. Он относится к декларируемому классу. Это означает, что для получения результатов и извлечения требуемой информации достаточно объявить сам запрос. Все остальные операции выполнит интерпретатор.

XPath – это простой и удобный инструмент для SEO-специалистов. Разберемся в основных функциональных возможностях языка и особенностях его использования.

С помощью парсинга можно получить такие данные:

Все эти сведения можно парсить. После этого они выгружаются в удобном формате, например, Excel.

Есть некоторые ограничения:

Как видно, большую часть ограничений можно обойти.

Чтобы научиться составлять запросы, важно понимать синтаксис языка. В интернете есть много ресурсов, где можно ознакомиться с базовыми навыками и понятиями парсинга с использованием XPath для решения задачи. Среди основных примеров, которые помогут понять основы:

Для парсинга названия кнопки рассмотрим отдельный пример. Он выглядит следующим образом: //div[@class="default__button2 center"]/input/@value.

Описанную строку можно расшифровать таким образом:

При использовании спайдера можно настроить непосредственно конкретный элемент для парсинга. Если используются Google-таблицы для этого, то нужно дополнительно после значения указать элемент строковой информации /text(), чтобы получить исключительно информацию о кнопке.

Теперь вы немного разбираетесь в базовых принципах построения выражений в XPath. Попытаемся понять, как происходит парсинг стоимости и картинок из товарных карточек интернет-магазина.

Рассмотрим сайт https://shishastore.com.ua/, где представлены разные товары. Существует множество разных вариантов и способов парсинга. Мы рассмотрим наиболее простые и понятные алгоритмы при помощи XPath.

На рассматриваемом сайте представлены две карточки товара на одну продукцию. Одна предназначена для оптовых покупок заведений, а вторая – обычная.

Сначала нужно просмотреть код страницы, чтобы понять, где расположен рассматриваемый элемент. С этой целью потребуется выбрать элемент на экране, открыть контекстное меню, выбрав требуемую опцию, после чего открыть всплывающее окно для просмотра кода страницы, как указано на примере.

Теперь можно увидеть, что стоимость принадлежит к классу price-news. Есть тег не только для новой, но и старой цены. Чтобы получить наиболее полный результат, лучше всего спарсить оба значения, что позволит изучить все цены конкурентов.

Теперь нужно просмотреть все данные по стоимости для заведений с помощью кода, выполнив аналогичные действия:

В результате мы получили такие данные:

Все классы можно увидеть на изображениях.

Это наиболее простой и понятный вариант. В результате получается код, который можно использовать для дальнейшего анализа. Это простой, но не самый надежный метод, так как расположение элемента относительно страницы может меняться, что повлияет на точность вывода.

Есть и другой метод.

Для ссылки необходимо использовать обозначение //, которое означает любые возможные элементы из множества. Например, можно сделать такой вариант для парсинга цены: //span[@class="price-news"]. В таком случае нет привязки к конкретной цене.

Для получения и записи запроса потребуется использовать специальное программное обеспечение – спайдер. Это может быть Screaming Frog Seo Spider, который использован в данном примере. Необходимо перейти в меню параметров, выбрать пользовательские настройки и указать тип операции – извлечение как на картинке.

Теперь необходимо обязательно вписать строки XPath, чтобы извлечь требуемые данные. В этом случае потребуется только отдельный элемент блока.

После этого в коде находится необходимый элемент, а программа его извлекает. Результат представлен ниже.

Для парсинга изображений используем тот же сайт. Необходимо в коде страницы отыскать, в каком элементе расположено изображение.

Для извлечения картинок необходимо составить код XPath. Он выглядит следующим образом: //*[@id="thumbnail-big"]/img/@src. Здесь извлекаются все элементы, которые принадлежат к классу thumbnail-big. При этом все внутренние элементы исключены. Также дополнительно извлекается ссылка по изображениям.

С помощью спайдера извлекаем информацию по аналогии с ценами. Результат выглядит следующим образом.

Теперь можно спарсить все страницы сайта, чтобы получить ссылки на все картинки.