Телеграм-бот от Яндекс Вебмастера. Обновление документации Google. Wayback Machine URL Fetcher. Google и Etag заголовок.
1. Телеграм-бот от Яндекс Вебмастера.
Получайте информацию о критических ошибках вашего сайта в максимально короткие сроки, чтобы своевременно их устранить.
2. В документацию Google был добавлен новый раздел, посвящённый сканированию URL-адресов с фасетной навигацией.
Фасетная навигация - это те самые наши любимые SEO-фильтры.
Основные рекомендации:
- Чтобы не создавать дубли, закрывайте параметры с помощью директив robots.txt.
- Использование для закрытия rel="canonical" и rel="nofollow", менее предпочтительно.
- При оптимизации используйте ЧПУ - /products/fish/green/tiny/, при этом следите за отсутствие генерации дублей по типу /products/fish/tiny/green/.
- Отдавайте код 404, когда комбинация фильтров не возвращает результаты.
3. Wayback Machine URL Fetcher.
Инструмент для анализа данных Internet Archive предлагает всесторонний анализ и визуализацию исторического развития сайтов.
Ключевые возможности:
- Визуализация структуры директорий.
- Анализ ответов серверов.
- Страницы с частыми изменениями.
- Развитие файла Robots.txt.
4. Google добавил информацию о том, что отдает большее предпочтению Etag заголовку при определение изменения страницы и создания кеш версии.
В документации указано, что рекомендуется применять ETag вместо Last-Modified, поскольку он менее подвержен ошибкам, связанным с форматированием даты, и обеспечивает более точную проверку содержимого.
В случаях одновременного присутствия Last-Modified и ETag, Google будет опираться исключительно на ETag. Настройка Last-Modified/ETag позволяет экономить краулинговый бюджет при сканирование сайта.
Полезная информация:
1. Телеграм-бот от Яндекс Вебмастера: https://webmaster.yandex.ru/blog/tg-bot-webmaster-loanch;
2. Новый раздел в документацию Google, посвящённый сканированию URL-адресов с фасетной навигацией: https://developers.google.com/search/docs/crawling-indexing/crawling-managing-faceted-navigation;
3. Инструмент для анализа данных Internet Archive: https://wayback.streamlit.app/;
4. Данные Google о заголовках ETag и Last-Modified: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=en#http-caching.