Индексировали, индексировали…и проиндексировали: как за 2 месяца «познакомить» Гугл и полмиллиона новых страниц
Мы исправили самые популярные ошибки, из-за которых сайт не видно в поиске, «подружили» с Гуглом сотни тысяч страниц, чуть не подрались с дизайнером. Рассказываю, как получилось ускорить индексацию многомилионного сайта в гугл и получить первый SEO трафик.
Привет, я Макс Петров — основатель агентства 2x2 Digital Agency. Настраиваем компаниям контекст и таргет, прокачиваем SEO, а ещё показываем, что маркетинг с нами — это просто.
Мы с командой работаем не только на российском рынке, но и выходим на зарубежные проекты, которые сейчас всё активнее запускают русскоговорящие фаундеры. Этим летом к нам пришли ребята из Bringo. Они делают огромный портал, где собрана подробная информация по компаниям, которые работают на территории Великобритании. Аналог нашего Rusprofile, где каждый может оценить надежность контрагента, узнать о возможных судебных делах, посмотреть состав учредителей и многое другое.
Bringo запускают проект с нуля и пришли к нам за комплексным SEO-аудитом их первой версии сайта. Поисковые системы ещё не успели оценить сайт, поэтому первым делом нужно сообщить о нашем агрегаторе Гуглу и проиндексировать страницы.
А зачем вообще Гуглу что-то индексировать?
Напомню, что если страницы нет в индексе, то есть в базе поисковика — её невозможно найти. Нет страницы — нет трафика. Нет трафика — нет лидов. Нет лидов — нет денег. Нет денег — такой себе вы бизнесмен.
У Google есть свои роботы по индексации, которые «гуляют» по сайту и решают стоит ли добавлять его в свою базу, продвигать его на верхние позиции и стоит ли показывать вообще.
Чтобы сеошники не словили флешбеки с обучающих курсов и книжек по маркетингу, предлагаю перескочить этот абзац. Для остальных, рассказываю на что в первую очередь смотрят роботы на сайте:
- Метаданные. Насколько правильно подобраны заголовки и описания страниц, верно ли указаны ключевики.
- Контент. Его актуальность, уникальность и даже подписи к картинкам.
- Внутренние и внешние ссылки. Есть ли перелинковки между страницами, все ли «хлебные крошки» работают правильно, насколько качественные ресурсы ссылаются на ваш сайт.
- Ответ сервера при открытии страницы. Робот не станет ждать даже самый классный и полезный контент, а просто уйдет с сайта и не будет его показывать, если скорость загрузки низкая.
Наша задача — провести базовую SEO-оптимизацию и подготовить страницы сайта к индексации в Google и перейти к комплексному продвижению сайта агрегатора Bringo.
6,5 миллионов страниц, Карл!...
Именно столько их было на сайте Bringo и это стало основной сложностью проекта. Чтобы просканировать их все на предмет ошибок, как мы это обычно делаем, потребуется немало времени и ресурсов. С таким объёмом сервера клиента могут в любой момент сказать «до свидания, приятно было поработать».
Плюс пока мы не придадим сайту вес, Гугл так и будет проходить мимо: на момент начала сотрудничества было проиндексировано всего 1380 страниц из, напомню, 6,5 миллионов. Капля в море.
Мы поняли, что сканировать все страницы необязательно. Они генерируются шаблонами, поэтому достаточно будет просканировать около 30%, чтобы найти типичные ошибки, которые станут фундаментом для дальнейшего продвижения крупного сайта. И вот некоторые из них:
- Дубли главной страницы. Встречается у 90% компаний и мешает поисковым системам нормально её ранжировать.
Чтобы избавиться от этого, добавили метатег canonical в <head> главной и получили: <link rel="canonical" href="https://bringo.co.uk>
- Ошибка 404. Робот переходит на страницу и видит эту ошибку, возвращается, двигается дальше и снова «404 error». После этого он психанёт и вообще прекратит индексировать сайт.
Вносим правки в файл robot.txt и запрещаем поисковику индексировать эти страницы.
Такие страницы очень не нравятся поисковым роботам
- Неправильный тег title. Этот элемент выделяет для поисковиков суть содержимого на странице. Вот пример для страницы поиска:
Неправильно: Bringo | search companies
Правильно: Companies search results | Bringo
В title важно, чтобы ключевое слово было на первом месте, а уже после можно указать и название компании. Так сайт будет ранжироваться гораздо лучше.
Поспорили с дизайнером и….запустили A\B тесты
Онлайн-дуэлей ещё не придумали, а потому драться нам всё-таки не пришлось, но споры в рабочем чате разгорались нешуточные. Вот в чём была история.
На этапе аудита мы увидели, что h2-заголовки на всех страницах были одинаковые — «Company overview». И не важно, какая конкретно это было компания. Почему это плохо:
Во-первых, это повторы, из-за которых сайт хуже ранжируется, а во-вторых, сам по себе заголовок неинформативен. Никто не вбивает такой запрос в Гугл. В-третьих, заголовку не хватает ключевых слов, а именно названия компании. Ключи — это сеошная база.
Мы предложили добавить названия компаний в заголовки, чтобы, к примеру, получилось «Y39 LIMITED Company Overview». Это не понравилось дизайнеру Bringo. Показалось, что такой длинный заголовок некрасиво смотрится на странице.
Чтобы разрешить наш спор, половину страниц мы оставили со старым заголовком, а половину — с новым. И запустили их все в индексацию.
Через 2 недели пришли с результатом. Выгрузили активные URL из отчета (1000 шт.), которые участвовали в выдаче и принесли переходы на сайт.
Получили в 2 раза больше страниц в базе поисковика и в 2 раза больше переходов на сайт.
В следующие 2 недели повторили эксперимент ещё раз, вновь доказали эффективность h2-заголовков с названием компаний (повлияло на индексацию в гугле и общий объем трафика на оптимизированных страницах) и согласовали итоговые изменения.
В общем, провели базовую оптимизацию, исправили ошибки, а дальше стали думать, как пополнить кредит доверия со стороны Гугла.
Классическое внешнее SEO тут не работает
Я имею в виду одну из основных моделей продвижения сайта на российском рынке — закупка ссылок на биржах. На западе этих бирж практически нет. Бирж ссылки принято собирать по другому — подбирать сайты, писать админам и платить за размещение. Учитывая количество страниц на проекте Bringo, это долго, дорого и сложно.
Решение — выстроить сетку дропов (сайтов, основная задача которых передавать ссылочную массу на продвигаемый сайт). На специализированных аукционах мы ищем сайты, которые выставлены на продажу. Оцениваем их, подбираем по тематике нашего проект��, выкупаем и восстанавливаем контент, указывая ссылки на Bringo.
Часть таблицы со сформированной сеткой дропов
Например, в условной статье «как узнать ИНН компании» вставляем ссылку на bringo.co.uk и говорим, что сделать это можно вот в этом сервисе.
С каждым месяцем мы увеличивали количество дропов, но не гнались за конкурентами. Их в обозримом будущем не догнать. Лучше сделать упор на релевантность и качество доменов.
Внешняя ссылочная масса растет, Гугл видит, что на наш портал ссылаются другие авторитетные источники (брали ресурсы старше двух лет), поднимает сайт в поиске и сам заходит на него для индексации страниц.
Растет и, так называемый domain rating. Эта метрика помогает понять, насколько релевантной и авторитетной стала страница с течением времени:
DR до работы с дроп-доменами (22.09) – 0
DR после работы с дроп-доменами (на 15.11) – 28
Контент-маркетинг
Контент — важная часть SEO-продвижения. Чтобы повысить видимость сайта, он должен быть уникальным и отвечать запросам пользователей.
Для поисковика сайт Bringo выглядит несколько скучным и однотипным. 99.9% страниц на сайте — это карточки компаний с низким поисковым спросом. Пользователи не идут дальше.
Чтобы это исправить, мы посоветовали Bringo внедрить страницы «О компании», «Контакты», «Блог».
Для «Блога» мы стали писать по 5 статей в месяц. Темы выбирали «бизнесовые», смотрели на семантику. К примеру, дали полное руководство как правильно и быстро ликвидировать компанию, а ещё рассказали как сменить ИП на ООО.
Важно, чтобы пользователи приходили на сайт и оставались там как можно дольше. Для этого сделали перелинковку с другими полезными материалами и страницами Bringo.
А результаты…будут позже. SEO и контент-маркетинг — это каналы с долгой раскачкой, статьи могут не получать трафик месяцами, а затем взлететь в топ выдачи. Тем более, Bringo только начинает верстать блог и размещать публикации.
Написали скрипт и ускорили работу в 100 раз
«Окей, ошибки исправили, контент подготовили, а что с индексацией…?»
Мы сразу поняли, что индексация такого огромного сайта займёт долгие месяцы. Сайты с миллионом похожих страниц, как у Bringo, отправляют на принудительную ручную индексацию через Google Search Console. Вот только у этого сервиса есть ограничение — максимум 200 страниц в день. Теперь представьте, сколько потребуется времени, чтобы проиндексировать весь объём. Ладно не считайте, мы сами это сделали…89 лет!!! Не самое лучшее наследство для наших внуков.
Некоторые забывают, но для подобных сайтов-миллионников есть обход этого ограничения. К основному аккаунту можно привязать до 100 дополнительных сервисных и, в идеале, отправлять на индексацию до 20 000 страниц в день. Это в 100 раз ускорит индексацию в Google.
Чтобы это сделать мы написали специальный скрипт на Python и настроили Google Cloud Service, где активировали API. Подробно расписывать не буду, для этого нужна отдельная инструкция.
Дополнительные аккаунты привязывали постепенно, чтобы не вызвать подозрений у Гугла и с каждым днём отправляли всё больше страниц на индексацию.
Работу по принудительной индексации мы начали в начале сентября и за 2 месяца Гугл успешно проиндексировал больше 450 000 страниц.
Промежуточные итоги
Мы продолжаем работу с Bringo и каждый день «знакомим» с Гуглом всё больше страниц. Вот, что мы уже сделали:
- Исправили ошибки. Нашли их ещё на этапе аудита и подготовили страницы к индексации;
- Увеличили ценность сайта в глазах поисковика. Подготовили уникальные статьи для раздела «Блог», настроили внутреннюю перелинковку, увеличили объём внешней ссылочной массы;
- Ускорили индексацию. Обошли ограничение Google и проиндексировали почти полмиллиона страниц за 2 месяца.
- Получили первый трафик. И показали положительную динамику по показам, переходам и позициям в выдаче.
1-30 сентября
1-19 ноября
Если у вас похожая задача или вы просто хотите немного SEO напишите мне в личку ТГ @mp2x2
Или заглядывайте ко мне на канал, там рассказываю про маркетинг и управление диджитал агентством.