Как быстро проанализировать структуру конкурентов при разработке структуры для своего сайта

Не судите строго, не скажу что супер технология, просто решил что кому то может быть полезно.

Думаю часто все сталкиваются с тем что выбрали несколько сильных конкурентов с наиболее полной структурой и хорошими позициями и нужно собрать их все основные страницы категорий, подкатегорий, фильтраций и тд.

Иногда это может занять больше времени чем хотелось бы, потому что у всех разный дизайн, меню и методы вывода категорий и подкатегорий, все это зачастую усложняет и замедляет процесс.

Для того что бы немного ускорить и упростить процесс, я поступаю следующим образом. Через бесплатную программу сканер, которых много, например SiteAnalyzer (не реклама) итак все ее знают. Мы сканируем сайт и собираем все страницы, которые индексируются. Важным параметром при сканировании в данном случае будет список урл этих страниц и количество входящих в них внутренних ссылок, также для анализа можете по своему усмотрению оставлять и другие поля.

Суть в том что бы выгрузить в exel две колонки, список ссылок и количество входящих внутренних ссылок на эти страницы, затем сделать сортировку от большего к меньшему.

После сортировки мы сразу видим что наверху у нас оказались все основные страницы, а внизу отсеялись товары и статьи, обычно это резкий переход, в моем случае от 1400 входящих ссылок до 40-50. Выглядит примерно так:

Вот мы и выделили основные страницы, далее еще можно скопировать основные страницы, тут их получилось 141 и в отдельном окне exel сортировать по алфивиту. Мы получим уже группированные категории товаров. У меня это выглядит так:

Как видите еще и технические страницы почти все остаются в начале и немного в конце, далее мне просто иногда удобно посчитать сколько посадочных сделано для каждого направления, тут уже в целом каждый сам разберется что ему делать.

На 1 такой анализ у меня уходит минут 5 времени и за час в целом я могу проанализировать 10 конкурентов, понять общую основу их структуры и выделить для себя все нужное. Делаю я такой анализ обычно после того как собрал семантическое ядро и разбил его на кластеры, поэтому я уже в целом понимаю как должно быть и мне просто остается посмотреть как это выглядит у конкурентов, что бы не упустить ничего и сделать самую полную структуру.

Надеюсь было полезно.