Нейросети и поисковики: Как заставить Google индексировать ваш ИИ-контент

Есть расхожее мнение, что все уже давно перешли на нейросети, и в основном текст, который находит Google, генерируют нейронки. Поэтому нас ни раз спрашивали, как максимально автоматизировать создание органического, индексируемого контента с помощью искусственного интеллекта.

В поисках ответов мы провели исследование и сделали выводы, которые меняют представление об искусственном интеллекте.

В этой статье вместе разберемся сколько ИИ-контента распознают поисковики, что эффективнее — ИИ или человек, и какие инструменты уже есть, чтобы помочь компаниям повышать индексацию своего контента на базе нейросетей.

Шаг 1. Составим список из 2200 ключевых слов. Для эксперимента будем использовать Google. Выбираем самые популярные небрендированные ключевые слова, с помощью ИИ кластеризируем их по темам (по 220 слов на каждую): технологии, производительность, новости, еда, финансы, развлечение, образование, криптовалюты, e-commerce, география.

Шаг 2. Выбираем и фильтруем URL-адресов по каждому ключевому слову с помощью Ahrefs. Из каждого из 5 лучших доменов по каждому ключевому слову мы случайным образом выбираем 220 ключевых слов. Фильтруем и обрабатываем AI-детектором…Вуаля, у нас теперь 20 280 URL-адресов.

Шаг 3. Распознаем ИИ. Сейчас будет немного вычислений. Для обнаружения используем Originality.ai* и получаем оценку от 0 до 1. Значит велик шанс, что на страницах есть контент, созданный ChatGPT, Llama 2 и т.д.

Но это еще не все. Originality.ai оценивает и всю страницу, и каждый абзац. Чтобы понять результаты работы детектора, поиграем с формулами. Итак, дано:

ai_score(k) — единица ИИ и количество слов в абзаце k интересующей страницы P — общее число абзацев на интересующей нас странице

Originality.ai вычисляет ai_score как среднее значение и ai_score(P) на основе абзацев 1,2…P.

Относим каждый абзац к одной из трех групп:

1. Сгенерировано ИИ, при значении ai_score(k)> 0,852.

2. Сгенерировано человеком, при значении ai_score(k) < 0,153.

3. Неточный, двусмысленный контент

Выбор пороговых значений (0,85 и 0,15) — это компромисс между повышением точности детектора и снижением риска фильтрации множества URL-адресов.

Шаг 4. Вычисляем % для каждой из трех групп путем формул:

Удаляем страницы, содержащие значительную часть неоднозначного контента — так наш окончательный набор URL-адресов будет содержать только URL-адреса с высокой достоверностью. Этот последний этап фильтрации удаляет около 40% URL-адресов, обработанных детектором ИИ — теперь у нас 11994 URL-адресов.

Шаг 5. Результат! Разделяем URL-адреса на категории по четырем типам:

Создано человеком (<10 % содержания ИИ)‍

Сгенерировано ИИ (≥ 90 % содержания ИИ)‍

Смешанный (15–55 % содержание ИИ)‍

Смешанный (55–90% высокое содержание ИИ)

Иллюстрируем:

На рисунке видим, что из общего числа URL-адресов:

По этому графику делаем вывод, что средние и медианные позиции увеличиваются по мере уменьшения участия человека в создании контента. Поскольку метрики рассчитываются на основе самого высокого рейтинга каждого типа контента, интересно наблюдать, что половина контента, созданного человеком, занимает первые пять позиций, а половина страниц с контентом, созданным искусственным интеллектом, находится на второй позиции поисковой выдачи.

Вывод: вопреки всем слухам, лишь небольшой процент контента, индексируемого поисковиками, сгенерирован ИИ.

Перед нами уже более свежий график, по которому мы видим улучшение средних позиций в рейтинге контента, созданного нейросетями за 2020-2024 года:

Что мы видим:

В 2020 контент на базе ИИ имел среднюю позицию в рейтинге — 25, а в 2024 она уже улучшилась до 10,46.

Вывод: производительность и качество работы нейронок становится все лучше с течением времени. Значит, по мере развития технологий разрыв между контентом нейросетей и человека начинает уменьшаться.

Для авторов, однако, пока продолжают работать эти два основных принципа:

SEO — один из самых мощных инструментов для улучшения видимости контента в поисковиках, но его используют меньше чем хотелось бы из-за очевидных проблем:

А еще компании научились генерировать трафик, но не понимают как конвертировать его в продажи, а на самом деле продают и генерируют трафик только 5-8% объема ключевых слов на сайте, которые создают в среднем до 90% трафика. Например:

Masterclass используют в контенте 1.2 млн ключевых слов и получают 2.2 миллиона трафика на общую сумму 1.7 млн долларов. Но на самом деле 90% прибыли в деньгах и трафике им приносят всего только 176 500 ключевых слов (8% от общего количества слов!) они же несут 1.7 млн трафика.

И это лишь один из многих примеров. Чтобы начать решать проблему, мы собрали данные рынка США и проанализировали более 5000 сайтов. Оказалось, что там примерно 5-8% ключевых слов приносят в среднем 90% результата.

Мы назвали такой подход возможности с высокой отдачей (high Impact opportunities). На базе результатов наших исследований англоязычных рынков, мы сделали продукт, который помогает решать проблему индексации ИИ-контента на английском языке в одной удобной платформе.

Происходит это за счет:

Платформа берет на себя всю аналитическую и техническую часть работы с контентом, собирает данные и создает конкурентоспособные, хорошо индексируемые тексты на рынке, и даже генерирует целые страницы (например, недавно мы автоматизировали создание каталога университетов для проекта Educate Online).

Кстати, хотя наши модели обучены и настроены на англоговорящие рынки и на английский язык, в будущем мы планируем настраивать поддержку других географий и языков.

Результаты наших сегодняшних исследований имеют важное значение для дальнейших действий и для SEO-оптимизации, и для цифрового маркетинга в целом, с точки зрения:

Контент-стратегий: контент на базе ИИ может быть частью вашей стратегии, но он все еще не должен быть центром внимания. Высококачественный контент, созданный людьми, по-прежнему сильно влияет на достижения верхних позиций в поисковых системах.

Оптимизации ключевых слов: ИИ-инструменты помогают в исследовании и оптимизации ключевых слов, но окончательный контент должен быть создан с человеческим участием, чтобы гарантировать, что он соответствует намерениям пользователя и представляет ценность.

Конкурентного анализа: теперь нейросети можно легко использовать для анализа контента конкурентов и выявления пробелов и возможностей в вашей контент-стратегии, чтобы оставаться впереди в конкурентных нишах.

Персонализации: искусственный интеллект хорошо подойдет для задач персонализации контента для разных сегментов аудитории. Это может повысить вовлеченность пользователей и общую эффективность ваших усилий в области цифрового маркетинга.

Эффективности и масштабируемости: нейросети помогают эффективно масштабировать производство контента, но под пристальным присмотром человека.

Мы часто проводим тщательный анализ рынка и изучаем производительность ИИ-контента с течением времени, регулярно пополняя количество исследуемых кластеров и обновляя все полученные данные. Сейчас мы уже работаем с такими сферами: технологии, производительность, новости, еда, финансы, развлечения, образование, криптовалюта, e-commerce и география. А еще мы совершенствуем нашу ИИ-платформу и обучаем нейросети под каждый отдельный проект — будем вместе ждать новых результатов, которые поменяют наше представление о продуктивности ИИ.

Напоследок, несколько советов по тому, как правильно интегрировать ИИ в вашу контент-стратегию:

Протестируйте гибридный подход: сильные стороны ИИ + профессионального автора. Используйте нейросети для создания первоначальных набросков, а потом дополняйте его.

Контролируйте качество: следите, чтобы любой контент был экспертным, авторитетным и надежным.

Проводите регулярные проверки: выявляйте отрывки текста, созданного нейросетями и оценивайте их эффективность.

Будьте в теме: по мере развития ИИ-инструментов будет развиваться и их индексация в поисковиках. Следите за последними исследованиями вместе с нами — подписывайтесь на наш Telegram-канал, чтобы ничего не пропустить и быть в курсе всех трендов.