Как сделать массовый автоматический рерайт текстов за 1 рубль с помощью нейросети
Хочу рассказать, как я сделал автоматический массовый рерайт текстов с помощью несложных скриптов на Python и нейросети. Не пугайтесь, с питоном и программированием вообще я был знаком на уровне среднестатистического пользователя интернета, то есть на уровне уроков информатики в школе. Но с появлением таких штук, как нейросети, сегодня любой человек может стать кодером. Объясню, как установить и поиграть со своим питоном на компьютере (винде), как запустить скрипты. Рабочий скрипт тоже выложил в конце. На самом деле всё очень просто. Погнали!
Кому нужен пакетный рерайтинг статей
Массовый автоматический рерайт текстов может быть востребован в различных сферах, его используют:
Информационные сайты и новостные агентства — эти платформы ежедневно публикуют большое количество новостей, часто основываясь на одних и тех же событиях.
Владельцы веб-ресурсов и SEO-специалисты — для продвижения сайтов необходимо создавать уникальный контент, чтобы избежать санкций со стороны поисковых систем.
Интернет-магазины — пакетный рерайт позволяет быстро заполнять карточки товаров уникальными описаниями, что экономит время и ресурсы.
Маркетологи и рекламные агентства могут использовать автоматический рерайтинг для адаптации рекламных текстов под разные целевые аудитории или платформы, сохраняя при этом основное сообщение.
Давайте посмотрим, какие варианты перефраза текстов вообще есть сегодня.
Какие есть предложения на рынке по рерайту текстов?
Дороговато? Ага. И долго, и не очень надежно, потому что человек — существо вообще ненадежное и необязательное, склонен срывать дедлайны.
Поищем роботов.
Роботы — это авторерайт. Достойных предложений оказалось не так много. Есть сервисы, которые делают одиночный рерайтинг текстов, довольно много. Есть сервис Текстовод, который выдает АПИ. Честно говоря, сначала я склонялся к его использованию, но откровенно скажу – не нашел никакой нормальной документации, объяснений чего там делать с их АПИ. Может плохо искал. Стоимость авторерайта там 1,65 рублей за 1000 символов. Поэтому решил попробовать Ретекст.
Retext.AI — это российская нейросеть для перефразирования, проверки грамматики. сокращения и написания текстов. Стоимость автоматического рерайтинга там 1 рубль за 1000 знаков.
О, слышу эти голоса: «Да ты же нам просто рекламу этого сервиса втюхиваешь! Сколько они тебе заплатили?». Ага, заплатили. Выпросил 150 тысяч тестовых знаков для написания статьи, но у меня и правда маловато подписчиков, подписывайтесь уже, что ли. Если серьезно, после всех моих поисков выяснилось, что из российских сервисов такого рода — Ретекст самый доступный.
Вот стоимость подписки:
А почему бы не делать автоматический рерайтинг текста бесплатно через ChatGPT?
Эта мысль пришла мне в голову первой, конечно. Но, как говорится, всё не так однозначно. Бесплатно уже не получается, новорегам нейросеть OpenAI своё API уже не дает (попробовал сам да и на реддите пишут). Говорят, раньше можно было, но я пропустил то счастливое время. По крайней мере, у меня лично ничего не получилось, отдает «You exceeded your current quota, please check your plan and billing details».
Во-вторых, не работает с Россией, а использование VPN — это костыли. Да и будем смотреть правде в глаза — эпоха VPN у нас скоро, очень скоро, кончится. Не верите? Вот вам пруф: Роскомнадзор выделит почти 60 млрд рублей на борьбу с VPN-сервисами. Знаете, 60 миллиардов рублей — это много, и платит РКН своим программистам хорошо, так что всё скоро будет «по-нашему», я уверен.
В общем, нейросеть ChatGPT от OpenAI для массового перефраза текстов сейчас, увы, не вариант для среднего человека, по моему скромному мнению.
Давайте приступим уже к гайду, как сделать пакетный авторерайт через Ретекст.
1.Регистрируемся на Retext и получаем API токен
Зайдите на сайт Ретекст и нажмите на «Получить Premium» в шапке. Если вы зашли через VPN и в «Мой регион» высвечивается другая страна, выберите Россия и план подписки.
Введите номер карты и оплатите (я купил 6 месяцев). Принимают оплату с российских карт, это же отечественная нейросеть. За эти деньги дают миллион символов в месяц. Минимальная цена на скриншоте, при годовой подписке.
Примечание. Вверху над шапкой сейчас раздают промокод за подписку на Телеграм-канал, 10% — воспользуйтесь.
Но это для ручной работы с текстами, нам же нужен АПИ нейросети. В боковом меню у нас (три вертикальные черточки) появился пункт «API» (без регистрации его нет).
Пройдите туда и нажмите на «Получить доступ к API». Напишите поддержке, сколько символов вам нужно. В принципе, после регистрации можно попросить на тест пару десятков тысяч знаков для рерайтинга и попробовать мой скрипт, который я выложил ниже.
После этого вам будет доступен токен Ретекста. Коротко говоря, это набор символов, который мы вставим в программку на питон, чтобы использовать ИИ перефразирования текста от сайта Retext.AI. В папочке программы будет куча word файлов, мы запустим скрипт, он будет посылать запросы к API нейросети и складывать перефразированные статьи в нужное место.
2. Пишем программу-скрипт на Python для автоматического рерайтинга статей через API
Сразу прошу профессиональных программистов и любителей-знатоков питона не обращать внимания на то, что будет написано ниже. Первый код я запустил день назад, при подготовке этой статьи.
Скачайте установщик Python на официальной странице.
Запустите установщик (у меня уже установлен, поэтому написано Upgrade).
Также нам нужно установить программку для редактирования кода Visual Studio Code, отсюда. Не бойтесь, ничего редактировать мы по сути не будем, просто созданные в блокноте текстовые файлы с кодом, переименованные в *.py, у меня не работали.
Писать хотел с помощью ChatGPT. Но потом вспомнил, что к подписке Retext бесплатно прилагается его аналог, Нейрочат. Проверим — может ли чатик работать с питоном?
Оказалось — может.
В самом низу страницы Документации сайта я взял «Пример использования API на Python». Предложил Нейрочату ознакомиться с его содержимым и написать скрипт для перефразирования текстов.
Выложу небольшой скринкаст общения с Нейрочатом.
На самом деле повозился с отладкой пару часов. Чтобы вам не пришлось этого делать, выкладываю итоговый скрипт и объясню, что там делается.
Вот ссылка на скрипт в файлохранилище, просто скачайте и сохраните.
Этот скрипт выполняет следующие действия:
- Определяет URL-адреса API для обработки и проверки текста, а также задает токен API.
- Определяет асинхронную функцию paraphrase_text(text), которая отправляет текст на рерайтинг по API, проверяет статус задачи и получает перефразированный текст.
- Определяет функцию process_word_files(input_dir, output_dir), которая обрабатывает Word-документы в указанных директориях. Для каждого абзаца в каждом документе выполняется перефразирование текста с использованием функции paraphrase_text, результаты сохраняются в новый документ с соответствующими стилями и форматированием.
- Запускает асинхронную обработку всех файлов в указанных директориях.
Итак, эта штука используется для пакетного рерайта текста в документах Word, отправляя текст на обработку через API, затем получая и сохраняя перефразированный текст в новые документы. Для использования скрипта необходимо создать директории — с исходными word-документами (input_docs) и (output_docs, можно не создавать, сам создаст), куда будут ложиться выходные файлики, а также необходимо предоставить токен API для взаимодействия с сервисом.
Дальше я расскажу, как запустить скрипт и реализовать рерайтинг текстов в промышленных масштабах. Вы можете его редактировать под себя, используя Нейрочат. Для отладки просто копируйте в чат ВЕСЬ код скрипта и ошибку из окошка командной строки.
И еще добавлю — да, когда я сказал, что Нейрочат прилагается подписчику Retext бесплатно — это не шутка. Полный аналог ChatGPT за 300 рублей в месяц.
3. Запускаем скрипт перефразирования текста
Откройте скачанный скрипт retext.py программой Visual Studio Code, замените звездочки полученным от поддержки Ретекста токеном, и сохраните файл (ctrl+S), например, сделайте папку C:\prfrz.
Запустите интерфейс командной строки Windows PowerShell. Для этого слева в нижнем углу в окошке поиска наберите Windows PowerShell и нажмите «Запуск от имени администратора».
Честно говоря, можно просто перейти в C:\prfrz и набрать в адресной строке PowerShell, но тогда запустится без прав администратора. Иногда в Винде повершелл вообще не установлен, тогда установите его из Microsoft Store или по другому, вот справка.
Короче, сделайте так, чтобы Windows Powershell запустился и наберите команду «cd C:\prfrz» (без кавычек), теперь команды будут работать из нашей папочки.
Введите последовательно команды «python -m ensurepip –upgrade», «pip install aiohttp», они устанавливают необходимые для работы обновления и библиотеки (все команды набирать без кавычек).
Создайте в папке C:\prfrz папку «input_docs» и поместите туда файлы word-документов, которые будете перефразировать. Для теста я выбрал 10 своих старых статей общим объемом около 50 000 символов. Среди текстов было несколько довольно больших, по 7 и 15 тысяч знаков.
Теперь всё просто. Наберите команду «python retext.py» и ждите окончания выполнения.
Я попросил Нейрочат сделать в коде неограниченное время выполнения, так что ошибки по Timeout (нехватка времени) не было.
Питончик отработал и отчитался.
Спустя 10 минут в папке output_docs у меня появилось 10 отрерайченных нейросетью статей.
Давайте проверим качество авторерайта.
Вот оригинальный текст (честно, это написан году так в 20-м, да, копирайтеры писали так и до нейросетей, увы, походу они украли этот унылый стиль).
Вот перефразированная статья.
Вот результат сравнения.
Если кто-нибудь знает, что такое расстояние Левенштейна и насколько приемлема цифра 2688 для антиплагиата, напишите в комментариях.
Напомню, что рерайт 50000 знаков в 10 статьях обошелся меньше чем в 50 рублей.
Заключение
Итак, мы выяснили, что Retext.AI предлагает нам самый недорогой и простой инструмент для перефразирования текстов в больших объемах. Качество, на мой взгляд, хорошее. Думаю, что инструмент может найти применение у многих пользователей. Прежде всего для уникализации текстов на сайтах, создания описаний для интернет-магазина. Можно за один день замутить свой сайт-статейник, канал на «Дзен», блог.
Если вы будете использовать мой скрипт и будут ошибки, повторю: скопируйте код скрипта и ошибку (она будет в окошке Powershell) в Нейрочат. Или пишите тут в комментариях.
Когда-то, годах в 2010-х, интернет заполонили оптимизированные-переоптимизированные SEO-статьи. Это те, которые на 95% состояли из ключевых слов. Тогда поисковики быстро очухались и ввели такие санкции, что до сих пор чухается. Потому что в поиске остался только этот SEO-шлак, который полезной нагрузки для юзеров не нес.
Мне вот интересно, будет ли что-то подобное сегодня? Уже где-то слышал о пессимизации контента от ИИ. Правда, в частном формате, на отдельных ресурсах. Нейродетекторы это все дело прекрасно выкупают - пора начать их использовать. Но условный Яндекс тогда и сейчас - это, конечно, принципиально разные компании. Может и забьют.
гугу уже уводит в теневой бан этот gpt мусор
что касается уника то он плавает от 80%+ по адвего
это не супер, но для индексации достаточно,
Что касается будут ли ПС массово пессимизировать генернные ИИ страницы, то тут по-моему человеческий фактор.
Ну смотрите - поисковики забанят сайты с текстами, которые по их мнению, генеренные. И туда обязательно попадут страницы, которые писали люди. Сайты наедут на своих авторов, авторы скажут: "Стоп, вы сначала докажите что мы чатгпт юзали? Пусть покажут алгоритмы, из-за которых наше творчество приписали роботам!"
Тем более что уже 2 года профессиональные авторы по всему миру юзают чатгпт, и получают деньги, сайты уже наполнены такими текстами. Если всех забанить большой скандал будет))
Так что мне кажется ПС не применяют детекторы массово не случайно. Если уж очевидно что на сайте нет ни одной строчки от человека то может тогда
тут же не генеренка, а перефраз человеческого текста.
ГПТ детекторы работают мистически немного, я проверял, берешь чисто 100% человеческий текст, например, рассказ Чехова, делаешь перефраз на этом ретексте, проверяешь на детекторе и он все равно показывает что человек писал. А если взять генеренку, то хоть руками переписывай, все равное палит, как-будто печать проклятия на них))
То есть прогнять через перефраз ТОЧНО ЧЕЛОВЕЧЕСКИЕ текста то норм на детекторе.
Вот я сейчас проверил оригинал и перефраз
Интересный кейс. Кстати, на нашем Сервисе можно также использовать нейросеть для рерайта. Это будет попроще, чем прописывать код 😊 К тому же мы объединили два инструмента. Теперь можно рерайтить только неуникальные части текста и сервис тут же автоматически проверяет уникальность. Сразу в одном окне 💪
спасибо за внимание к моей статье, у Текста крутой функционал💪
просто кейс про массовый пакетный рерайт, я правда пробовал реализовать на Тексте, Текстоводе, но для меня слишком трудно оказалось (
Вы еще не загнулись? Удивительно)