OpenAI выпустил инструмент для выявления текстов, написанных ИИ
Точность его работы повышается по мере увеличения длины текста.
- Компания рассказала, что создала классификатор, который способен отличить текст, написанный человеком, от текста, сгенерированного нейросетью. Он должен помочь выявлять использование ИИ для распространения дезинформации или злоупотреблений в сфере образования.
- Классификатор представляет собой языковую модель, обученную на парах из текстов, созданных человеком и сгенерированных ИИ. Для этого запросы к нейросетям формулировались в соотвествии с темами текстов, написанных людьми.
- OpenAI предупреждает, что инструмент не полностью надёжен, и рекомендует использовать его только для материалов на английском языке. Во время тестов классификатор определял тексты, написанные ИИ, с точностью 26%. В 9% случаев он неверно определял текст, созданный человеком, как сгенерированный.
- Точность работы классификатора повышается по мере увеличения объёма проверяемого текста. Его надёжность при проверки маленьких текстов (меньше тысячи знаков) будет низкой. Он также может выдать ложный результат при проверке отредактированного человеком текста.
А потом выпустит апдейт для ChatGPT, который научит его обходить детектор.
Напоминает АОН и АНТИАОН
Иф ю ноу вот ай мин
Мы как раз занимаемся ИИ в сфере Интерпретируемых моделей, этот классификатор в принципе и есть модель объясняющая по каким фичам текст является сгенерированным, просто нам их не покажут.
Но т.к. мы сами разрабы и знаем дыры ChatGPT то можно сказать что там будет дело в распределении фактов на удельную единицу (скажем предложение) - у ЧатГПТ насыщение фактами низкое - поэтому простой способ детектить это выделять NER в тексте и его связи.
Обойти детектор можно, но нужно будет обучить свою модель с улучшенной фактологией, скорее всего гибридную. Дело в том, что если учить тот же InstructGPT даже большой, то все равно основной концепт фич(фактология) останется неизменным - их балансная статистика в общей массе.
Поэтому на само деле для обхода потребуется приложить усилия, чтобы этот обход стал статистически значимым.
А потом выпустят бота, который будет проверять на правдивость ответы ботов, которые проверяют написал ли текст бот или человек. (типа, своих не сдаёт..)
Скорее выпустят свой Adblock, который будет убирать тексты написанные ИИ
уже ничем не удивлюсь если честно
Ожидание
научил, способен отличить текст…Реальность
с точностью 26%. В 9% случаев он неверно определял текст, созданный человеком, как сгенерированный.