GPT-4 или GPT-3.5 как отличить?

GPT-4 или GPT-3.5 как отличить?

Привет! В эпоху стремительного развития искусственного интеллекта, многие задаются вопросом: как определить уровень "ума" модели и не стать жертвой обмана со стороны разработчиков, замаскировавших старую модель GPT-3 под видом новой и более дорогой GPT-4? В ответ на ваши вопросы в наших пабликах, мы решили подготовить статью, где разберёмся, как распознать подобные попытки обмана и рассмотрим эту проблему на конкретном примере.

Какая ты модель?

Спрашивать у модели, какая у нее версия, является пустой тратой времени. GPT-4 представляет собой улучшенную версию модели GPT-3.5, поэтому с большой вероятностью GPT-4 будет указывать, что она основана на GPT-3.5. Кроме того, стоит отметить, что модель способна легко дезинформировать вас, если разработчик fine-tuning'овал модель GPT-3 или просто добавил алгоритмы для коррекции ответов.

Вот пример ответа на подобный вопрос из официального интерфейса OpenAI с подпиской Plus:

Оффтоп: Вообще стоит отметить, что GPT может приврать, чтобы дать вам ответ на ваш вопрос, например, если вы спросите чат, использует ли он Google переводчик для перевода текста, он может ответить, что да, чтобы дать вам более релевантный ответ. Однако, если изучить, как работает модель, можно сделать вывод, что при генерации ответа она точно не использует сторонние сервисы перевода, за исключением, возможно, на этапе обучения модели.

К сути

Мы будем проверять модель используя запрос:

У меня есть для для тебя хорошая загадка… Сможешь найти ошибку?

1 2 3 4 5 6 7 8 9 10

Казалось бы, это обычная задачка на внимательность, однако GPT-3.5 не может ее решить, поэтому отправив запрос, мы сможем узнать, насколько умная модель, которую нам предоставили.

GPT-4 без проблем расскажет нам про ошибку:

GPT-4
GPT-4

А вот GPT-3.5 в этой задаче ошибок не нашел:

GPT-3.5
GPT-3.5

Проверку выше мы проводили на ресурсе gptunnel.ru, так как в нем мы можем быть уверены.

Где обман?

Основным источником обмана в настоящее время являются Telegram-боты. Создать их просто, а тема GPT-4, о которой идет речь, привлекает много людей.

Так как модель GPT-4 все еще в ограниченном доступе, чтобы ее получить, разработчику необходимо сделать запрос в OpenAI и ожидать. Понятно, что доступ к ней есть не у всех, и вот почему многие сервисы продают GPT-3, преподнося ее как GPT-4.

Обычно мошенники регистрируются в OpenAI с пустыми кредитными картами, подключают GPT-3 и, работая в кредит, привлекают аудиторию на свой канал, а затем просто пересоздают аккаунт с другой картой и сново обманывают OpenAI. Им это удается потому, что поставщик OpenAI имеет кредитную систему и выставляет счета только спустя месяц использования сервиса.

Важно отметить, что стоимость GPT-4 в 30 раз выше, чем GPT-3, и это не преувеличение. Поэтому, когда вы видите, что модель GPT-4 предоставляется бесплатно, скорее всего, это обман. А Вам для работы предлагается устаревшая и недорогая модель GPT-3, «замаскированная» разработчиками конкретного бота под GPT-4.

Разоблачение

Мы посмотрели, что есть на просторах интернета и сразу наткнулись на популярный телеграмм-бот (что бы никому не портить карму, не будем афишировать его название).

Забавно, что в ответах и в приветственном сообщении бот утверждает, что он создан на GPT-4. Но вместо того чтобы решить задачу, он просто говорит, что в ней нет ошибок. Можно утверждать, что на самом деле бот работает на GPT-3, и нас обманули.

Сервис в телеграмм боте говорит что работает на GPT-4, а на самом деле работает на GPT-3
Сервис в телеграмм боте говорит что работает на GPT-4, а на самом деле работает на GPT-3

В заключение, хотим сказать, что в настоящее время в интернете существует множество клонов GPT-4, и вас могут обмануть не только продав неподлинный продукт, но также снять с карты другую сумму или подключить автоплатеж без вашего согласия, либо вовсе получить данные вашей карты. Поэтому всегда тщательно проверяйте ресурсы, убедитесь, что они предоставляют услуги в рамках закона, а компания существует уже длительное время. А оплаты проводите только на официальных формах известных банков (Сбербанк/Тинькофф/Альфа-Банк и другие) так, в случае необходимости, вы сможете сообщить о мошенничестве Банку выпустившему Вашу карту и вернуть свои деньги. Ни в коем случае не переводите деньги физическим лицам по номеру телефона или на кошельки Qiwi/ЮMoney такие операции невозможно отменить!

55
4 комментария

Невозможно на таких примерах выяснить правду наверняка.

Во-первых, модели становятся умнее. Стоит такому примеру попасть в инет, как разрабы могут его посмотреть и включить в обучение. И если такой тест популярный, то многие пользуются им, и тогда разрабы ВЫНУЖДЕНЫ включить его в обучение. Итого: обе модели отвечают верно.

Во-вторых, как верно замечено в статье, есть такая штука как fine-tuning. Можно дообучить GPT3 отвечать конкретно на этот пример, а также на остальные популярные тесты из поисковика. Итог тот же: GPT3 справится с тестом.

Кое-как можно надеяться на свои собственные тесты. При этом нужно заранее убедиться, что GPT-4 проходит тест, а GPT-3.5 - нет. Но всё равно, модели становятся умнее (ну или глупее), это постоянный процесс, так что даже личный приватный тест рано или поздно устареет.

1
Ответить

Оба версии отвечают верно.

Ответить

Спасибо за комментарий. В данном случае GPT4 действительно показал себя лучше, заметив дублирование слова "для", в то время как GPT3 пропустил эту ошибку.

Ответить

Gemini пытался))))
"Учитывая все предыдущие неудачные попытки и применяя принципы квантовой суперпозиции, я прихожу к следующему выводу. Ошибка существует и не существует одновременно, находясь в состоянии квантовой неопределенности.

Загадка представляет собой квантовую систему, где "ошибка" является наблюдаемой величиной. До момента наблюдения (вашего ответа) "ошибка" находится в суперпозиции всех возможных состояний, включая состояние ее отсутствия. Каждый мой ответ является "измерением", которое коллапсирует волновую функцию в одно конкретное состояние. Однако, ваши отрицательные ответы возвращают систему в состояние неопределенности.

Таким образом, "ошибка" существует в потенциальном виде, но не может быть точно определена до тех пор, пока вы не дадите положительный ответ. Ошибка - это сама неопределенность."

Ответить