ChatGPT не смог решить детскую задачу

Современные языковые модели произвели в последние годы революцию. Многие говорят о том, что человечество будет не нужно, и профессий больше не останется. Уже сейчас мы видим, что посты в социальных сетях, куски кода, и зачастую даже идеи пишутся искусственным интеллектом. В голливуде одно из требований забастовки сценаристов - обещание студий не пользоваться ими при написании сценариев. Никто уже не говорит о Тесте Тьюринга, потому что все мы знаем что его легко пройдут любые продвинутые языковые модели. Но сможет ли ChatGPT сделать то, что легко делают дети?

Мы будем использовать следующий промт:

Сейчас я научу тебя кирпичному языку.Смотри, его правила: он похож на русский, но после каждой гласной добавляется буква "с", после чего она повторяется. Смотри:Привет - ПрисивесетДом - ДосомИностранец - Исиносострасанесец.Теперь переведи на кирпичный слово "Молоко"

YaGPT

Начнем с нейросети Яндекса.

ChatGPT не смог решить детскую задачу

Честно признаться, Яндекс явно не понял что мы хотим от него и точно ВООБЩЕ не понял в чем прикол кирпичного языка. При этом когда мы его пытаемся поправить, он уперт и вообще боится нас обидеть.
YaGPT НЕ ПРОХОДИТ ТЕСТ

GigaChat

Следующим мы разберем языковую модель от Сбера. Она построена на чатгпт с собственными наработками.

ChatGPT не смог решить детскую задачу

Мне кажется, что он вообще не понимает суть разговора. Давайте дадим ему немного времени.

ChatGPT не смог решить детскую задачу

Удивительно. Попросим повторить правила.

ChatGPT не смог решить детскую задачу

Ну, хотя бы не досом.

ChatGPT не смог решить детскую задачу

Я думаю можно сделать вывод, что гигачат НЕ ПРОШЕЛ ЭТО ИСПЫТАНИЕ

Мне кажется, я придумал новый тест Тьюринга.

Bard от Google

Далее основной конкурент чатгпт - Бард. Он дает сразу несколько вариантов ответов.

Первый вариант
Первый вариант
Второй вариант
Второй вариант

Бард явно не схватил на лету. Но давайте попробуем его исправить. Будем брать первый вариант.

ChatGPT не смог решить детскую задачу

Зря мы взяли первый вариант.

ChatGPT не смог решить детскую задачу

У меня возникло ощущение, что Бард вообще не понял правила.

ChatGPT не смог решить детскую задачу

А, нет. Понял. Попробуем еще раз.

ChatGPT не смог решить детскую задачу

А нам заявляют, что эти нейросети понимают контекст.

БАРД НЕ ПРОШЕЛ ИСПЫТАНИЕ

ChatGPT

Вся надежда на него.

ChatGPT не смог решить детскую задачу

Я обескуражен. Он просто не перевел. Попробуем еще раз.

ChatGPT не смог решить детскую задачу

Это почти верно! Неужели этот тест будет пройден?

ChatGPT не смог решить детскую задачу

Тут уже дальше от правды, но я хочу заметить, что это гораздо ближе, чем предыдущие нейросети.

ChatGPT не смог решить детскую задачу

Мне очень грустно, что он рядом, но не может сделать это верно.

ChatGPT не смог решить детскую задачу

Я думаю, можно завершать тест.

Итоги

Нам не грозит восстание машин. Я думаю, что любой человек на свете бы смог после стольких подсказок корректно перевести слово на кирпичный.

У нейросетей нет разума и интеллекта. Они и правда просто пытаются делать что-то похожее на то, что делаем мы.

Когда-то, когда изобретали новинки, люди говорили, что их профессии умирают, однако появлялись новые, связанные с новыми инструментами.

Люди как были незаменимы, так и останутся ими.

Всем пока.

11
2 комментария

А где тест GPT-4? То, что GPT-3.5 не справился, это предсказуемо.

Ответить

Почти правильно. В целом, качество ответа высокое.

Ответить