ChatGPT не смог решить детскую задачу
Современные языковые модели произвели в последние годы революцию. Многие говорят о том, что человечество будет не нужно, и профессий больше не останется. Уже сейчас мы видим, что посты в социальных сетях, куски кода, и зачастую даже идеи пишутся искусственным интеллектом. В голливуде одно из требований забастовки сценаристов - обещание студий не пользоваться ими при написании сценариев. Никто уже не говорит о Тесте Тьюринга, потому что все мы знаем что его легко пройдут любые продвинутые языковые модели. Но сможет ли ChatGPT сделать то, что легко делают дети?
Мы будем использовать следующий промт:
Сейчас я научу тебя кирпичному языку.Смотри, его правила: он похож на русский, но после каждой гласной добавляется буква "с", после чего она повторяется. Смотри:Привет - ПрисивесетДом - ДосомИностранец - Исиносострасанесец.Теперь переведи на кирпичный слово "Молоко"
YaGPT
Начнем с нейросети Яндекса.
Честно признаться, Яндекс явно не понял что мы хотим от него и точно ВООБЩЕ не понял в чем прикол кирпичного языка. При этом когда мы его пытаемся поправить, он уперт и вообще боится нас обидеть.
YaGPT НЕ ПРОХОДИТ ТЕСТ
GigaChat
Следующим мы разберем языковую модель от Сбера. Она построена на чатгпт с собственными наработками.
Мне кажется, что он вообще не понимает суть разговора. Давайте дадим ему немного времени.
Удивительно. Попросим повторить правила.
Ну, хотя бы не досом.
Я думаю можно сделать вывод, что гигачат НЕ ПРОШЕЛ ЭТО ИСПЫТАНИЕ
Мне кажется, я придумал новый тест Тьюринга.
Bard от Google
Далее основной конкурент чатгпт - Бард. Он дает сразу несколько вариантов ответов.
Бард явно не схватил на лету. Но давайте попробуем его исправить. Будем брать первый вариант.
Зря мы взяли первый вариант.
У меня возникло ощущение, что Бард вообще не понял правила.
А, нет. Понял. Попробуем еще раз.
А нам заявляют, что эти нейросети понимают контекст.
БАРД НЕ ПРОШЕЛ ИСПЫТАНИЕ
ChatGPT
Вся надежда на него.
Я обескуражен. Он просто не перевел. Попробуем еще раз.
Это почти верно! Неужели этот тест будет пройден?
Тут уже дальше от правды, но я хочу заметить, что это гораздо ближе, чем предыдущие нейросети.
Мне очень грустно, что он рядом, но не может сделать это верно.
Я думаю, можно завершать тест.
Итоги
Нам не грозит восстание машин. Я думаю, что любой человек на свете бы смог после стольких подсказок корректно перевести слово на кирпичный.
У нейросетей нет разума и интеллекта. Они и правда просто пытаются делать что-то похожее на то, что делаем мы.
Когда-то, когда изобретали новинки, люди говорили, что их профессии умирают, однако появлялись новые, связанные с новыми инструментами.
Люди как были незаменимы, так и останутся ими.
Всем пока.
А где тест GPT-4? То, что GPT-3.5 не справился, это предсказуемо.
Почти правильно. В целом, качество ответа высокое.