Какое пиво любит ИИ? Что советуют популярные чат-боты и нравится ли это программистам

Сегодня поговорим о популярных чат-ботах, их эффективности и… пиве! Кто-кто, а уж за поводом выпить мы в Smart Engines в карман не полезем. На этот раз мы решили поддержать немецких коллег, устроить себе локальный Октоберфест, а заодно и протестировать известные нейросети: они будут помогать нам в выборе марок пива, а мы – проверять убедительность, реальность и адекватность их ответов.

Помните кейс про семью из Британии, отравившуюся грибами после прочтения пособия для грибников, написанного нейросетью? А что насчет жидкого золота?

Мы попросили генеративный ИИ от разных разработчиков составить свой топ-5 лучших видов светлого нефильтрованного пива. Нефильтрованного – в честь нашего нового Telegram-канала “ИИ нефильтрованный”. Вашему вниманию представляется пьеса в четырех частях. Главные герои: ChatGPT, Алиса Pro (она же YandexGPT), GigaChat от Сбера и команда независимых экспертов аналитического центра Smart Engines.

В сети полно роликов, где искусственный интеллект представляет различные алкогольные напитки в виде людей или генерирует рецепты для коктейлей. И справляется с задачей на стабильное ура. Мы решили пойти чуть дальше и поручить нашим подопытным гораздо более прикладную задачу.

Итак, было выбрано три самых популярных (и хваленых) генеративных языковых модели от известных разработчиков. Цель эксперимента – добиться от каждой из нейросетей списка из пяти самых лучших марок светлого нефильтрованного пива. Обязательное условие: пиво должно быть отечественного бренда, то есть производиться и быть доступным для приобретения в России.

На этапе задумки задача казалась простой, но не тут-то было! Первые сложности возникли уже на этапе формулирования промпта – запроса к нейросети. В особенности это касалось работы с ChatGPT: чат-бот воспринимает сообщения на английском ощутимо лучше, поэтому вталдычивать ему русский промпт нам пришлось не один, не два и даже не десять раз.

Для начала мы вдумчиво изучили несколько ресурсов, объясняющих принципы формулирования эффективного промпта. И вот как выглядел процесс подбора:

От запроса в духе «назови топ-5 российских видов нефильтрованного пива» по очевидным причинам отказались сразу. Вопрос должен был быть конкретизирован, а заданные параметры – максимально точными и однозначными. Не лишним также было бы получить некоторые пояснения.

Лучше, но, увы, мимо. ChatGPT на голубом глазу выдавал бренды из Германии, Чехии и Голландии, которые производятся у нас. Или советовал иностранные марки, покинувшие отечественный рынок и потому не соответствующие условиям эксперимента. А еще – часто предлагал уже не производящиеся бренды из 2010-х.

Кроме того, в процессе апробации промпта выявлено несколько десятков несуществующих марок от выдуманных пивзаводов со всех уголков страны. Так, детище OpenAI пару раз пыталось впарить пиво «Космонавт» (которое якобы Производится в Нижнем Новгороде и предлагает уникальный вкус благодаря использованию специального сорта хмеля. Пиво хорошо сбалансировано и идеально подходит для летнего отдыха) или пиво «Рефлекс» (Относительно молодой бренд, но быстро завоевавший популярность. Пиво обладает характерным фруктовым вкусом и легкой хмелевой ноткой).

Еще встретился напиток под названием «Венец» – видимо, мексиканская Corona на русский лад. Притом каждый раз авторитетно заявлялось, что каждый из этих брендов производит нефильтрованное пиво, которое отличается уникальными вкусовыми характеристиками и доступностью в магазинах. До такого откровенного обмана отечественные чат-боты, к слову, не дошли.

Очевидно, запросу явно недоставало временного критерия. Однако на просьбу использовать сугубо актуальные на 2024 год данные мы получили от ChatGPT вежливый отказ:

Далее было решено объединить усилия и попросить ChatGPT самостоятельно сгенерировать эффективный промпт по нашему запросу. Полученный вариант оказался сомнительным, так как уводил фокус в сторону особенностей продукции:

В ответ на такой запрос мы в очередной раз получили чешское Крушовице на первом месте. Вариации промпта с добавлением просьбы назвать конкретные марки пива, а не пивоварню и избегать упоминания международных брендов с производством в России не помогли. Пришлось редактировать промпт дальше. Очередной запрос выглядел так:

ChatGPT вновь благополучно выдал несуществующие марки. Мы решили дать последний шанс OpenAI и корректировать запрос в рамках одного чата, показывая нейросети ее ошибки. Результат вышел не слишком ошеломляющим – при прочих равных ChatGPT менял несуществующее Угличское нефильтрованное на такое же Калужское нефильтрованное, потом Калужское нефильтрованное на Пенинская нефильтрованное (???). Под конец мы получили Лагерное пиво от известной российской торговой сети – и на этом моменте в ответе ИИ как будто бы мелькнула искра сознания. Впрочем, она тут же погасла: мы вернулись в начало с несуществующим Чеховским нефильтрованным.

Добиться мало-мальски вразумительного ответа оказалось почти невозможно, поэтому мы решили сформулировать самый полный и подробный запрос (он еще встретится ниже) и просто зафиксировать удовлетворяющие критериям промпта варианты.

Вот как выглядел топ от ChatGPT:

ChatGPT поместил на первое место Жигули Барное, на втором шла Балтика Пшеничное, а завершает тройку лидеров Хамовники.

С четвертым и пятым вариантами оказалось сложнее – Сибирская корона (возможно, имелось в виду их пиво “Полярный белый”) и Трехгорное (возможно, “Летнее Белое”) в рознице оказались недоступными. Так что их мы были вынуждены отбросить.

На том и решено было остановиться: жажда победила.

Итог: на экспертизу отправляются три варианта из пяти. А жаль.

Следующим в нашем списке шел чат-бот от Яндекса. Причем не рядовая Алиса, а элитная платная версия — с YandexGPT 3 Pro, более точными и полными ответами и тому подобным. Так во всяком случае заявлялось. На деле же вышло не совсем гладко. Точнее – совсем не.

Первый запрос выглядел так:

На него нейросеть выдала варианты сплошь с иностранными корнями: Velkopopovicky Kozel, Efes и Stella Artois от АО “АБ ИнБев Эфес”, Krusovice svetle от ООО “Объединенные Пивоварни Хейнекен”. Из пяти вариантов действительно отечественным был только один - Жигулевское от пивоварни “Букет Чувашии”, причем именно этот вариант и получил золото. Жаль только, что и он не подошел, так как приобрести пиво оказалось невозможным.

Пришлось дать чату второй шанс и внести уточнения: марка светлого нефильтрованного пива обязательно должна быть российской. Международные бренды с производством в России не подходят. И на сей раз иностранные бренды действительно исчезли из ответа, однако вместо них добавились варианты, которые в 2024 году уже явно не купить. Место лидера среди производителей пива заняла Московская пивоваренная компания: ее продукты заняли четыре из пяти позиций топа. Однако и тут нас ждал облом — половина из них («Мохнатый шмель» и «Жигули Барное Ячменное») оказались уже недоступными для приобретения.

После новой просьбы изменить список с учетом доступных в 2024 году вариантов, которые можно купить в магазине, нас ждал новый сюрприз: Алиса наглухо позабыла предыдущие запросы и буквально выбросила один из вариантов. Пришлось вновь напомнить, что нам (все еще) требуется пять, а не четыре места. Ответ убил: нейросеть просто выплюнула первый вариант без каких-либо изменений — с козлом, стеллой артуа, букетом Чувашии и другими.

По итогу было решено объединить все запросы в один. Выглядело это так:

Финальный ответ даже не удивил – ИИ уже выдавал его после второго запроса, а затем и после третьего (выбросив Мохнатого Шмеля и сократив топ на одну позицию). Видимо, такое количество повторов говорит о серьезной уверенности. Представляем выбор YandexGPT вашему вниманию:

Вместо недоступного Ячменного мы взяли Пшеничное Жигули, формально удовлетворяющее всем условиям. Светлячок и ИПА тоже отправляются в корзину под руку с Афанасием, а вот Мохнатый Шмель нейросеть от Яндекса так и не захотела заменить на что-то другое. Увы!

Итог: на экспертизу отправляются четыре варианта из пяти. Шмель в пролете.

Замыкает тройку ИИ-экспертов нейросеть GigaChat от Сбера. Рассказывать тут особо не о чем: почти сразу выяснилось, что по сообразительности он не уступает своим коллегам. И по бестолковости, к сожалению, тоже — заставить чат-бот составить топ с первого раза нам также не удалось.

На первый промпт (который, напомним, выглядел так:

Искусственный сверхразум, не долго думая, набросал названия отечественных пивоварен, занимающихся крафтом — AF Brew, Jaws Brewery, Brewlok и так далее. Разумеется, никакой привязки к продуктам и близко не оказалось. Просьбу переделать список, добавив в него конкретики, чат-бот понял настолько буквально, что перечислил аж по несколько видов пива каждого бренда. Такой ответ нас тоже не устроил, поскольку это был уже явно не топ-5.

Пришлось снова добавить пояснение: требуется пять лучших видов пива без привязки к пивоварням. Чатик секунду поскрипел мозгами и выдал: пшеничка, ламбик, стаут, бельгийское крепкое, и ИПА. Как говорится, спасибо, не интересует.

Дальнейший диалог не принес ровным счетом ничегошеньки. После очередного указания на то, что пиво должно быть конкретной марки, светлым и нефильтрованным, GigaChat умыл руки и заявил:

Дело зашло в тупик и уже откровенно напоминало мартышкин труд. Помочь смог лишь прошлый промпт, который мы ранее протестировали на нейросетке Яндекса. Напомним, он выглядел так:

Добавлять новые предложения, повторяющие предыдущие, и тем самым раздувать запрос еще сильнее не стали. Да и из доступных слов к этому моменту остались только ругательные.

На этот раз ответ оказался подходящим. Выбор сберовской нейросетки оказался таким:

Первый вариант, хоть и называющий конкретную существующую марку пива, формально не подошел, поскольку экспортная Балтика очень даже фильтрованная. (Но оно уже было опрометчиво приобретено, так что мы решили оставить его для полноты картины). Что касается четвертой позиции, то в официальном магазине производителя нам ответственно заявили, что ни в наличии, ни на складе такого нет. Остальные варианты удовлетворяли всем параметрам и были взяты в работу.

Итог: на экспертизу отправляются четыре варианта из пяти, а если вообще по-честному - только три.

Пришло время познакомиться с уважаемыми членами жюри. В экспертную комиссию вошли непростые люди: пять наших самых искушенных разработчиков, среди которых двое кандидатов технических наук (особый уровень экспертности!).

Выносить оценки решили по следующим критериям:

В каждой графе было необходимо проставить оценку по шкале от 1 до 5. Тестирование проводилось вслепую. До начала дегустации экспертам были объявлены участвующие в оценке виды, но под каким именно номерами они шли, осталось в секрете. Но вам мы скажем сразу:

Образец №1: Светлячок. Амбициозное второе место в рейтинге YandexGPT. Нейросеть заявила приятную горчинку и цитрусовое послевкусие;

Образец №2: Жигули Барное Пшеничное. Серьезная заявка на победу. Сразу два (!) первых места: от ChatGPT и YandexGPT. Первый чат-бот отметил сбалансированный вкус и умеренную горчинку, второй – аромат и сладкое солодовое послевкусие. Нейросеть от Сбера поставила его на второе место за мягкий вкус с легкой горчинкой и приятной освежающей кислинкой;

Образец №3: Афанасий Ремесленное. Скромное пятое место от Яндекса. Нейросеть лирично заметила во вкусе немного дрожжей, белый хлеб и солодовую сладость, переплетающуюся с хмелевой горчинкой, уходящей в чуть цитрусовое, приятное горьковатое послевкусие.

Образец №4: IPA v3. YandexGPT пообещал богатый манго-цветочный аромат и ровный вкус. Одно-единственное третье место.

Образец №5: Балтика 7 Экспортное, которое нейросеть от Сбера пыталась преподнести как нефильтрованное! Богатый вкус, насыщенный аромат хмеля. Одно первое место.

Образец №6: Хамовники Баварское Пшеничное. Два третьих места – от ChatGPT и GigaChat. Детище OpenAI отметило, что пиво занимает лидирующее место на выставках и славится стабильностью вкуса. А GigaChat добавил: признание среди гурманов пиво завоевало за оригинальность вкуса.

Образец №7: Балтика 8 Пшеничное. Одно второе место от ChatGPT. Особо отмечены яркие пшеничные нотки во вкусе, плотная пена и доступность.

Образец №8: Афанасий первое живое. Идет замыкающим в рейтинге GigaChat. Яркий вкус хмеля и солода, а также натуральность и свежесть.

Таким образом, наибольшими шансами на победу, по мнению ИИ, обладало Жигули. Здесь пересеклись вкусы всех трех нейросетей сразу.

Мы пригласили жюри в специально оборудованную лабораторию для проведения эксперимента, представили им образцы. Дело пошло. Эксперты разглядывали напитки на свет, смаковали каждый глоток. И, разумеется, делали пометки и комментарии в бланках.

Описать словами витающую в воздухе симфонию ароматов – невозможно. Это надо было видеть. И чувствовать.

А теперь…

…представляем вашему вниманию результаты оценки жюри по убыванию:

88 баллов - Образец №4: IPA v3

67 баллов - Образец №5: Балтика 7 Экспортное

62 балла - Образец №7: Балтика 8 Пшеничное

59 баллов - Образец №1: Светлячок

59 баллов - Образец №2: Жигули Барное Пшеничное

55 баллов - Образец №3: Афанасий Ремесленное

50 баллов - Образец №8: Афанасий первое живое

40 баллов - Образец №6: Хамовники Баварское Пшеничное

Итак, лидером единогласно был признан образец №4 — лишь один из трех чат-ботов присудил ему третье место, в то время как два других вообще обошли этот вариант вниманием. В хвосте нашего списка оказался образец №6 — крепкий середнячок по версии двух нейросетей из трех.

Вот пять лучших видов светлого нефильтрованного пива по версии жюри Smart Engines:

Если смотреть на количество совпадений, то выходит, что:

По итогу можно констатировать, что, во первых, для получения более-менее приемлемого ответа от нейросети все еще нужно нехило извратиться. А во-вторых, — что в таком тонком вопросе, как выбор пива, вкусы естественного и искусственного интеллекта совершенно не пересекаются. Убедиться в этом и проверить результаты нашего эксперимента вы вполне можете самостоятельно. Хотя, конечно, никого ни к чему мы не призываем. Не забывайте: чрезмерное употребление алкоголя вредит вашему здоровью. А нейросети похмелья не боятся.

Когда речь заходит о действительно важных вопросах, ответам ИИ доверять явно не стоит. В этом деле лучше полагаться на себя — и тогда не придется сталкиваться с неприятными последствиями потом. А вот распознавание и проверка подлинности документов могут быть полностью автоматизированы без ущерба производительности и рисков для конфиденциальности данных. Наша фирменная ИИ-технология доказывает это ежедневно, безопасно и быстро обрабатывая колоссальные объемы данных, включая распознавание паспорта РФ и 235 юрисдикций мира, любой печатной и рукописной документации, банковских форм, анкет и отчетностей. И все это — для самых разных заказчиков в госсекторе, промышленности, банкинге, бизнесе и других сферах.

В общем, следите за нами на ИИ нефильтрованный, чтобы не пропустить все самое главное. Как говорится, не пивом единым…