Ученый из НИУ ВШЭ написал статью с помощью ChatGPT — ее опубликовали в научном журнале

Роман Янковский, заведующий Центром трансформации юридического образования факультета права НИУ ВШЭ, написал с помощью ChatGPT статью в юридический журнал. Сразу оговоримся: это было согласовано с редакцией издания. Рассказываем о том, зачем нужен был такой опыт, справился ли искусственный интеллект с поставленной задачей и нужно ли запретить его использование в научной работе.

«Способен ли искусственный интеллект написать статью в юридический журнал?» — статья Романа Янковского с таким заголовком вышла в мартовском номере журнала «Закон». Автор проанализировал достоинства и недостатки использования ИИ в сфере юриспруденции, включая способность ИИ адаптироваться к сложным терминам, изменениям в законодательстве и тонкостям аргументации.

«Основное внимание уделяется потенциальным ошибкам, которые могут возникнуть при генерации текста ИИ, их причинам и последствиям. Кроме того, обсуждаются вопросы авторских прав на произведения, созданные с помощью ИИ, и возможные пути их решения», — говорится в аннотации к статье.

«Первоначально я хотел проверить возможности четвертой версии GPT, поскольку предыдущая (3.5) грешила выдуманными источниками и вообще хуже справлялась со специализированными текстами, — рассказывает Роман Янковский. - Четвертая версия меня очень порадовала, в том числе с точки зрения возможностей поиска источников, поэтому, чтобы показать ее возможности коллегам, я решил сгенерировать полноценную научную статью. Кроме того, мне всегда нравились рекурсивные статьи, а тут наконец появилась возможность самому написать. Не мог такое пропустить».

По его словам, редакция журнала, в котором он и раньше публиковал свои статьи, взяла время «на подумать». В результате они довольно быстро согласились на публикацию с дисклеймером и даже в порядке исключения приняли статью без очереди — иначе она вышла бы не раньше осени. «Полагаю, свою роль сыграло и то, что редакция “Закона” в последнее время стремится брать больше актуальных тем, я знаю многих цифровых юристов, которые публикуются именно в этом журнале. Наверное, в более консервативном издании просто покрутили бы пальцем у виска», — говорит Роман Янковский.

Первая часть статьи (теоретическая) полностью сгенерирована ИИ, в связи с чем дан соответствующий дисклеймер. Вторая часть (практическая) рассказывает о том, как происходила работа автора с ИИ и насколько успешным можно считать результат.

В выводах к теоретической части статьи отмечается, что ИИ, такой как ChatGPT, уже способен генерировать тексты на юридическую тематику, но качество этих текстов все еще оставляет желать лучшего.

По словам Янковского, существующие технологии ИИ сталкиваются с рядом проблем: непонимание контекста, неправильная интерпретация юридических терминов, непонимание других нюансов. Тексты, написанные ИИ, пока не могут заменить результат работы человеческого интеллекта и опыт, экспертизу, творческий подход и глубокое понимание материала, которые присущи живым авторам. В то же время делается вывод, что ИИ может быть полезным инструментом для юристов, «помогая в написании черновых вариантов текстов или предоставляя базовую информацию, которую можно доработать и уточнить».

В практической части статьи Роман Янковский рассказал об опыте работы с ChatGPT. Он начал с наиболее общих вопросов, таких как «способен ли искусственный интеллект написать за юриста статью в юридический журнал?». Затем он просил ИИ уточнить отдельные моменты — например, сможет ли искусственный интеллект выполнять творческие задачи, в частности писать статьи на актуальные темы.

Также автор просил привести примеры конкретных ошибок, допущенных ИИ в связи с неверным пониманием правового термина. Из получившихся ответов была скомпонована вся первая часть статьи, которую Роман Янковский отредактировал в течение нескольких часов: добавил заголовки и скорректировал подводки к отдельным разделам статьи, внес стилистические правки, например заменил «искусственный интеллект» на «ИИ», обрезал некоторые длинные предложения, сократил перечисления, привел ссылки к нужному формату и пр.

«Таким образом, проведенный эксперимент показал, что искусственный интеллект (в реализации GPT 4.0) достаточно развит, чтобы написать статью, пригодную для публикации в юридическом журнале. Однако для этого нужен компетентный автор, который будет задавать ИИ корректные вопросы, а затем перепроверит результат. Желательно выбрать неглубокую тему, далекую от доктринальных нюансов, потому что текущие языковые модели сильно ограничены в работе с такими вопросами. Безусловно, статью придется отредактировать, а также перепроверить предложенные источники», — резюмирует Роман Янковский.

На вопрос, надо ли запретить использование ИИ при написании научных статей, Роман Янковский ответил, что это уже вряд ли возможно. После некоторой правки текст, написанный ИИ, не отличить от настоящего. К тому же в последних версиях того же ChatGPT можно натренировать ИИ, чтобы он еще лучше понимал задачу и выдавал еще более связный результат.

«С другой стороны, статьи, сгенерированные ИИ, обладают очень условной научной новизной, и, если редакции будут тщательно отслеживать этот критерий и привлекать рецензентов к проверке статей, качество статей не упадет», — полагает он.