Как сделать тонкую настройку больших языковых моделей с помощью ваших собственных данных

Языковые модели GPT от OpenAI - это здорово, но иногда ответ, который вы получаете от чат-ботов вроде ChatGPT, не всегда совпадает с вашими ожиданиями. Это все равно что заказать бургер, а вместо него получить салат - не очень приятно.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Подобные проблемы можно решить, добавив более конкретные инструкции в текстовый промпт, который вы отправляете чатботу. Например, если вы хотите, чтобы ИИ ответил саркастически, вам нужно добавить в конце промпта что-то вроде «ответь с сарказмом».

Но давайте будем реалистами: у кого есть время нянчиться с ИИ, постоянно давая ему указания?

А что если вместо того, чтобы постоянно просить ИИ отвечать определенным образом, вы можете обучить его, приведя несколько примеров, чтобы он понял, как выполнять задачу? Это называется тонкой настройкой.

Тонкая настройка языковой модели, или LLM fine-tuning, - это процесс взятия предварительно обученной большой языковой модели (LLM) и ее дальнейшего обучения на определенном наборе данных, чтобы адаптировать ее для решения более специализированных задач или использования в конкретной области.

В этой статье я покажу вам, как можно обучить модель ИИ на собственных данных. Давайте начнем.

Перейдите на сайт OpenAI, создайте аккаунт и откройте панель управления игровой площадкой.

Сразу предупреждаю, что использование игровой площадки для использования функций OpenAI не бесплатно. При регистрации вы получите бесплатный кредит в размере $5, которого должно хватить для тестирования некоторых функций, включая тонкую настройку.
Следите за оставшимися кредитами на странице профиля и на вкладке Billing. Также вы можете привязать кредитную карту, чтобы не беспокоиться о кредитных лимитах. Следите за статистикой использования на вкладке Usage панели Org.

Теперь, когда ваш аккаунт OpenAI настроен, мы можем приступить к подготовке данных для обучения.

Сейчас вы не можете просто загрузить любой файл в качестве обучающих данных для обучения модели. OpenAI требует, чтобы вы преобразовали их в формат JSONL, как показано ниже:

Сколько примеров вам нужно?

На самом деле для обучения требуется не менее 10 примеров. Однако рекомендуется собрать больше данных, чтобы добиться заметного улучшения результатов. Вот что говорит OpenAI:

Знаю, знаю, это звучит как утомительная задача, особенно если выполнять ее вручную. Поэтому лучше использовать инструменты или ИИ, чтобы автоматизировать этот процесс. Эффективность - это главное.

Сначала я создал файл Google Sheets и в первом столбце добавил примеры тем, а во втором - примеры результатов.

Откройте ChatGPT, загрузите файл Google Sheets и попросите ИИ преобразовать его в JSONL-файл, используя приведенный ниже промпт:

Нажмите Enter, и ChatGPT сможет преобразовать данные в нечто подобное:

Отлично, теперь мы готовы отправить этот файл в модель тонкой настройки.

Вернитесь на панель инструментов OpenAI playground и перейдите на вкладку « Fine-tuning». Нажмите на кнопку «+Create», чтобы начать создание задания тонкой настройки.

Выберите модель в списке базовых моделей.

Также вы можете произвести тонкую настройку модели, что удобно, если вы получили дополнительные данные и не хотите повторять предыдущие шаги обучения.

Задайте ей имя, установите другие настройки по умолчанию и нажмите кнопку Create (Создать).

В зависимости от размера вашего JSON-файла обучение может занять как несколько минут, так и несколько часов. Вы можете следить за прогрессом в правой части панели управления.

По окончании обучения вы также получите такое письмо.

Отлично. Теперь нам нужно протестировать новую модель, чтобы убедиться, что она работает так, как ожидалось.

Последний шаг - тестирование доработанной модели. Нажмите на кнопку Playground в правом нижнем углу, и вы будете перенаправлены на экран с двумя экземплярами чата.

Слева - экземпляр чата с базовой моделью GPT, например GPT-3.5-turbo, а справа - экземпляр чата с вашей точно настроенной моделью. Убедитесь, что в левой части выбрана та же модель, которую вы использовали при тонкой настройке.

Просто отправьте запрос, и вы заметите, что ответы на него отличаются. Результат справа должен больше соответствовать тренировочным данным, которые вы использовали для обучения модели.

Обратите внимание, что вы можете использовать эту настроенную модель для работы с вашими веб-приложениями, обращаясь к ним через API. Я не буду объяснять, как это сделать в этой статье, но если вам интересна эта тема, пожалуйста, напишите об этом в комментариях.

Несмотря на то, что эта тема может показаться немного технической, она стоит того, чтобы в нее вникнуть. Знания о таких методах ИИ, как тонкая настройка, могут быть очень полезны, даже если вы не являетесь экспертом.

Только подумайте - вы можете предложить свои навыки другим компаниям и заработать на этом серьезные деньги. Представьте, что вы обучаете модель на основе их данных и создаете индивидуальный чат-бот, который все знает об их бизнесе.

Кроме того, когда вы освоите тонкую настройку, вы сможете использовать эти навыки для создания собственных веб-приложений. Итак, удачи вам на пути к изучению генеративного ИИ.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#chatgpt #chatgpt4 #chatgptнарусском

Источник статьи на английском - здесь.