OpenAI на стероидах: 3 способа и 17 млн токенов ChatGPT за 15 минут

Несколько проверенных на практике способов, как можно ускорить работу с OpenAI в задачах, которые отличаются от стандартного использования интерфейса спросил -> получил ответ -> скопировал ответ -> унес ответ, куда нужно.

Важные вводные

Способы, что я опишу разной трудоемкости, с плюсами и минусами. Все способы опробовал на себе, описываю исключительно свой опыт.

Подойдет начинающим. В визуальном редакторе Make / Nodul собираем сценарий, который построчно обрабатывает исходный Spreadsheet и записывает результат в соседнюю ячейку.

Плюсы: это самое простое и элементарное решение, не требует специфических технических навыков, быстро разворачивается. При желании можно добавить логику без углубления в разработку.

Минусы: нужно использовать платформу для No-Code. Это платно.

Скорость: около 1 запроса в секунду при построчной обработке.

Не сильно отличается от первого способа, однако не требует No-Code платформы, достаточно гибок и кастомизируем.

С помощью формулы поисходит обращение к серверам Openai. Формула работает на коде, который вшит в книгу.

Единственное, нужно найти работающий скрипт, который взаимодействует с API OpenAI. Их много сейчас. Как правило они распространяются бесплатно.

Плюсы: при наличии готового скрипта начать использовать элементарно. Скопировал рабочую книгу, вставил свой токен, данные промпт и готово. Протянул формулу и получил результат.

Минусы: нужно очень аккуратно работать с книгой. К примеру, после того, как получили результат, нужно обязательно сохранять данные как текст. Иначе после повторного открытия Spreadsheet запустится обновление данных сначала. Это доп. расходы.

Трудно работать с большими объемами данных. Слишком сильно растянул формулу — полетели сотни запросов, которые упрутся ограничениями на RPM TPM.

Скорость: около 5 запросов в секунду при построчной обработке документа.

Здесь мы напрямую взаимодействуем в API OpenAI с помощью любого языка программирования — скорость и результат зависит от наших навыков. Взаимодействие с серверами OpenAI возможно как в однопоточном, так и в многопоточном режиме. Я начинал с работы в один поток, дошел до многопоточной реализации со следующими опциями:

Обработчик использует максимально возможное количество потоков, чтобы уложиться в ограничения TPM и RPM. Чем менее объемные запросы, тем больше их влазит в лимиты.

Мой результат по свежей задаче извлечения структурированной информации из массива данных:

8852 запроса за 15 минут, что соответствует примерно 10 запросам в секунду.

Плюсы: самый быстрый из известных мне способов работы с API OpenAI в пакетном режиме.

Это решение рекомендовано OpenAI и размещено в cookbook. Я лишь доработал его для себя (не работали функции и еще несколько важных мне вещей).

Минусы: необходимо готовить входной jsonl-файл со всеми данными, также необходим обработчик выходного jsonl-файла с результатами (я сделал отдельные скрипты, теперь это занимает 2 минуты).

Если у вас есть интересные задачи по работе с данными (парсинг, разметка) — пишите в лс, а также делитесь в комментариях своим опытом использования платформы OpenAI в повседневной рутине, бизнесе.