Как мы ускоряли скорость генерации нашего gpt3.5-4

Привет! На связи простой работяга-программист любящий эксперименты и новые технологии

пожалуйста: прочтите прошлую статью если хочется получить бэкграунд в этой статье.

Расскажу о проблеме: gpt сам по себе иногда очень долго генерирует ответ(особенно если это api) мне иногда было вообще не понятно, генерирует ли он что-то, поэтому я взялся за идею ускорить процесс генерации gpt до 1-10сек и у меня это вышло(крайне нестандартным способом)

изначально я полез в изучении Pytorch и пред обученных моделей для до обучения da-vinci модели, потратил на это недели 2, понял, что на это у меня уйдет вся жизнь =) поэтому сделал по простому принципу вытесняющей конкуренции, я делаю не 1 запрос к gpt а сразу 10, и вылавливаю тот, который пришел самым быстрым, это помогло, но еще есть один секрет, который я говорить не буду ;)

что в чистой сумме: теперь гпт генерить максимум(15 сек)если вопрос очень сложный

на вопрос легкие он отвечает за секунды

а еще скоро я буду пыхтеть на картинками, чтобы гпт их читал, но пока что только очень быстрый гпт.

тут тыкну ссылочку на него, если что он без рекламы) пользуйтесь! =)