Бесплатные AI-агенты для фреймворка CrewAI

На моем опыте, одна итерация работы агентской команды может съесть порядка $0.18 с баланса на OpenAI. При настройке команды агентов придется проводить много итераций, поэтому хотелось бы экономить при реализации этого процесса.

Можно осуществлять работу AI-агентов бесплатно, но с лимитами. Для этого понадобится API сервиса Groq. Через него мы будем использовать бесплатную LLM, например, llama-3.

Groq – это стартап, который создает специальное оборудование для скоростного взаимодействия с языковыми моделями. На данный момент они предоставляют бесплатный облачный сервис.

Я пользуюсь фреймворком CrewAI для работы агентских команд. Этот фреймворк по дефолту использует GPT, поэтому нужен кусок кода для переключения на Groq.

Держите:

from langchain_groq import ChatGroq import os os.environ["OPENAI_API_KEY"] = "NA" llm = ChatGroq( api_key="ВСТАВИТЬ_СВОЙ_API_КЛЮЧ_GROQ", model="llama3-8b-8192" )

и для каждого агента указать:

llm=llm