Справочник провайдеров (AI Providers)
Gifty поддерживает работу с множеством провайдеров ИИ "из коробки". Вы можете выбирать оптимальное сочетание цены, качества и скорости для каждой задачи.
1. Провайдеры текста (LLM / Reasoning)
Эти провайдеры используются для генерации идей подарков, классификации и общения с пользователем. Настройка производится через LLM_PROVIDER в .env.
| Провайдер | Ключ в конфиге | Основная ценность | Рекомендуемые модели |
|---|---|---|---|
| Anthropic | anthropic |
Высочайшее качество ответов и следование инструкциям. | claude-3-5-sonnet-20240620, claude-3-haiku-20240307 |
| Google Gemini | gemini |
Огромные контексты и низкая цена. | gemini-1.5-pro, gemini-1.5-flash |
| Groq Cloud | groq |
Невероятная скорость генерации (до 500 токенов/сек). | llama-3.3-70b-versatile, mixtral-8x7b-32768 |
| Together AI | together |
Доступ к лучшим Open Source моделям с низкой задержкой. | meta-llama/Llama-3.3-70B-Instruct-Turbo |
| OpenRouter | openrouter |
Агрегатор всех моделей в одном API. Идеально для тестирования. | Любая доступная модель |
2. Провайдеры эмбеддингов (Embeddings)
Используются для векторного поиска товаров. Настройка через embedding_provider в configs/logic.yaml.
Intelligence API (intelligence_api)
Стационарный API Gifty.
- Когда использовать: По умолчанию для всех стандартных задач.
- Модели: bge-m3.
RunPod Serverless (runpod)
Позволяет запускать собственные GPU-воркеры.
- Когда использовать: Высокая нагрузка, специфические модели, необходимость полного контроля над данными.
- Настройка: Требует RUNPOD_API_KEY и RUNPOD_ENDPOINT_ID.
Together AI (together)
Облачные эмбеддинги высокой плотности.
- Когда использовать: Когда не хочется настраивать серверы, но нужны качественные альтернативные модели.
- Модели: togethercomputer/m2-bert-80M-8k-retrieval, BAAI/bge-large-en-v1.5.
3. Таблица переменных окружения
| Провайдер | Переменная ключа | Метод авторизации |
|---|---|---|
| Anthropic | ANTHROPIC_API_KEY |
Bearer (x-api-key) |
| Gemini | GEMINI_API_KEY |
x-goog-api-key |
| Groq | GROQ_API_KEY |
Bearer |
| Together | TOGETHER_API_KEY |
Bearer |
| OpenRouter | OPENROUTER_API_KEY |
Bearer |
| RunPod | RUNPOD_API_KEY |
API Key Header |
Как добавить нового провайдера?
Если вам нужно добавить нового провайдера (например, OpenAI или Mistral):
1. Создайте клиента в app/services/llm/<provider>_client.py (наследуйтесь от LLMClient).
2. Добавьте API ключ в app/config.py.
3. Зарегистрируйте класс в app/services/llm/factory.py.
4. Обновите этот справочник! 🚀