from litellm import completion
resp = completion(
model="gpt-4o", # или "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Запустите пример быстрого старта выше.
- Цель: сделать первый запрос через LiteLLM, совместимый с OpenAI.
- Практический разработчик
- Изучите руководство DataCamp и расширяйте примеры стримингом и повторными попытками.
- Добавьте двух провайдеров и проверьте переключения.
- Руководитель команды/продакшена
- Изучите официальное руководство Getting Started.
- Запустите прокси, добавьте наблюдаемость и учёт затрат.
- Внедрите лимиты скорости и политику редактирования PII.
—
## Глубокое погружение: паттерны, которые вы будете использовать еженедельно
### Совместимость с OpenAI как контракт интерфейса
- Рассматривайте API OpenAI как контракт вашего приложения. Все запросы идут на эндпоинты `/v1/*` вашего прокси LiteLLM.
- Меняйте модели (например, `gpt-4o` на `claude-3-5`) через конфигурацию, а не код.
### Маршрутизация моделей по типам задач
- Путь с низкой задержкой: направлять на быстрые и недорогие модели.
- Путь логического рассуждения: использовать качественные модели для генерации с поддержкой поиска (RAG) или инструментов.
- Путь конфиденциальности: направлять на локальные модели/Ollama для участков с PII.
### Финансовые ограничения
- Маркировать запросы тегами `user_id`/`team`.
- Устанавливать бюджеты по командам и моделям.
- Логировать использование токенов в центральном хранилище и оповещать о аномалиях.
### Устойчивость
- Включать повторные попытки с вариациями задержек (jitter).
- Настраивать таймауты для провайдеров и автоматические отключатели при частых ошибках.
- Определять приоритеты провайдеров и явные аварийные переключатели.
### Наблюдаемость
- Собирать метаданные запросов/ответов, гистограммы задержек, модель и версию.
- Редактировать секреты и PII в логах.
- Коррелировать трассировки между сервисами для быстрого выявления медленных вызовов.
—
## Пример конфигурации LiteLLM Proxy (готовая к продакшену стартовая конфигурация)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Практическая, основанная на примерах статья.
- Официальная документация LiteLLM по началу работы и лучшим практикам прокси.
—
## План действий: ваши следующие 7 дней
Дни 1–2: Пройдите курс для начинающих и быстрый старт; сделайте первый запрос через прокси.
Дни 3–4: Добавьте второго провайдера и стриминг; настройте таймауты и повторные попытки.
День 5: Запустите прокси с конфигурацией; выполните маршрутизацию по типам задач (задержка против рассуждений).
День 6: Добавьте логирование, учёт затрат и редактирование данных.
День 7: Проведите нагрузочное тестирование; смоделируйте сбои провайдеров; проверьте переключения.
—
## Основные выводы
- LiteLLM — самый быстрый путь к приложениям с несколькими провайдерами LLM без привязки к одному поставщику.
- Начните с интерфейса, совместимого с OpenAI, затем переходите к прокси для управления.
- Инвестируйте с самого начала в маршрутизацию, устойчивость и наблюдаемость — они понадобятся уже на второй неделе, а не через полгода.
- Представленные уроки охватывают 80% того, что вы будете использовать ежедневно; остальное — секрет вашего продукта.
### Часто задаваемые вопросы
В1: Какое лучшее руководство по LiteLLM для начинающих?
Начните с LiteLLM Crash Course на YouTube для быстрого визуального обзора, затем прочитайте официальное руководство Getting Started по прокси. Руководство DataCamp даст практические примеры для копирования.
В2: Как использовать LiteLLM как прокси, совместимый с OpenAI?
Запустите прокси LiteLLM и укажите базовый URL SDK вашего приложения на эндпоинты `/v1` прокси. Держите детали провайдеров в конфигурации LiteLLM, чтобы код приложения оставался переносимым.
В3: Может ли LiteLLM автоматически маршрутизировать запросы между OpenAI, Anthropic и Gemini?
Да. Определяйте модели и стратегии маршрутизации в конфигурации LiteLLM, чтобы переключаться между провайдерами по задержке, стоимости или качеству. Также можно задать аварийные переключатели для надежности.
В4: Как включить стриминг и вызов инструментов/функций с помощью LiteLLM?
Используйте API, совместимый с OpenAI, через LiteLLM и включите `stream=True` (или SSE в SDK). Для вызова функций следуйте формату OpenAI function-calling — LiteLLM переадресует вызов нужному провайдеру.
В5: Как быстрее всего контролировать затраты с LiteLLM?
Централизуйте запросы через прокси, включите логирование использования и применяйте лимиты скорости и бюджеты для ключей. Маршрутируйте разные нагрузки на оптимизированные по стоимости модели и фиксируйте версии, чтобы избежать неожиданностей.
}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}   `}