from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## Расширенная маршрутизация: Задержка, стоимость или надежность
Вы можете реализовать стратегии маршрутизации, такие как:
- Взвешенная круговая маршрутизация для A/B моделей
- Сначала с наименьшей задержкой по региону
- Маршрутизация с учетом стоимости для некритичных конечных точек
- Fallback-on-error/retry между провайдерами
С политикой маршрутизатора вы можете сказать: «Предпочитайте дешевые, переходите на премиум для сложных запросов». Это обеспечивает высокую доступность и предсказуемые бюджеты.
---
## Guardrails, модерация и безопасность
Добавьте промежуточное программное обеспечение предварительной и постобработки для удаления PII, применения фильтров безопасности или модерации выходных данных перед возвратом клиентам. Объедините собственную модерацию провайдера (например, OpenAI, Google) с вашими собственными проверками политики в прокси. Пример: требуйте проверки схемы JSON и повторно запрашивайте при недействительности.
---
## Наблюдаемость и ведение журналов
- Включите ведение журнала запросов/ответов с редактированием.
- Экспортируйте метрики в Prometheus/Grafana или ваш APM.
- Отслеживайте задержку, токены и стоимость по конечной точке и пользователю.
Это превращает «модельную рулетку» в управляемый сервис с SLO и бюджетами.
---
## Реальные сценарии использования
1) Устойчивость к множественным поставщикам
- Primary: fast/cheap model; Fallback: high-accuracy model on 429/5xx.
- Преимущества: лучшее время безотказной работы, контроль затрат и стабильное качество.
2) Обновления модели feature flag
- Используйте веса маршрутизатора для canary новой модели для 5% трафика; отслеживайте метрики; увеличивайте, когда стабильно.
3) Уровни продукта
- Бесплатный уровень направляется на небольшие модели; Pro tier to premium models.
4) Реестры подсказок и шаблоны
- Централизуйте подсказки в прокси, чтобы службы наследовали улучшения без повторного развертывания.
5) Командный биллинг и бюджеты
- Отслеживайте расходы по ключу API; применяйте мягкие и жесткие лимиты для каждой команды или продукта.
---
## Контрольный список безопасности и соответствия требованиям
- Храните ключи провайдера в своем менеджере секретов; ссылайтесь через переменные окружения в config.
- Включите редактирование запросов и очистку PII в журналах.
- Используйте ключи API для каждой службы для прокси; регулярно меняйте их.
- Установите общеорганизационные ограничения скорости и квоты.
- Добавьте списки разрешений/запретов для моделей и конечных точек.
---
## Устранение неполадок: Быстрые исправления
- “Unauthorized” через прокси: Проверьте `auth.api_keys` и что ваш клиент использует `base_url` + правильный ключ.
- Модель не найдена: Убедитесь, что `model_list` содержит понятное имя, которое вы вызываете.
- Тайм-ауты: Увеличьте `timeout` или перенаправьте в регион провайдера с меньшей задержкой.
- Странные выходные данные: Включите схему JSON + проверку; добавьте повторные попытки и запасные варианты.
- Скачки стоимости: Включите кэширование; направляйте массовый трафик на более дешевые модели; установите квоты для каждого ключа.
Для более глубокого погружения и последних функций официальная документация часто обновляется и стоит добавить в закладки. Учебные пособия, такие как руководство DataCamp, отлично подходят для практических шаблонов, а видео вводного экспресс-курса может помочь вам увидеть концепции в действии.
---
## Объедините все вместе: Скелет эталонного приложения (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1: Что такое LiteLLM и почему его следует использовать вместо прямых SDK провайдера?
LiteLLM — это шлюз, совместимый с OpenAI, для 100+ LLM, предоставляющий вам один API и одну ментальную модель. Он снижает зависимость от поставщика, упрощает маршрутизацию и добавляет операционные функции, такие как кэширование, повторные попытки и отслеживание затрат.
Q2: Как использовать LiteLLM с OpenAI SDK?
Направьте базовый URL-адрес SDK на прокси-сервер LiteLLM и используйте свой ключ API прокси-сервера. Ваш код может оставаться прежним, пока прокси-сервер за кулисами меняет поставщиков или модели.
Q3: Может ли LiteLLM передавать ответы потоком и возвращать JSON?
Да. Используйте `stream=True`, чтобы получать потоки токенов, и `response_format` со схемой JSON, чтобы обеспечить структурированные выходные данные у разных поставщиков.
Q4: Как контролировать затраты между различными поставщиками LLM?
Включите ведение журнала использования и оценку стоимости, добавьте кэширование, установите ограничения скорости и направляйте массовый трафик на более дешевые модели через прокси. Отслеживайте с помощью панелей мониторинга для бюджетов и SLO.
Q5: Подходит ли LiteLLM для производственных команд?
Да. Прокси-сервер предоставляет аутентификацию, ограничения скорости, маршрутизацию, наблюдаемость и промежуточное программное обеспечение безопасности. Он разработан как LLM-шлюз, который централизует управление, сохраняя при этом совместимость вашего приложения с OpenAI.
