from litellm import completion
resp = completion(
model="gpt-4o", # o "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Ejecuta el código de inicio rápido anterior.
- Objetivo: hacer tu primera solicitud compatible con OpenAI vía LiteLLM.
- Para desarrolladores prácticos
- Lee el tutorial de DataCamp y extiende ejemplos con streaming y reintentos.
- Añade dos proveedores y prueba los fallbacks.
- Para líderes de equipo/producción
- Estudia la guía oficial de Inicio Rápido.
- Levanta el proxy, añade observabilidad y seguimiento de costos.
- Aplica límites de tasa y políticas de redacción de PII.
—
## Análisis Profundo: Patrones que Usarás Semanalmente
### Compatibilidad OpenAI como Contrato de Interfaz
- Trata la API de OpenAI como el contrato de tu app. Todas las solicitudes van a los endpoints `/v1/*` de tu proxy LiteLLM.
- Cambia modelos (ej., `gpt-4o` → `claude-3-5`) por configuración, no por código.
### Enrutamiento de Modelos por Caso de Uso
- Ruta sensible a latencia: usa modelos rápidos y económicos.
- Ruta de razonamiento: usa modelos de mayor calidad para generación aumentada con recuperación (RAG) o uso de herramientas.
- Ruta privada: enruta a local/Ollama para segmentos con PII.
### Barreras de Costo
- Etiqueta requests con `user_id`/`team`.
- Establece presupuestos por equipo/modelo.
- Registra uso de tokens en un repositorio central y alerta sobre anomalías.
### Resiliencia
- Habilita reintentos con jitter.
- Configura timeouts por proveedor y cortacircuitos ante fallos recurrentes.
- Define prioridades de proveedores y fallbacks explícitos.
### Observabilidad
- Captura metadatos de solicitud/respuesta, histogramas de latencia y versión/modelo.
- Redacta secretos/PII en los logs.
- Correlaciona trazas entre servicios para encontrar llamadas lentas rápidamente.
—
## Ejemplo de Configuración de Proxy LiteLLM (Inicio para Producción)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Un artículo práctico y basado en ejemplos.
- La documentación oficial de LiteLLM para comenzar y mejores prácticas del proxy.
—
## Plan de Acción: Tus Próximos 7 Días
Día 1–2: Haz el curso intensivo y el inicio rápido; realiza tu primera solicitud proxied.
Día 3–4: Añade un segundo proveedor y streaming; configura timeouts y reintentos.
Día 5: Levanta el proxy con configuración; enruta según caso de uso (latencia vs razonamiento).
Día 6: Añade registros, control de costos y redacción.
Día 7: Prueba de carga; simula fallos de proveedores; verifica fallbacks.
—
## Conclusiones Clave
- LiteLLM es el camino más rápido hacia apps multi-proveedor LLM sin dependencia de un solo vendedor.
- Comienza con una interfaz compatible con OpenAI y luego sube al proxy para gobernanza.
- Invierte temprano en enrutamiento, resiliencia y observabilidad — los necesitarás en la segunda semana, no en el sexto mes.
- Los tutoriales aquí cubren el 80% de lo que usarás a diario; el resto es la salsa secreta de tu producto.
### Preguntas Frecuentes
Q1: ¿Cuál es el mejor tutorial de LiteLLM para principiantes?
Comienza con el Curso Intensivo de LiteLLM en YouTube para una guía visual rápida, luego lee la guía oficial de Inicio Rápido para el proxy. El tutorial de DataCamp ofrece ejemplos prácticos para copiar.
Q2: ¿Cómo uso LiteLLM como un proxy compatible con OpenAI?
Ejecuta el proxy LiteLLM y apunta la URL base de tu SDK a los endpoints `/v1` del proxy. Mantén los datos de los proveedores en la configuración de LiteLLM para que tu código de aplicación sea portátil.
Q3: ¿Puede LiteLLM enrutar automáticamente entre OpenAI, Anthropic y Gemini?
Sí. Define los modelos y las estrategias de enrutamiento en la configuración de LiteLLM para cambiar entre proveedores según latencia, costo o calidad. También puedes configurar fallbacks para mayor fiabilidad.
Q4: ¿Cómo habilito streaming y llamadas a herramientas/funciones con LiteLLM?
Usa la API compatible con OpenAI a través de LiteLLM y activa `stream=True` (o SSE en tu SDK). Para llamadas a funciones, sigue el formato de OpenAI; LiteLLM las reenvía al proveedor correspondiente.
Q5: ¿Cuál es la forma más rápida de controlar costos con LiteLLM?
Centraliza las solicitudes vía proxy, habilita el registro de uso y aplica límites de tasa y presupuestos por clave. Enruta distintas cargas de trabajo a modelos optimizados en costo y fija versiones para evitar sorpresas.