from litellm import completion
resp = completion(
model="gpt-4o", # or "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Execute o código de início rápido acima.
- Objetivo: Faça sua primeira solicitação compatível com OpenAI via LiteLLM.
- Construtor prático
- Leia o tutorial do DataCamp e estenda os exemplos com *streaming* e tentativas.
- Adicione dois provedores e teste os *fallbacks*.
- Proprietário da equipe/produção
- Estude o guia oficial de Primeiros Passos.
- Ative o proxy, adicione observabilidade e rastreamento de custos.
- Aplique limites de taxa e políticas de redação de PII.
—
## Mergulho Profundo: Padrões Que Você Usará Semanalmente
### Compatibilidade com OpenAI como um Contrato de Interface
- Trate a forma da API do OpenAI como seu contrato de aplicativo. Todas as solicitações vão para os *endpoints* `/v1/*` do seu proxy LiteLLM.
- Troque modelos (por exemplo, `gpt-4o` → `claude-3-5`) por configuração, não por código.
### Roteamento de Modelo por Caso de Uso
- Caminho sensível à latência: roteie para modelos rápidos e mais baratos.
- Caminho de raciocínio: roteie para modelos de maior qualidade para geração aumentada de recuperação (RAG) ou uso de ferramentas.
- Caminho de privacidade: roteie para local/Ollama para segmentos PII.
### *Guardrails* de Custo
- Marque as solicitações com `user_id`/`team`.
- Defina orçamentos por equipe/modelo.
- Registre o uso de *tokens* em um armazenamento central e alerte sobre anomalias.
### Resiliência
- Habilite tentativas com *jitter*.
- Configure *timeouts* por provedor e disjuntores em falhas repetidas.
- Defina prioridades de provedor e *fallbacks* explícitos.
### Observabilidade
- Capture metadados de solicitação/resposta, histogramas de latência e modelo/versão.
- Redija segredos/PII em *logs*.
- Correlacione rastreamentos entre serviços para encontrar chamadas lentas rapidamente.
—
## Exemplo de Configuração de Proxy LiteLLM (Início Rápido Pronto para Produção)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Um artigo prático e orientado a exemplos.
- A documentação oficial do LiteLLM para começar e as melhores práticas de proxy.
—
## Plano de Ação: Seus Próximos 7 Dias
Dia 1–2: Faça o curso intensivo e o início rápido; faça sua primeira solicitação via proxy.
Dia 3–4: Adicione um segundo provedor e *streaming*; defina *timeouts*, tentativas.
Dia 5: Ative o proxy com configuração; roteie por caso de uso (latência vs raciocínio).
Dia 6: Adicione *logging*, rastreamento de custos e redação.
Dia 7: Teste de carga; simule falhas de provedor; verifique os *fallbacks*.
—
## Principais Conclusões
- LiteLLM é o caminho mais rápido para aplicativos LLM *multi-provider* sem *vendor lock-in*.
- Comece com uma interface compatível com OpenAI, então suba de nível para o proxy para governança.
- Invista cedo em roteamento, resiliência e observabilidade — você precisará deles na segunda semana, não no sexto mês.
- Os tutoriais acima cobrem 80% do que você usará diariamente; o resto é o segredo do seu produto.
### FAQ
Q1:Qual é o melhor tutorial de LiteLLM para iniciantes?
Comece com o LiteLLM Crash Course no YouTube para uma rápida explicação visual, então leia o guia oficial de Primeiros Passos para o proxy. O tutorial do DataCamp fornece exemplos práticos que você pode copiar.
Q2:Como uso o LiteLLM como um proxy compatível com OpenAI?
Execute o proxy LiteLLM e aponte o URL base do seu SDK para os *endpoints* `/v1` do proxy. Mantenha os detalhes do provedor na configuração do LiteLLM para que o código do seu aplicativo permaneça portátil.
Q3:O LiteLLM pode rotear entre OpenAI, Anthropic e Gemini automaticamente?
Sim. Defina modelos e estratégias de roteamento na configuração do LiteLLM para alternar entre provedores por latência, custo ou qualidade. Você também pode definir *fallbacks* para confiabilidade.
Q4:Como habilito *streaming* e chamada de ferramenta/função com LiteLLM?
Use a API compatível com OpenAI via LiteLLM e habilite `stream=True` (ou SSE no seu SDK). Para chamada de ferramenta, siga o formato de chamada de função do OpenAI — LiteLLM encaminha para o provedor de destino.
Q5:Qual é a maneira mais rápida de controlar os custos com LiteLLM?
Centralize as solicitações através do proxy, habilite o *logging* de uso e aplique limites de taxa e orçamentos por chave. Roteie diferentes cargas de trabalho para modelos otimizados para custo e fixe as versões para evitar surpresas.