from litellm import completion
resp = completion(
model="gpt-4o", # sau "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Rulează codul quickstart de mai sus.
- Obiectiv: fă prima ta solicitare compatibilă OpenAI prin LiteLLM.
- Pentru dezvoltatori practici
- Citește tutorialul DataCamp și extinde exemplele cu streaming și retrieri.
- Adaugă doi furnizori și testează fallback-urile.
- Pentru responsabilul echipei/producției
- Studiu aprofundat al ghidului oficial Getting Started.
- Configurează proxy-ul, adaugă observabilitate și urmărirea costurilor.
- Aplică limite de rată și politici de redacție PII.
—
## Detaliu aprofundat: Modelele pe care le vei folosi săptămânal
### Compatibilitatea OpenAI ca contract de interfață
- Tratează forma API-ului OpenAI ca un contract pentru aplicația ta. Toate cererile se trimit la endpoint-urile `/v1/*` ale proxy-ului LiteLLM.
- Schimbă modelele (ex.: `gpt-4o` → `claude-3-5`) prin configurare, nu cod.
### Rutarea modelelor după caz de utilizare
- Pentru latență redusă: rutează către modele rapide și mai ieftine.
- Pentru raționamente complexe: rutează către modele de calitate superioară pentru generare augmentată cu căutare (RAG) sau folosire de unelte.
- Pentru confidențialitate: rutează local/Ollama pentru segmente PII.
### Garduri de cost
- Marchează cererile cu `user_id`/`team`.
- Stabilește bugete pe echipă/model.
- Jurnalizează consumul de tokeni într-un depozit central și alertează la anomalii.
### Reziliență
- Activează retrieri cu jitter.
- Configurează timeout-uri per furnizor și circuit breakers la eșecuri repetate.
- Definește priorități de furnizor și fallback-uri explicite.
### Observabilitate
- Capturează metadatele cererilor/răspunsurilor, histograme de latență și model/version.
- Redactează secrete/PII din jurnale.
- Corelează urmele între servicii pentru a identifica rapid apelurile lente.
—
## Exemplu configurație LiteLLM Proxy (starter pregătit pentru producție)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Un articol practic, bazat pe exemple.
- Documentația oficială LiteLLM pentru început și bune practici proxy.
—
## Plan de acțiune: următoarele tale 7 zile
Ziua 1–2: Parcurge crash course-ul și quickstart-ul; fă prima solicitare prin proxy.
Ziua 3–4: Adaugă un al doilea furnizor și streaming; configurează timeout-uri, retrieri.
Ziua 5: Pune în funcțiune proxy-ul cu config; rutează după cazuri de utilizare (latență vs raționament).
Ziua 6: Adaugă jurnalizare, urmărirea costurilor și redacția datelor sensibile.
Ziua 7: Testează încărcarea; simulează eșecuri ale furnizorilor; verifică fallback-urile.
—
## Concluzii cheie
- LiteLLM este cel mai rapid drum către aplicații multi-furnizor LLM fără blocaj la un singur vendor.
- Începe cu o interfață compatibilă OpenAI, apoi avansează la proxy pentru guvernanță.
- Investește devreme în rutare, reziliență și observabilitate — vei avea nevoie de ele în săptămâna a doua, nu după șase luni.
- Tutorialele de mai sus acoperă 80% din ce vei folosi zilnic; restul este secretul produsului tău.
### Întrebări frecvente
Î1: Care este cel mai bun tutorial LiteLLM pentru începători?
Începe cu LiteLLM Crash Course pe YouTube pentru o prezentare vizuală rapidă, apoi citește ghidul oficial Getting Started pentru proxy. Tutorialul DataCamp oferă exemple practice pe care le poți copia.
Î2: Cum folosesc LiteLLM ca proxy compatibil OpenAI?
Rulează proxy-ul LiteLLM și setează URL-ul de bază al SDK-ului la endpoint-urile `/v1` ale proxy-ului. Păstrează detaliile furnizorilor în configurația LiteLLM pentru ca codul aplicației să rămână portabil.
Î3: Poate LiteLLM să ruteze automat între OpenAI, Anthropic și Gemini?
Da. Definiți modelele și strategiile de rutare în configurația LiteLLM pentru a comuta între furnizori în funcție de latență, cost sau calitate. Poți seta și fallback-uri pentru fiabilitate.
Î4: Cum activez streaming-ul și apelarea de funcții/unelte cu LiteLLM?
Folosește API-ul compatibil OpenAI prin LiteLLM și activează `stream=True` (sau SSE în SDK). Pentru apelarea funcțiilor, urmează formatul OpenAI function-calling — LiteLLM îl transmite către furnizorul țintă.
Î5: Care este cel mai rapid mod de a controla costurile cu LiteLLM?
Centralizează cererile prin proxy, activează jurnalizarea utilizării și aplică limite pe cheie și bugete. Rutează sarcini diferite către modele optimizate cost și fixează versiuni pentru a evita surprize.