from litellm import completion
resp = completion(
model="gpt-4o", # ili "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Pokrenite gornji quickstart kod.
- Cilj: napravite svoj prvi OpenAI-kompatibilan zahtjev putem LiteLLM-a.
- Za praktične graditelje
- Pročitajte DataCamp tutorijal i proširite primjere sa streamingom i ponovnim pokušajima.
- Dodajte dva dobavljača i testirajte rezervne planove.
- Za vlasnike timova/proizvoda
- Proučite službeni vodič Getting Started.
- Postavite proxy, dodajte nadzor i praćenje troškova.
- Provedite ograničenja brzine i anonimizaciju PII podataka.
—
## Detaljna analiza: Obrasci koje ćete koristiti tjedno
### OpenAI kompatibilnost kao ugovor sučelja
- Smatrajte OpenAI API oblik vašim ugovorom aplikacije. Svi zahtjevi idu na LiteLLM proxy `/v1/*` endpoint.
- Mijenjajte modele (npr. `gpt-4o` → `claude-3-5`) konfiguracijom, a ne kodom.
### Usmjeravanje modela prema slučaju upotrebe
- Put sa zahtjevima niske latencije: usmjerite na brže, jeftinije modele.
- Put rezoniranja: usmjerite na modele više kvalitete za generiranje podržano povlačenjem (RAG) ili upotrebu alata.
- Put privatnosti: usmjerite na lokalne/Ollama modele za PII dijelove.
### Zaštitne mreže za troškove
- Označite zahtjeve s `user_id`/`team`.
- Postavite proračune po timu/modelu.
- Pratite korištenje tokena u centralnoj bazi i šaljite upozorenja na anomalije.
### Otpornost
- Omogućite ponovne pokušaje s jitterom.
- Konfigurirajte timeoutove po dobavljaču i prekidače struje pri ponovljenim neuspjesima.
- Definirajte prioritete dobavljača i eksplicitne rezervne planove.
### Nadzor
- Snimajte metapodatke zahtjeva/odgovora, histograme latencija i verzija modela.
- Anonimizirajte tajne/lične podatke u dnevnicima.
- Korelirajte tragove između usluga kako biste brzo pronašli uska grla.
—
## Primjer LiteLLM Proxy konfiguracije (produkcijski starter)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Praktičan, primjerima vođen članak.
- Službena LiteLLM dokumentacija za početak rada i najbolje prakse proxyja.
—
## Plan djelovanja: Vaših sljedećih 7 dana
Dan 1–2: Prođite crash course i quickstart; napravite prvi zahtjev preko proxyja.
Dan 3–4: Dodajte drugog dobavljača i streaming; postavite timeoutove, ponovne pokušaje.
Dan 5: Pokrenite proxy s konfiguracijom; usmjeravajte prema slučaju upotrebe (latencija vs rezoniranje).
Dan 6: Dodajte zapisivanje, praćenje troškova i anonimizaciju.
Dan 7: Test opterećenja; simulirajte padove dobavljača; provjerite rezervne planove.
—
## Ključne lekcije
- LiteLLM je najbrži put do aplikacija s više provider LLM-ova bez ovisnosti o jednom dobavljaču.
- Počnite s OpenAI-kompatibilnim sučeljem, zatim prijeđite na proxy radi upravljanja.
- Rano uložite u usmjeravanje, otpornost i nadzor – trebat će vam u drugom tjednu, ne u šestom mjesecu.
- Tutorijali gore pokrivaju 80% svakodnevne upotrebe; ostatak je vaša tajna receptura.
### Česta pitanja
Q1: Koji je najbolji LiteLLM tutorijal za početnike?
Počnite s LiteLLM Crash Courseom na YouTubeu za brzi vizualni pregled, zatim pročitajte službeni Getting Started vodič za proxy. DataCamp tutorijal daje praktične primjere koje možete odmah koristiti.
Q2: Kako koristiti LiteLLM kao OpenAI-kompatibilan proxy?
Pokrenite LiteLLM proxy i usmjerite osnovni URL vašeg SDK-a na proxyjeve `/v1` endpointove. Detalje o dobavljačima držite u LiteLLM konfiguraciji kako bi vaš aplikacijski kod ostao prenosiv.
Q3: Može li LiteLLM automatski usmjeravati između OpenAI, Anthropic i Gemini?
Da. Definirajte modele i strategije usmjeravanja u LiteLLM konfiguraciji kako biste mogli mijenjati dobavljače prema latenciji, troškovima ili kvaliteti. Također možete postaviti rezervne planove radi pouzdanosti.
Q4: Kako omogućiti streaming i pozivanje alata/funkcija s LiteLLM?
Koristite OpenAI-kompatibilni API preko LiteLLM i aktivirajte `stream=True` (ili SSE u vašem SDK-u). Za pozivanje alata pratite OpenAI format poziva funkcija – LiteLLM ga prosljeđuje ciljnom dobavljaču.
Q5: Koji je najbrži način za kontrolu troškova s LiteLLM?
Centralizirajte zahtjeve kroz proxy, omogućite zapisivanje korištenja i provedite ograničenja brzina i proračune po ključevima. Usmjeravajte različite radne zadatke na modele optimizirane za troškove i fiksirajte verzije da izbjegnete iznenađenja.