from litellm import completion
resp = completion(
model="gpt-4o", # ali "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Zaženite zgornjo kodo za hiter začetek.
- Cilj: Izvedite svojo prvo zahtevo, združljivo z OpenAI, prek LiteLLM.
- Praktični graditelj
- Preberite vadnico DataCamp in razširite primere s pretakanjem in ponovnimi poskusi.
- Dodajte dva ponudnika in preizkusite rezervne sisteme.
- Lastnik ekipe/produkcije
- Preučite uradni vodnik za začetek.
- Vzpostavite posrednika, dodajte opazovanje in sledenje stroškom.
- Uveljavite omejitve hitrosti in pravilnike o redakciji PII.
—
## Poglobljena analiza: Vzorci, ki jih boste uporabljali tedensko
### Združljivost z OpenAI kot pogodba vmesnika
- Obliko API-ja OpenAI obravnavajte kot pogodbo vaše aplikacije. Vse zahteve gredo na končne točke `/v1/*` vašega posrednika LiteLLM.
- Zamenjajte modele (npr. `gpt-4o` → `claude-3-5`) s konfiguracijo, ne s kodo.
### Usmerjanje modelov po primeru uporabe
- Pot, občutljiva na latenco: usmerite na hitre, cenejše modele.
- Pot razmišljanja: usmerite na modele višje kakovosti za generiranje z razširjeno pridobitvijo (RAG) ali uporabo orodij.
- Pot zasebnosti: usmerite na lokalno/Ollama za segmente PII.
### Zaščita stroškov
- Označite zahteve z `user_id`/`team`.
- Nastavite proračune na ekipo/model.
- Beležite uporabo žetonov v centralno shrambo in opozarjajte na anomalije.
### Odpornost
- Omogočite ponovne poskuse z jitterjem.
- Konfigurirajte časovne omejitve na ponudnika in prekinjevalnike tokokrogov pri ponavljajočih se napakah.
- Določite prioritete ponudnikov in eksplicitne rezervne sisteme.
### Opazovanje
- Zajamite metapodatke zahteve/odziva, histogram latence in model/različico.
- Redigirajte skrivnosti/PII v dnevnikih.
- Korelirajte sledi med storitvami, da hitro najdete počasne klice.
—
## Primer konfiguracije posrednika LiteLLM (začetni komplet, pripravljen za produkcijo)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Praktičen članek, ki temelji na primerih.
- Uradna dokumentacija LiteLLM za začetek in najboljše prakse posrednika.
—
## Akcijski načrt: Vaših naslednjih 7 dni
1.–2. dan: Opravite hitri tečaj in hiter začetek; izvedite svojo prvo posredniško zahtevo.
3.–4. dan: Dodajte drugega ponudnika in pretakanje; nastavite časovne omejitve, ponovne poskuse.
5. dan: Vzpostavite posrednika s konfiguracijo; usmerjajte po primeru uporabe (latenca v primerjavi z razmišljanjem).
6. dan: Dodajte beleženje, sledenje stroškom in redakcijo.
7. dan: Preizkus obremenitve; simulirajte napake ponudnika; preverite rezervne sisteme.
—
## Ključni zaključki
- LiteLLM je najhitrejša pot do aplikacij z več LLM-ji brez zaklepanja ponudnika.
- Začnite z vmesnikom, združljivim z OpenAI, nato pa napredujte do posrednika za upravljanje.
- Zgodaj investirajte v usmerjanje, odpornost in opazovanje – potrebovali jih boste v drugem tednu, ne v šestem mesecu.
- Zgornje vadnice pokrivajo 80 % tistega, kar boste uporabljali vsak dan; preostanek je skrivna sestavina vašega izdelka.
### Pogosta vprašanja
V1: Katera je najboljša vadnica za LiteLLM za začetnike?
Začnite s hitrim tečajem LiteLLM na YouTubu za hiter vizualni sprehod, nato pa preberite uradni vodnik za začetek za posrednika. Vadnica DataCamp ponuja praktične primere, ki jih lahko kopirate.
V2: Kako uporabljam LiteLLM kot posrednika, združljivega z OpenAI?
Zaženite posrednika LiteLLM in usmerite osnovni URL vašega SDK-ja na končne točke `/v1` posrednika. Podrobnosti o ponudniku hranite v konfiguraciji LiteLLM, da bo vaša koda aplikacije ostala prenosljiva.
V3: Ali lahko LiteLLM samodejno usmerja med OpenAI, Anthropic in Gemini?
Da. Določite modele in strategije usmerjanja v konfiguraciji LiteLLM za preklapljanje med ponudniki glede na latenco, stroške ali kakovost. Nastavite lahko tudi rezervne sisteme za zanesljivost.
V4: Kako omogočim pretakanje in klicanje orodij/funkcij z LiteLLM?
Uporabite API, združljiv z OpenAI, prek LiteLLM in omogočite `stream=True` (ali SSE v vašem SDK). Za klicanje orodij sledite formatu klicanja funkcij OpenAI – LiteLLM ga posreduje ciljnemu ponudniku.
V5: Kakšen je najhitrejši način za nadzor stroškov z LiteLLM?
Centralizirajte zahteve prek posrednika, omogočite beleženje uporabe in uveljavite omejitve hitrosti in proračune na ključ. Usmerjajte različne obremenitve na stroškovno optimizirane modele in pripnite različice, da se izognete presenečenjem.