from litellm import completion
resp = completion(
model="gpt-4o", # or "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Pokrenite brzi početni kod iznad.
- Cilj: Napravite svoj prvi zahtev kompatibilan sa OpenAI putem LiteLLM.
- Praktični graditelj
- Pročitajte DataCamp tutorijal i proširite primere strimingom i ponovnim pokušajima.
- Dodajte dva provajdera i testirajte povratne mehanizme.
- Vlasnik tima/produkcije
- Proučite zvanični vodič za početak.
- Podignite proksi, dodajte praćenje i praćenje troškova.
- Primenite ograničenja brzine i politike redakcije PII.
—
## Detaljno: Obrasci koje ćete koristiti nedeljno
### OpenAI kompatibilnost kao ugovor o interfejsu
- Tretirajte oblik OpenAI API-ja kao ugovor za vašu aplikaciju. Svi zahtevi idu do `/v1/*` krajnjih tačaka vašeg LiteLLM proksija.
- Menjajte modele (npr. `gpt-4o` → `claude-3-5`) pomoću konfiguracije, a ne koda.
### Rutiranje modela prema slučaju upotrebe
- Put osetljiv na latenciju: usmerite na brze, jeftinije modele.
- Put za rezonovanje: usmerite na kvalitetnije modele za generisanje obogaćeno preuzimanjem (RAG) ili korišćenje alata.
- Put privatnosti: usmerite na lokalni/Ollama za PII segmente.
### Zaštita troškova
- Označite zahteve sa `user_id`/`team`.
- Postavite budžete po timu/modelu.
- Evidentirajte upotrebu tokena u centralnoj prodavnici i upozorite na anomalije.
### Otpornost
- Omogućite ponovne pokušaje sa podrhtavanjem.
- Konfigurišite vremenska ograničenja po provajderu i prekidače strujnog kola pri ponovljenim neuspesima.
- Definišite prioritete provajdera i eksplicitne povratne mehanizme.
### Praćenje
- Snimite metapodatke zahteva/odgovora, histograme latencije i model/verziju.
- Redigujte tajne/PII u logovima.
- Povežite tragove kroz servise da biste brzo pronašli spore pozive.
—
## Primer LiteLLM konfiguracije proksija (Starter spreman za proizvodnju)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Praktičan članak zasnovan na primerima.
- Zvanična LiteLLM dokumentacija za početak i najbolje prakse za proksi.
—
## Akcioni plan: Vaših sledećih 7 dana
Dan 1–2: Odradite brzi kurs i brzi početak; uputite svoj prvi zahtev preko proksija.
Dan 3–4: Dodajte drugog provajdera i striming; podesite vremenska ograničenja, ponovne pokušaje.
Dan 5: Podignite proksi pomoću konfiguracije; usmeravajte prema slučaju upotrebe (latencija naspram rezonovanja).
Dan 6: Dodajte logovanje, praćenje troškova i redakciju.
Dan 7: Testiranje opterećenja; simulirajte neuspehe provajdera; potvrdite povratne mehanizme.
—
## Ključne tačke
- LiteLLM je najbrži put do multi-provider LLM aplikacija bez vezivanja za provajdera.
- Počnite sa interfejsom kompatibilnim sa OpenAI, a zatim pređite na proksi za upravljanje.
- Uložite rano u rutiranje, otpornost i praćenje—trebaće vam u drugoj nedelji, a ne u šestom mesecu.
- Gore navedeni tutorijali pokrivaju 80% onoga što ćete koristiti svakodnevno; ostatak je tajni sastojak vašeg proizvoda.
### FAQ
P1: Koji je najbolji LiteLLM tutorijal za početnike?
Počnite sa LiteLLM Crash Course-om na YouTube-u za brzi vizuelni pregled, a zatim pročitajte zvanični vodič za početak za proksi. DataCamp tutorijal pruža praktične primere koje možete kopirati.
P2: Kako da koristim LiteLLM kao proksi kompatibilan sa OpenAI?
Pokrenite LiteLLM proksi i usmerite osnovni URL svog SDK-a na `/v1` krajnje tačke proksija. Zadržite detalje o provajderu u LiteLLM konfiguraciji kako bi vaš kod aplikacije ostao prenosiv.
P3: Može li LiteLLM automatski da usmerava između OpenAI, Anthropic i Gemini?
Da. Definišite modele i strategije rutiranja u LiteLLM konfiguraciji da biste prelazili između provajdera prema latenciji, ceni ili kvalitetu. Takođe možete podesiti povratne mehanizme za pouzdanost.
P4: Kako da omogućim striming i pozivanje alata/funkcija pomoću LiteLLM?
Koristite API kompatibilan sa OpenAI putem LiteLLM i omogućite `stream=True` (ili SSE u svom SDK-u). Za pozivanje alata, pratite format pozivanja funkcija OpenAI—LiteLLM ga prosleđuje ciljnom provajderu.
P5: Koji je najbrži način za kontrolu troškova pomoću LiteLLM?
Centralizujte zahteve putem proksija, omogućite evidentiranje upotrebe i primenite ograničenja brzine i budžete po ključu. Usmjerite različita opterećenja na modele optimizovane za troškove i fiksirajte verzije da biste izbegli iznenađenja.