from litellm import completion
resp = completion(
model="gpt-4o", # vai "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Palaid iepriekš minēto ātrā starta kodu.
- Mērķis: Veic savu pirmo ar OpenAI saderīgo pieprasījumu, izmantojot LiteLLM.
- Praktiskais veidotājs
- Izlasi DataCamp apmācību materiālu un paplašini piemērus ar straumēšanu un atkārtotiem mēģinājumiem.
- Pievieno divus piegādātājus un pārbaudi rezerves.
- Komandas/ražošanas īpašnieks
- Izpēti oficiālo Darba sākšanas ceļvedi.
- Izveido starpniekserveri, pievieno novērojamību un izmaksu uzskaiti.
- Piemēro ātruma ierobežojumus un PII rediģēšanas politikas.
—
## Dziļāks ieskats: Modeļi, ko izmantosi katru nedēļu
### OpenAI saderība kā saskarnes līgums
- Uztver OpenAI API formu kā savas lietotnes līgumu. Visi pieprasījumi tiek nosūtīti uz Tava LiteLLM starpniekservera `/v1/*` galapunktiem.
- Maini modeļus (piemēram, `gpt-4o` → `claude-3-5`), izmantojot konfigurāciju, nevis kodu.
### Modeļu maršrutēšana pēc lietošanas gadījuma
- Latentuma ziņā jutīgs ceļš: maršrutē uz ātriem, lētākiem modeļiem.
- Spriešanas ceļš: maršrutē uz augstākas kvalitātes modeļiem iegūšanas papildinātas ģenerēšanas (RAG) vai rīku izmantošanas vajadzībām.
- Privātuma ceļš: maršrutē uz lokālo/Ollama PII segmentiem.
### Izmaksu aizsargmehānismi
- Atzīmē pieprasījumus ar `user_id`/`team`.
- Iestati budžetus katrai komandai/modelim.
- Reģistrē marķieru lietojumu centrālā krātuvē un brīdini par anomālijām.
### Elastība
- Iespējo atkārtotus mēģinājumus ar vibrāciju.
- Konfigurē taimautus katram piegādātājam un ķēžu pārtraucējus atkārtotu kļūdu gadījumā.
- Definē piegādātāju prioritātes un skaidrus rezerves.
### Novērojamība
- Uztver pieprasījuma/atbildes metadatus, latentuma histogrammas un modeli/versiju.
- Rediģē noslēpumus/PII žurnālos.
- Korelē izsekošanu starp pakalpojumiem, lai ātri atrastu lēnus zvanus.
—
## LiteLLM starpniekservera konfigurācijas piemērs (ražošanai gatavs sākums)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Praktisks, piemēru vadīts raksts.
- Oficiālā LiteLLM dokumentācija darba sākšanai un starpniekservera labākajai praksei.
—
## Rīcības plāns: Tavas nākamās 7 dienas
1.–2. diena: Izpildi ātro kursu un ātro startu; veic savu pirmo starpniekservera pieprasījumu.
3.–4. diena: Pievieno otru piegādātāju un straumēšanu; iestati taimautus, atkārtotus mēģinājumus.
5. diena: Izveido starpniekserveri ar konfigurāciju; maršrutē pēc lietošanas gadījuma (latentums pret spriešanu).
6. diena: Pievieno reģistrēšanu, izmaksu uzskaiti un rediģēšanu.
7. diena: Slodzes tests; simulē piegādātāju kļūmes; pārbaudi rezerves.
—
## Galvenie secinājumi
- LiteLLM ir ātrākais ceļš uz vairāku piegādātāju LLM lietotnēm bez piegādātāja piesaistes.
- Sāc ar ar OpenAI saderīgu saskarni, pēc tam pārej uz starpniekserveri pārvaldībai.
- Ieguldi agrīni maršrutēšanā, noturībā un novērojamībā — Tev tie būs nepieciešami otrajā nedēļā, nevis sestajā mēnesī.
- Iepriekš minētie apmācību materiāli aptver 80% no tā, ko izmantosi katru dienu; pārējais ir Tava produkta slepenā sastāvdaļa.
### Biežāk uzdotie jautājumi
Q1:Kāds ir labākais LiteLLM apmācību materiāls iesācējiem?
Sāc ar LiteLLM ātro kursu YouTube, lai ātri apskatītu vizuālo pamācību, pēc tam izlasi oficiālo Darba sākšanas ceļvedi par starpniekserveri. DataCamp apmācību materiāls sniedz praktiskus piemērus, ko vari kopēt.
Q2:Kā es varu izmantot LiteLLM kā ar OpenAI saderīgu starpniekserveri?
Palaid LiteLLM starpniekserveri un norādi sava SDK bāzes URL uz starpniekservera `/v1` galapunktiem. Saglabā piegādātāju informāciju LiteLLM konfigurācijā, lai Tava lietojumprogrammas koda daļa paliktu pārnēsājama.
Q3:Vai LiteLLM var automātiski maršrutēt starp OpenAI, Anthropic un Gemini?
Jā. Definē modeļus un maršrutēšanas stratēģijas LiteLLM konfigurācijā, lai pārslēgtos starp piegādātājiem pēc latentuma, izmaksām vai kvalitātes. Varat arī iestatīt rezerves uzticamībai.
Q4:Kā es varu iespējot straumēšanu un rīku/funkciju zvanīšanu ar LiteLLM?
Izmanto ar OpenAI saderīgu API, izmantojot LiteLLM, un iespējo `stream=True` (vai SSE savā SDK). Rīku zvanīšanai ievēro OpenAI funkciju zvanīšanas formātu — LiteLLM to pārsūta mērķa piegādātājam.
Q5:Kāds ir ātrākais veids, kā kontrolēt izmaksas ar LiteLLM?
Centralizē pieprasījumus, izmantojot starpniekserveri, iespējo lietojuma reģistrēšanu un piemēro ātruma ierobežojumus un budžetus katrai atslēgai. Maršrutē dažādas darba slodzes uz izmaksu ziņā optimizētiem modeļiem un piespraud versijas, lai izvairītos no pārsteigumiem.