from litellm import completion
resp = completion(
model="gpt-4o-mini", # or "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## Voogedastus, tööriistad ja JSON režiim
### Vastuste voogedastus
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### Kulude ja märkide kasutamine
LiteLLM saab jälgida märkide kasutust ja hinnata kulusid taotluse, mudeli või projekti kohta. Puhverserveriga saad eksportida kasutuse logidesse, armatuurlaudadesse või arveldusteenusesse. See on hindamatu, kui kasutad erineva hinnakujundusega müüjaid.
---
## LiteLLM-i puhverserver (LLM Gateway)
Kui oled meeskond või platvorm, siis on puhverserver tõeline supervõime: tsentraalne teenus marsruutimise, autentimise, määrade piirangute, logimise ja jälgitavusega. Sa suhtled sellega OpenAI API pinna kaudu, nii et sinu rakenduse kood peaaegu ei muutu.
### Käivita puhverserver
```bash
# lihtsaim kohalik käivitus
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## Täiustatud marsruutimine: latentsus, hind või usaldusväärsus
Saad rakendada marsruutimisstrateegiaid nagu:
- Kaalutud round-robin mudelite A/B testimiseks
- Madalaima latentsusega esimesena piirkonna järgi
- Kuluteadlik marsruutimine mitte-kriitiliste lõpp-punktide jaoks
- Vea korral tagavaraks/uuesti proovimine pakkujate vahel
Ruuteri poliitikaga saad öelda: “eelista odavat, kukkuda raskete viipade korral premiumile”. See pakub kõrget kättesaadavust ja prognoositavaid eelarveid.
---
## Turvameetmed, modereerimine ja ohutus
Lisa eel- ja järel-töötluse vahevara, et eemaldada PII, jõustada ohutusfiltreid või modereerida väljundeid enne klientidele tagastamist. Kombineeri pakkuja-põhist modereerimist (nt OpenAI, Google) omaenda poliitikakontrollidega puhverserveris. Näide: nõua JSON-skeemi valideerimist ja küsi uuesti, kui see on kehtetu.
---
## Jälgitavus ja logimine
- Luba taotluse/vastuse logimine redaktsiooniga.
- Ekspordi mõõdikud Prometheus/Grafanasse või oma APM-i.
- Jälgi latentsust, märke ja kulusid lõpp-punkti ja kasutaja järgi.
See muudab “mudeli ruleti” hallatavaks teenuseks koos SLO-de ja eelarvetega.
---
## Reaalse maailma kasutusmustrid
1) Mitme müüja vastupidavus
- Esmane: kiire/odav mudel; Tagavara: kõrge täpsusega mudel 429/5xx korral.
- Eelised: parem tööaeg, kulude kontroll ja stabiilne kvaliteet.
2) Funktsioonilippude mudeli uuendused
- Kasuta ruuteri kaalusid, et uut mudelit 5% liiklusest katsetada; jälgi mõõdikuid; suurenda, kui see on stabiilne.
3) Tootetasemed
- Tasuta tase marsruuditud väikestesse mudelitesse; Pro tase premium mudelitesse.
4) Viipade registrid ja mallid
- Tsentraliseeri viipad puhverserveris, et teenused päriksid täiustusi ilma uuesti juurutamiseta.
5) Meeskonna arveldamine ja eelarved
- Jälgi kulutusi API võtme järgi; jõusta pehmeid ja rangeid limiite meeskonna või toote kohta.
---
## Turvalisuse ja vastavuse kontrollnimekiri
- Salvesta pakkuja võtmed oma saladuste halduris; viita konfiguratsioonis env muutujate kaudu.
- Lülita sisse taotluse redaktsioon ja PII puhastamine logides.
- Kasuta puhverserveri jaoks teenusepõhiseid API võtmeid; roteeri regulaarselt.
- Sea organisatsiooni laiad määrade limiidid ja kvoodid.
- Lisa lubatud/keelatud nimekirjad mudelitele ja lõpp-punktidele.
---
## Tõrkeotsing: kiired lahendused
- “Volitamata” puhverserveri kaudu: kontrolli `auth.api_keys` ja kas sinu klient kasutab `base_url` + õiget võtit.
- Mudelit ei leitud: veendu, et `model_list` sisaldab sõbralikku nime, mida sa kutsud.
- Ajalõpud: suurenda `timeout` või marsruudi madalama latentsusega pakkuja piirkonda.
- Veidrad väljundid: luba JSON-skeem + valideerimine; lisa uuesti proovimisi ja tagavarasid.
- Kulude kasv: lülita sisse vahemällu salvestamine; marsruudi hulgi liiklus odavamatesse mudelitesse; sea võtmepõhised kvoodid.
Sügavamate sukeldumiste ja uusimate funktsioonide jaoks uuendatakse ametlikke dokumente sageli ja tasub need järjehoidjatesse lisada. Õpetused nagu DataCampi juhend on suurepärased praktiliste mustrite jaoks ja algaja kiirkursuse video aitab sul näha kontseptsioone tegevuses.
---
## Pane see kõik kokku: viiterakenduse skelett (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### KKK
Q1:Mis on LiteLLM ja miks seda kasutada otse pakkuja SDK-de asemel?
LiteLLM on OpenAI-ga ühilduv lüüs 100+ LLM-ile, andes sulle ühe API ja ühe vaimse mudeli. See vähendab müüja lukustumist, lihtsustab marsruutimist ja lisab ops funktsioone nagu vahemällu salvestamine, uuesti proovimine ja kulude jälgimine.
Q2:Kuidas ma kasutan LiteLLM-i OpenAI SDK-ga?
Suuna SDK baas-URL LiteLLM-i puhverserverisse ja kasuta oma puhverserveri API võtit. Sinu kood võib jääda samaks, samal ajal kui puhverserver vahetab pakkujaid või mudeleid kulisside taga.
Q3:Kas LiteLLM saab voogedastada vastuseid ja tagastada JSON-i?
Jah. Kasuta `stream=True`, et saada märkide voogusid ja `response_format` koos JSON-skeemiga, et jõustada struktureeritud väljundeid kõigi pakkujate puhul.
Q4:Kuidas ma kontrollin kulusid erinevate LLM-i pakkujate puhul?
Luba kasutuslogimine ja kulude hindamine, lisa vahemällu salvestamine, sea määrade limiidid ja marsruudi hulgi liiklus odavamatesse mudelitesse puhverserveri kaudu. Jälgi armatuurlaudadega eelarveid ja SLO-sid.
Q5:Kas LiteLLM sobib tootmismeeskondadele?
Jah. Puhverserver pakub autentimist, määrade limiite, marsruutimist, jälgitavust ja ohutusvahevara. See on loodud LLM-i lüüsina, mis tsentraliseerib juhtimist, hoides samal ajal sinu rakenduse OpenAI-ga ühilduvana.