from litellm import completion
resp = completion(
model="gpt-4o-mini", # vagy "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## Streaming, eszközök és JSON mód
### Streaming válaszok
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### Költség és token használat
A LiteLLM nyomon követheti a token használatot, és megbecsülheti a költségeket kérésenként, modellenként vagy projektenként. A proxyval exportálhatod a használatot naplókba, irányítópultokra vagy egy számlázási célba. Ez felbecsülhetetlen értékű, ha különböző árképzésű szállítókat használsz.
---
## A LiteLLM Proxy (LLM átjáró)
Ha egy csapat vagy platform vagy, a proxy az igazi szupererő: egy központi szolgáltatás útválasztással, hitelesítéssel, sebességkorlátozással, naplózással és megfigyelhetőséggel. Az OpenAI API felületét használva kommunikálsz vele, így az alkalmazáskódod alig változik.
### Indítsd el a proxyt
```bash
# legegyszerűbb helyi futtatás
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## Haladó útválasztás: Késleltetés, költség vagy megbízhatóság
Olyan útválasztási stratégiákat valósíthatsz meg, mint:
- Súlyozott round-robin az A/B modellekhez
- Legalacsonyabb késleltetés először régiónként
- Költségtudatos útválasztás nem kritikus végpontokhoz
- Hiba esetén visszalépés/újrapróbálkozás a szolgáltatók között
Egy útválasztási szabályzattal azt mondhatod, hogy „a legolcsóbbat preferálom, nehéz promptok esetén válts prémiumra”. Ez magas rendelkezésre állást és kiszámítható költségvetést biztosít.
---
## Védőkorlátok, moderálás és biztonság
Adj hozzá elő- és utófeldolgozó middleware-t a PII eltávolításához, a biztonsági szűrők érvényesítéséhez vagy a kimenetek moderálásához, mielőtt visszaküldené azokat az ügyfeleknek. Kombináld a szolgáltató-natív moderálást (pl. OpenAI, Google) a saját szabályzataid ellenőrzésével a proxyban. Példa: követeld meg a JSON séma validálását, és kérdezd meg újra, ha érvénytelen.
---
## Megfigyelhetőség és naplózás
- Engedélyezd a kérés/válasz naplózást a bizalmas adatok eltávolításával.
- Exportálj metrikákat a Prometheus/Grafana-ba vagy az APM-edbe.
- Kövesd nyomon a késleltetést, a tokeneket és a költségeket végpontonként és felhasználónként.
Ez a „modell rulettet” egy felügyelt szolgáltatássá alakítja át SLO-kkal és költségvetésekkel.
---
## Valós használati minták
1) Több szállítós rugalmasság
- Elsődleges: gyors/olcsó modell; Visszalépés: nagy pontosságú modell 429/5xx esetén.
- Előnyök: jobb üzemidő, költségellenőrzés és stabil minőség.
2) Feature flag modellfrissítések
- Használj útválasztó súlyokat egy új modell kanári teszteléséhez a forgalom 5%-án; figyeld a metrikákat; növeld, ha stabil.
3) Termékszintek
- Ingyenes szint kis modellekhez irányítva; Pro szint prémium modellekhez.
4) Prompt regisztrációs adatbázisok és sablonok
- Központosítsd a promptokat a proxyban, így a szolgáltatások újratelepítés nélkül öröklik a fejlesztéseket.
5) Csapat számlázás és költségvetések
- Kövesd nyomon a költéseket API kulcsonként; érvényesíts lágy és kemény korlátokat csapatonként vagy termékenként.
---
## Biztonsági és megfelelőségi ellenőrzőlista
- Tárold a szolgáltatói kulcsokat a titkosításkezelődben; hivatkozz rájuk környezeti változókon keresztül a konfigurációban.
- Kapcsold be a kérés adatainak eltávolítását és a PII tisztítását a naplókban.
- Használj szolgáltatásonkénti API kulcsokat a proxyhoz; rendszeresen cseréld őket.
- Állíts be szervezeti szintű sebességkorlátozásokat és kvótákat.
- Adj hozzá engedélyező-/tiltólistákat a modellekhez és végpontokhoz.
---
## Hibaelhárítás: Gyors javítások
- „Jogosulatlan” a proxyn keresztül: Ellenőrizd az `auth.api_keys` beállításait, és hogy a kliensed a `base_url` + helyes kulcsot használja-e.
- Modell nem található: Győződj meg arról, hogy a `model_list` tartalmazza a barátságos nevet, amelyet hívsz.
- Időtúllépések: Növeld a `timeout` értékét, vagy irányítsd egy alacsonyabb késleltetésű szolgáltatói régióba.
- Furcsa kimenetek: Engedélyezd a JSON sémát + validálást; adj hozzá újrapróbálkozásokat és visszalépéseket.
- Költségnövekedés: Kapcsold be a gyorsítótárazást; irányítsd a tömeges forgalmat olcsóbb modellekhez; állíts be kulcsonkénti kvótákat.
A mélyebb merülésekhez és a legújabb funkciókhoz a hivatalos dokumentációt gyakran frissítik, és érdemes könyvjelzővel ellátni. Az olyan oktatóanyagok, mint a DataCamp útmutatója nagyszerűek a gyakorlati mintákhoz, és a kezdőknek szóló gyorstalpaló videó segíthet a fogalmak gyakorlati megtekintésében.
---
## Rakd össze az egészet: Referencia alkalmazás váz (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### GYIK
Q1: Mi az a LiteLLM, és miért érdemes a közvetlen szolgáltatói SDK-k helyett használni?
A LiteLLM egy OpenAI-kompatibilis átjáró több mint 100 LLM-hez, amely egy API-t és egy mentális modellt biztosít. Csökkenti a szállítói kötöttséget, egyszerűsíti az útválasztást, és olyan műveleti funkciókat ad hozzá, mint a gyorsítótárazás, az újrapróbálkozások és a költségkövetés.
Q2: Hogyan használhatom a LiteLLM-et az OpenAI SDK-val?
Irányítsd az SDK base URL-jét a LiteLLM proxyra, és használd a proxy API kulcsodat. A kódod ugyanaz maradhat, miközben a proxy a háttérben szolgáltatókat vagy modelleket cserél.
Q3: Tud a LiteLLM streaming válaszokat adni és JSON-t visszaadni?
Igen. Használd a `stream=True` beállítást a token streamekhez, és a `response_format` beállítást JSON sémával a strukturált kimenetek érvényesítéséhez a szolgáltatók között.
Q4: Hogyan szabályozhatom a költségeket a különböző LLM szolgáltatók között?
Engedélyezd a használati naplózást és a költségbecslést, adj hozzá gyorsítótárazást, állíts be sebességkorlátozásokat, és irányítsd a tömeges forgalmat olcsóbb modellekhez a proxyn keresztül. Figyeld az irányítópultokkal a költségvetéseket és az SLO-kat.
Q5: A LiteLLM alkalmas éles csapatok számára?
<a114>Igen. A proxy hitelesítést, sebességkorlátozásokat, útválasztást, megfigyelhetőséget és biztonsági middleware-t biztosít. Úgy tervezték, mint egy LLM átjáró, amely központosítja a kormányzást, miközben az alkalmazásod OpenAI-kompatibilis marad.