from litellm import completion
resp = completion(
model="gpt-4o-mini", # eller "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## Streaming, Tools og JSON Mode
### Streaming af svar
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### Omkostninger og tokens forbrug
LiteLLM kan spore tokenforbrug og estimere omkostninger pr. forespørgsel, model eller projekt. Med proxien kan du eksportere forbruget til logs, dashboards eller en faktureringsopsamler. Dette er uvurderligt, når du blander leverandører med forskellige priser.
---
## LiteLLM Proxy (LLM Gateway)
Er I et team eller en platform, er proxien den store fordel: en central service med routing, autentificering, hastighedsgrænser, logging og overvågning. Du interagerer med den via OpenAI API-overfladen, så din app-kode næsten ikke ændres.
### Start proxien
```bash
# simpleste lokale kørsel
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## Avanceret routing: Latency, omkostninger eller pålidelighed
Du kan implementere routing-strategier som:
- Vægtet round-robin til A/B-test af modeller
- Laveste latency først pr. region
- Omkostningsbevidst routing for ikke-kritiske endpoints
- Fald tilbage ved fejl/retries på tværs af leverandører
Med en router-politik kan du sige ”foretræk billige, fald tilbage til premium ved svære prompts.” Det sikrer høj tilgængelighed og forudsigelige budgetter.
---
## Sikkerhedsforanstaltninger, moderation og tryghed
Tilføj pre- og post-processing middleware til at fjerne PII, håndhæve sikkerhedsfiltre eller moderere output, før de returneres til klienter. Kombiner leverandørbaseret moderation (f.eks. OpenAI, Google) med egne politikker i proxien. Eksempel: kræv JSON-schema validering og spørg igen ved ugyldigt output.
---
## Overvågning og logging
- Aktivér logning af forespørgsler og svar med anonymisering.
- Eksporter metrikker til Prometheus/Grafana eller din APM.
- Spor latency, tokens og omkostninger pr. endpoint og bruger.
Dette gør 'model roulette' til en styret service med SLO’er og budgetter.
---
## Virkelige brugsmønstre
1) Multi-leverandør robusthed
- Primær: hurtig/billig model; fallback: høj-præcision model ved 429/5xx.
- Fordele: bedre oppetid, omkostningskontrol og stabil kvalitet.
2) Feature-flag modelopgraderinger
- Brug router-vægte til canary-udrulning af ny model til 5% trafik; monitorer metrikker; øg gradvist når stabil.
3) Produktniveauer
- Gratis niveau rutes til små modeller; Pro-niveau til premium modeller.
4) Promptregistre og skabeloner
- Centraliser prompts i proxien, så services arver forbedringer uden redeploy.
5) Team-billing og budgetter
- Spor forbrug pr. API-nøgle; håndhæv bløde og hårde grænser pr. team eller produkt.
---
## Sikkerheds- og compliance tjekliste
- Gem leverandørnøgler i din hemmelighedshåndtering; referer via miljøvariabler i konfigurationen.
- Slå anonymisering og fjernelse af PII til i logs.
- Brug API-nøgler per service til proxien; roter jævnligt.
- Sæt organisation-wide rate limits og kvoter.
- Tilføj whitelist/blacklist for modeller og endpoints.
---
## Fejlfinding: Hurtige løsninger
- “Unauthorized” via proxy: Tjek `auth.api_keys` og at klienten bruger `base_url` + korrekt nøgle.
- Model ikke fundet: Sikr at `model_list` indeholder det kaldenavn, du bruger.
- Timeouts: Forøg `timeout` eller ruter til en region med lavere latency.
- Underlige svar: Aktivér JSON schema + validering; tilføj retries og fallback.
- Omkostningsspidser: Aktiver caching; ruter bulktrafik til billigere modeller; sæt kvoter pr. nøgle.
For dybere indsigt og de nyeste features opdateres de officielle docs ofte og er værd at gemme som bogmærke. Tutorials som DataCamp’s guide er super til hands-on mønstre, og crashkurset i video hjælper med at forstå principperne i praksis.
---
## Alt samlet: Referenceapp skelet (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI()
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1:Hvad er LiteLLM, og hvorfor bruge det fremfor direkte leverandør-SDK’er?
LiteLLM er en OpenAI-kompatibel gateway til over 100 LLM’er, der giver dig én API og ét mentalt modelbillede. Det mindsker leverandørlåsning, forenkler routing og tilbyder operationsfunktioner som caching, retries og omkostningssporing.
Q2:Hvordan bruger jeg LiteLLM med OpenAI SDK?
Peg SDK’ens base URL til LiteLLM-proxien og brug din proxy API-nøgle. Din kode kan forblive den samme, mens proxien kan skifte leverandør eller model bag kulisserne.
Q3:Kan LiteLLM streame svar og returnere JSON?
Ja. Brug `stream=True` for token streams, og `response_format` med JSON-schema for at sikre struktureret output på tværs af leverandører.
Q4:Hvordan styrer jeg omkostninger på tværs af LLM-leverandører?
Aktivér logning og omkostningsestimering, tilføj caching, sæt rate limits og ruter bulk-trafik til billigere modeller via proxien. Overvåg med dashboards for budgetter og SLO’er.
Q5:Er LiteLLM egnet til produktionsteams?
Ja. Proxien tilbyder autentificering, rate limits, routing, overvågning og sikkerhedsmiddleware. Den er designet som en LLM-gateway, der centraliserer styring og stadig holder din app OpenAI-kompatibel.