from litellm import completion
resp = completion(
model="gpt-4o-mini", # ή "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## Streaming, Εργαλεία και JSON Mode
### Streaming Απαντήσεις
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### Κόστος και Χρήση Token
Το LiteLLM μπορεί να παρακολουθεί τη χρήση token και να εκτιμά το κόστος ανά αίτηση, μοντέλο ή έργο. Με το proxy, μπορείτε να εξάγετε χρήση σε logs, dashboards ή billing sink. Είναι ανεκτίμητο όταν συνδυάζετε παρόχους με διαφορετική τιμολόγηση.
---
## Το LiteLLM Proxy (LLM Gateway)
Αν είστε ομάδα ή πλατφόρμα, το proxy είναι η πραγματική υπερδύναμη: μια κεντρική υπηρεσία με δρομολόγηση, auth, όρια ρυθμού, καταγραφή και παρατηρησιμότητα. Αλληλεπιδράτε με αυτό χρησιμοποιώντας την επιφάνεια API του OpenAI ώστε ο κώδικας της εφαρμογής σας να αλλάζει ελάχιστα.
### Εκκίνηση του Proxy
```bash
# πιο απλή τοπική εκτέλεση
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## Προχωρημένη Δρομολόγηση: Καθυστέρηση, Κόστος ή Αξιοπιστία
Μπορείτε να εφαρμόσετε στρατηγικές δρομολόγησης όπως:
- Weighted round-robin για Α/Β μοντέλα
- Χαμηλότερη καθυστέρηση πρώτα κατά περιοχή
- Δρομολόγηση ευαισθητοποιημένη στο κόστος για μη κρίσιμα endpoints
- Fallback σε περίπτωση λάθους/επανάληψης μεταξύ παρόχων
Με μια πολιτική router, μπορείτε να πείτε «προτίμησε οικονομικά, fallback σε premium για δύσκολα prompts». Αυτό προσφέρει υψηλή διαθεσιμότητα και προβλέψιμους προϋπολογισμούς.
---
## Προστατευτικά Μέτρα, Μετριασμός και Ασφάλεια
Προσθέστε middleware πριν και μετά την επεξεργασία για να απομακρύνετε PII, να εφαρμόσετε φίλτρα ασφάλειας ή να μετριάσετε αποτελέσματα πριν επιστραφούν στους clients. Συνδυάστε τον εγγενή μετριασμό παρόχου (π.χ. OpenAI, Google) με τους δικούς σας ελέγχους πολιτικής στο proxy. Παράδειγμα: απαιτήστε επικύρωση JSON schema και ζητήστε ξανά όταν είναι άκυρο.
---
## Παρατηρησιμότητα και Καταγραφή
- Ενεργοποιήστε καταγραφή αιτήσεων/απαντήσεων με απόρρητο δεδομένων.
- Εξάγετε μετρικές σε Prometheus/Grafana ή το APM σας.
- Παρακολουθήστε καθυστέρηση, tokens, και κόστος ανά endpoint και χρήστη.
Αυτό μετατρέπει το “model roulette” σε μια διαχειριζόμενη υπηρεσία με SLOs και προϋπολογισμούς.
---
## Πραγματικά Σενάρια Χρήσης
1) Ανθεκτικότητα πολλαπλών παρόχων
- Πρωτεύον: γρήγορο/φθηνό μοντέλο; Fallback: μοντέλο υψηλής ακρίβειας σε 429/5xx.
- Οφέλη: καλύτερη διαθεσιμότητα, έλεγχος κόστους και σταθερή ποιότητα.
2) Αναβαθμίσεις μοντέλων με feature flags
- Χρήση βαρών router για να κανερινοποιήσετε νέο μοντέλο στο 5% της κίνησης; παρακολουθήστε μετρικές; αυξήστε όταν είναι σταθερό.
3) Επίπεδα προϊόντος
- Το δωρεάν επίπεδο δρομολογείται σε μικρά μοντέλα, το Pro επίπεδο σε premium μοντέλα.
4) Μητρώα και πρότυπα prompt
- Κεντροποιήστε τα prompts στο proxy ώστε οι υπηρεσίες να κληρονομούν βελτιώσεις χωρίς re-deploy.
5) Χρέωση ομάδας και προϋπολογισμοί
- Παρακολουθήστε δαπάνες ανά API κλειδί; επιβάλετε μαλακά και σκληρά όρια ανά ομάδα ή προϊόν.
---
## Λίστα Ελέγχου Ασφαλείας και Συμμόρφωσης
- Αποθηκεύστε τα κλειδιά παρόχου στο secret manager σας και αναφερθείτε σε αυτά μέσω env vars στη config.
- Ενεργοποιήστε απόκρυψη αιτήσεων και καθαρισμό PII στα logs.
- Χρησιμοποιήστε API κλειδιά ανά υπηρεσία για το proxy και ανανεώνετε τα τακτικά.
- Ορίστε όρια ρυθμού και ποσοστώσεις σε οργανωτικό επίπεδο.
- Προσθέστε allowlists/denylists για μοντέλα και endpoints.
---
## Επιλύσεις Προβλημάτων: Γρήγορες Λύσεις
- “Unauthorized” μέσω proxy: Ελέγξτε `auth.api_keys` και ότι ο client σας χρησιμοποιεί `base_url` + το σωστό κλειδί.
- Μοντέλο μη διαθέσιμο: Βεβαιωθείτε ότι το `model_list` περιέχει το φιλικό όνομα που καλείτε.
- Timeouts: Αυξήστε το `timeout` ή δρομολογήστε σε provider με χαμηλότερη καθυστέρηση.
- Ασυνήθιστες απαντήσεις: Ενεργοποιήστε JSON schema + επικύρωση; προσθέστε retry και fallback.
- Εκρήξεις κόστους: Ενεργοποιήστε caching; δρομολογήστε bulk κίνηση σε φθηνότερα μοντέλα; ορίστε ποσοστώσεις ανά κλειδί.
Για πιο εις βάθος εξερευνήσεις και νεότερα χαρακτηριστικά, τα επίσημα docs ενημερώνονται τακτικά και αξίζει να τα έχετε στα αγαπημένα. Tutorials όπως του DataCamp είναι ιδανικά για πρακτικά μοτίβα και το βίντεο crash course για αρχάριους βοηθά να δείτε τις έννοιες σε δράση.
---
## Τα Βάζουμε Όλα Μαζί: Σκελετός Αναφοράς Εφαρμογής (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI()
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Ε1: Τι είναι το LiteLLM και γιατί να το προτιμήσω έναντι απευθείας SDK παρόχου;
Το LiteLLM είναι μια πύλη συμβατή με OpenAI για πάνω από 100 LLMs, δίνοντάς σας ένα API και ένα νοητικό μοντέλο. Μειώνει τον vendor lock-in, απλοποιεί τη δρομολόγηση και προσθέτει λειτουργίες ops όπως caching, retry και παρακολούθηση κόστους.
Ε2: Πώς χρησιμοποιώ το LiteLLM με το OpenAI SDK;
Δείξτε το base URL του SDK στο LiteLLM proxy και χρησιμοποιήστε το API key του proxy. Ο κώδικάς σας μένει ο ίδιος, ενώ το proxy αλλάζει παρόχους ή μοντέλα στο παρασκήνιο.
Ε3: Μπορεί το LiteLLM να κάνει streaming απαντήσεων και να επιστρέφει JSON;
Ναι. Χρησιμοποιήστε `stream=True` για λήψη ροής tokens και `response_format` με JSON schema για να επιβάλετε δομημένες εξόδους ανά πάροχο.
Ε4: Πώς ελέγχω κόστη σε πολλούς παρόχους LLM;
Ενεργοποιήστε καταγραφή χρήσης και εκτίμηση κόστους, προσθέστε caching, ορίστε όρια ρυθμού, και δρομολογήστε μεγάλη κίνηση σε φθηνότερα μοντέλα μέσω του proxy. Παρακολουθήστε μέσω dashboards για προϋπολογισμούς και SLOs.
Ε5: Είναι το LiteLLM κατάλληλο για ομάδες σε παραγωγή;
Ναι. Το proxy παρέχει auth, όρια ρυθμού, δρομολόγηση, παρατηρησιμότητα και μεσαία ασφάλειας. Έχει σχεδιαστεί ως μια πύλη LLM που κεντροποιεί τη διακυβέρνηση ενώ κρατά την εφαρμογή σας συμβατή με το OpenAI.