from litellm import completion
resp = completion(
model="gpt-4o", # ή "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Εκτελέστε τον κώδικα γρήγορης εκκίνησης παραπάνω.
- Στόχος: Κάντε το πρώτο σας αίτημα συμβατό με OpenAI μέσω του LiteLLM.
- Πρακτικός δημιουργός
- Διαβάστε τον οδηγό DataCamp και επεκτείνετε τα παραδείγματα με streaming και retries.
- Προσθέστε δύο παρόχους και δοκιμάστε εφεδρείες.
- Ιδιοκτήτης ομάδας/παραγωγής
- Μελετήστε τον επίσημο οδηγό Getting Started.
- Δημιουργήστε το proxy, προσθέστε observability και παρακολούθηση κόστους.
- Επιβάλλετε όρια ταχύτητας και πολιτικές σύνταξης PII.
—
## Βαθιά Βουτιά: Μοτίβα που θα Χρησιμοποιείτε Εβδομαδιαία
### Συμβατότητα OpenAI ως Συμβόλαιο Διεπαφής
- Αντιμετωπίστε το σχήμα API της OpenAI ως συμβόλαιο της εφαρμογής σας. Όλα τα αιτήματα μεταβαίνουν στα `/v1/*` endpoints του LiteLLM proxy σας.
- Αλλάξτε μοντέλα (π.χ., `gpt-4o` → `claude-3-5`) μέσω διαμόρφωσης, όχι κώδικα.
### Δρομολόγηση Μοντέλου ανά Περίπτωση Χρήσης
- Διαδρομή ευαίσθητη στην καθυστέρηση: δρομολογήστε σε γρήγορα, φθηνότερα μοντέλα.
- Διαδρομή συλλογισμού: δρομολογήστε σε μοντέλα υψηλότερης ποιότητας για retrieval-augmented generation (RAG) ή χρήση εργαλείων.
- Διαδρομή ιδιωτικότητας: δρομολογήστε σε τοπικό/Ollama για τμήματα PII.
### Προστατευτικά Κόστους
- Επισημάνετε τα αιτήματα με `user_id`/`team`.
- Ορίστε προϋπολογισμούς ανά ομάδα/μοντέλο.
- Καταγράψτε τη χρήση token σε ένα κεντρικό κατάστημα και ειδοποιήστε για ανωμαλίες.
### Ανθεκτικότητα
- Ενεργοποιήστε τις επαναλήψεις με jitter.
- Διαμορφώστε χρονικά όρια ανά πάροχο και διακόπτες κυκλώματος σε επαναλαμβανόμενες αποτυχίες.
- Ορίστε προτεραιότητες παρόχων και ρητές εφεδρείες.
### Observability
- Καταγράψτε metadata αιτήματος/απάντησης, ιστογράμματα καθυστέρησης και μοντέλο/έκδοση.
- Συντάξτε μυστικά/PII στα logs.
- Συσχετίστε traces σε όλες τις υπηρεσίες για να βρείτε γρήγορα αργές κλήσεις.
—
## Παράδειγμα Διαμόρφωσης LiteLLM Proxy (Ετοιμο για Παραγωγή)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Ένα πρακτικό άρθρο βασισμένο σε παραδείγματα.
- Τα επίσημα έγγραφα LiteLLM για την έναρξη και τις βέλτιστες πρακτικές proxy.
—
## Σχέδιο Δράσης: Οι Επόμενες 7 Ημέρες σας
Ημέρα 1–2: Κάντε το crash course και τη γρήγορη εκκίνηση. κάντε το πρώτο σας αίτημα μέσω proxy.
Ημέρα 3–4: Προσθέστε έναν δεύτερο πάροχο και streaming. Ορίστε χρονικά όρια, επαναλήψεις.
Ημέρα 5: Δημιουργήστε το proxy με διαμόρφωση. δρομολογήστε ανά περίπτωση χρήσης (καθυστέρηση έναντι συλλογισμού).
Ημέρα 6: Προσθέστε logging, παρακολούθηση κόστους και σύνταξη.
Ημέρα 7: Δοκιμή φορτίου. προσομοιώστε αποτυχίες παρόχου. επαληθεύστε τις εφεδρείες.
—
## Βασικά Συμπεράσματα
- Το LiteLLM είναι η ταχύτερη διαδρομή για εφαρμογές LLM πολλαπλών παρόχων χωρίς αποκλεισμό προμηθευτή.
- Ξεκινήστε με μια διεπαφή συμβατή με OpenAI και, στη συνέχεια, ανεβείτε επίπεδο στο proxy για διακυβέρνηση.
- Επενδύστε νωρίς στη δρομολόγηση, την ανθεκτικότητα και την observability—θα τα χρειαστείτε τη δεύτερη εβδομάδα, όχι τον έκτο μήνα.
- Οι παραπάνω οδηγοί καλύπτουν το 80% αυτών που θα χρησιμοποιείτε καθημερινά. το υπόλοιπο είναι η μυστική σάλτσα του προϊόντος σας.
### Συχνές Ερωτήσεις
Ε1: Ποιος είναι ο καλύτερος οδηγός LiteLLM για αρχάριους;
Ξεκινήστε με το LiteLLM Crash Course στο YouTube για μια γρήγορη οπτική περιήγηση και, στη συνέχεια, διαβάστε τον επίσημο οδηγό Getting Started για το proxy. Ο οδηγός DataCamp παρέχει πρακτικά παραδείγματα που μπορείτε να αντιγράψετε.
Ε2: Πώς μπορώ να χρησιμοποιήσω το LiteLLM ως proxy συμβατό με OpenAI;
Εκτελέστε το LiteLLM proxy και κατευθύνετε τη βασική διεύθυνση URL του SDK σας στα `/v1` endpoints του proxy. Διατηρήστε τις λεπτομέρειες του παρόχου στη διαμόρφωση του LiteLLM, ώστε ο κώδικας της εφαρμογής σας να παραμείνει φορητός.
Ε3: Μπορεί το LiteLLM να δρομολογήσει αυτόματα μεταξύ OpenAI, Anthropic και Gemini;
Ναι. Ορίστε μοντέλα και στρατηγικές δρομολόγησης στη διαμόρφωση του LiteLLM για εναλλαγή μεταξύ παρόχων ανά καθυστέρηση, κόστος ή ποιότητα. Μπορείτε επίσης να ορίσετε εφεδρείες για αξιοπιστία.
Ε4: Πώς μπορώ να ενεργοποιήσω το streaming και την κλήση εργαλείου/συνάρτησης με το LiteLLM;
Χρησιμοποιήστε το API συμβατό με OpenAI μέσω του LiteLLM και ενεργοποιήστε το `stream=True` (ή SSE στο SDK σας). Για κλήση εργαλείου, ακολουθήστε τη μορφή κλήσης συνάρτησης OpenAI—το LiteLLM το προωθεί στον στοχευμένο πάροχο.
Ε5: Ποιος είναι ο ταχύτερος τρόπος για να ελέγξετε το κόστος με το LiteLLM;
Συγκεντρώστε τα αιτήματα μέσω του proxy, ενεργοποιήστε την καταγραφή χρήσης και επιβάλλετε όρια ταχύτητας και προϋπολογισμού ανά κλειδί. Δρομολογήστε διαφορετικά φόρτους εργασίας σε μοντέλα βελτιστοποιημένα για το κόστος και καρφιτσώστε εκδόσεις για να αποφύγετε εκπλήξεις.