from litellm import completion
resp = completion(
model="gpt-4o", # או "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- הפעילו את קוד ההתחלה המהירה שלמעלה.
- מטרה: בצעו את בקשת ה-OpenAI התואמת הראשונה שלכם באמצעות LiteLLM.
- בונה מעשי
- קראו את המדריך של DataCamp והרחיבו דוגמאות עם streaming וניסיונות חוזרים.
- הוסיפו שני ספקים ובדקו מנגנוני fallback.
- בעלים של צוות/ייצור
- למדו את מדריך תחילת העבודה הרשמי.
- הקימו את הפרוקסי, הוסיפו יכולת ניטור ומעקב אחר עלויות.
- אכפו מגבלות קצב ומדיניות צנזור PII.
—
## צלילה עמוקה: דפוסים שתשתמשו בהם מדי שבוע
### תאימות OpenAI כחוזה ממשק
- התייחסו לצורת ה-API של OpenAI כחוזה האפליקציה שלכם. כל הבקשות הולכות לנקודות הקצה `/v1/*` של ה-LiteLLM proxy שלכם.
- החליפו מודלים (לדוגמה, `gpt-4o` → `claude-3-5`) על ידי תצורה, לא קוד.
### ניתוב מודלים לפי מקרה שימוש
- נתיב רגיש לזמן אחזור: נתב למודלים מהירים וזולים יותר.
- נתיב הסקה: נתב למודלים באיכות גבוהה יותר עבור retrieval-augmented generation (RAG) או שימוש בכלי עבודה.
- נתיב פרטיות: נתב למקומי/Ollama עבור מקטעי PII.
### אמצעי זהירות לעלויות
- תייגו בקשות עם `user_id`/`team`.
- הגדירו תקציבים לכל צוות/מודל.
- רשמו שימוש באסימונים בחנות מרכזית והתריעו על חריגות.
### עמידות
- אפשרו ניסיונות חוזרים עם jitter.
- הגדירו זמן קצוב לכל ספק ומפסקי זרם על כשלים חוזרים ונשנים.
- הגדירו סדרי עדיפויות של ספקים ומנגנוני fallback מפורשים.
### יכולת ניטור
- צלמו מטא נתונים של בקשות/תגובות, היסטוגרמות של זמן אחזור ומודל/גרסה.
- צנזרו סודות/PII ביומנים.
- צרו קורלציה של מעקבים בין שירותים כדי למצוא קריאות איטיות במהירות.
—
## דוגמה לתצורת LiteLLM Proxy (מתנע מוכן לייצור)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- מאמר מעשי ומונחה דוגמאות.
- מסמכי LiteLLM הרשמיים לתחילת העבודה ושיטות עבודה מומלצות של פרוקסי.
—
## תוכנית פעולה: 7 הימים הבאים שלכם
יום 1–2: עשו את הקורס המזורז ואת ההתחלה המהירה; בצעו את הבקשה המקודמת הראשונה שלכם.
יום 3–4: הוסיפו ספק שני ו-streaming; הגדירו זמנים קצובים, ניסיונות חוזרים.
יום 5: הקימו את הפרוקסי עם תצורה; נתבו לפי מקרה שימוש (זמן אחזור לעומת הסקה).
יום 6: הוסיפו רישום, מעקב אחר עלויות וצנזורה.
יום 7: בדקו עומסים; הדמי את כשלי הספק; אמת מנגנוני fallback.
—
## מסקנות עיקריות
- LiteLLM הוא הנתיב המהיר ביותר לאפליקציות LLM מרובות ספקים ללא נעילת ספקים.
- התחילו עם ממשק תואם OpenAI, ואז עלו רמה לפרוקסי לצורך ממשל.
- השקיעו מוקדם בניווט, עמידות ויכולת ניטור - תזדקקו להם בשבוע השני, לא בחודש השישי.
- המדריכים שלמעלה מכסים 80% ממה שתשתמשו בו מדי יום; השאר הוא הרוטב הסודי של המוצר שלכם.
### שאלות נפוצות
שאלה 1:מהו מדריך LiteLLM הטוב ביותר למתחילים?
התחילו עם קורס המזורז של LiteLLM ביוטיוב עבור סקירה חזותית מהירה, ואז קראו את מדריך תחילת העבודה הרשמי עבור הפרוקסי. המדריך של DataCamp מספק דוגמאות מעשיות שתוכלו להעתיק.
שאלה 2:איך אני משתמש ב-LiteLLM כפרוקסי תואם OpenAI?
הפעילו את ה-LiteLLM proxy וכוונו את כתובת ה-URL הבסיסית של ה-SDK שלכם לנקודות הקצה `/v1` של הפרוקסי. שמרו פרטי ספק בתצורת LiteLLM כך שקוד האפליקציה שלכם יישאר נייד.
שאלה 3:האם LiteLLM יכול לנתב בין OpenAI, Anthropic ו-Gemini באופן אוטומטי?
כן. הגדירו מודלים ואסטרטגיות ניתוב בתצורת LiteLLM כדי לעבור בין ספקים לפי זמן אחזור, עלות או איכות. אתם יכולים גם להגדיר מנגנוני fallback לאמינות.
שאלה 4:איך אני מאפשר streaming ושימוש בכלי עבודה/פונקציות עם LiteLLM?
השתמשו ב-API התואם OpenAI באמצעות LiteLLM ואפשרו `stream=True` (או SSE ב-SDK שלכם). עבור שימוש בכלי עבודה, בצעו את פורמט קריאת הפונקציות של OpenAI - LiteLLM מעביר אותו לספק היעד.
שאלה 5:מהי הדרך המהירה ביותר לשלוט בעלויות עם LiteLLM?
רכזו בקשות דרך הפרוקסי, אפשרו רישום שימוש ואכפו מגבלות קצב ותקציבים לכל מפתח. נתבו עומסי עבודה שונים למודלים מותאמי עלות והצמידו גרסאות כדי למנוע הפתעות.