from litellm import completion
resp = completion(
model="gpt-4o", # या "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- ऊपर दिए गए क्विकस्टार्ट कोड को चलाएं।
- लक्ष्य: LiteLLM के माध्यम से अपना पहला OpenAI-कम्पेटिबल रिक्वेस्ट करें।
- प्रैक्टिकल बिल्डर
- डेटाकैंप ट्यूटोरियल पढ़ें और स्ट्रीमिंग और रिट्राई के साथ उदाहरणों को एक्सटेंड करें।
- दो प्रोवाइडर जोड़ें और फॉलबैक का परीक्षण करें।
- टीम/प्रोडक्शन ओनर
- आधिकारिक गेटिंग स्टार्टेड गाइड का अध्ययन करें।
- प्रॉक्सी को स्टैंड अप करें, ऑब्जरवेबिलिटी और कॉस्ट ट्रैकिंग जोड़ें।
- रेट लिमिट और PII रिडेक्शन पॉलिसी लागू करें।
—
## डीप डाइव: पैटर्न जिनका आप साप्ताहिक उपयोग करेंगे
### इंटरफ़ेस कॉन्ट्रैक्ट के रूप में OpenAI कम्पेटिबिलिटी
- OpenAI के API शेप को अपने ऐप कॉन्ट्रैक्ट के रूप में ट्रीट करें। सभी रिक्वेस्ट आपके LiteLLM प्रॉक्सी के `/v1/*` एंडपॉइंट पर जाती हैं।
- कोड से नहीं, बल्कि कॉन्फ़िग द्वारा मॉडल (`gpt-4o` → `claude-3-5`) स्वैप करें।
### यूज़ केस द्वारा मॉडल रूटिंग
- लेटेंसी-सेंसिटिव पाथ: तेज़, सस्ते मॉडल पर रूट करें।
- रीज़निंग पाथ: रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) या टूल यूज़ के लिए उच्च-गुणवत्ता वाले मॉडल पर रूट करें।
- प्राइवेसी पाथ: PII सेगमेंट के लिए लोकल/Ollama पर रूट करें।
### कॉस्ट गार्डरेल
- `user_id`/`team` के साथ रिक्वेस्ट टैग करें।
- प्रति टीम/मॉडल बजट सेट करें।
- टोकन यूसेज को एक सेंट्रल स्टोर में लॉग करें और असामान्यताओं पर अलर्ट करें।
### रेसिलिएंस
- जिटर के साथ रिट्राई को इनेबल करें।
- प्रति प्रोवाइडर टाइमआउट और बार-बार होने वाली विफलताओं पर सर्किट ब्रेकर कॉन्फ़िगर करें।
- प्रोवाइडर प्राथमिकताओं और स्पष्ट फॉलबैक को परिभाषित करें।
### ऑब्जरवेबिलिटी
- रिक्वेस्ट/रिस्पॉन्स मेटाडेटा, लेटेंसी हिस्टोग्राम और मॉडल/वर्जन कैप्चर करें।
- लॉग में सीक्रेट/PII को रिडैक्ट करें।
- धीमी कॉल को जल्दी से खोजने के लिए सेवाओं में ट्रेसेस को कोरिलेट करें।
—
## उदाहरण LiteLLM प्रॉक्सी कॉन्फ़िग (प्रोडक्शन-रेडी स्टार्टर)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- एक प्रैक्टिकल, उदाहरण-संचालित लेख।
- शुरुआत करने और प्रॉक्सी बेस्ट प्रैक्टिस के लिए आधिकारिक LiteLLM डॉक्स।
—
## एक्शन प्लान: आपके अगले 7 दिन
दिन 1–2: क्रैश कोर्स और क्विकस्टार्ट करें; अपना पहला प्रॉक्सीड रिक्वेस्ट करें।
दिन 3–4: एक दूसरा प्रोवाइडर और स्ट्रीमिंग जोड़ें; टाइमआउट सेट करें, रिट्राई करें।
दिन 5: कॉन्फ़िग के साथ प्रॉक्सी को स्टैंड अप करें; यूज़ केस (लेटेंसी बनाम रीज़निंग) द्वारा रूट करें।
दिन 6: लॉगिंग, कॉस्ट ट्रैकिंग और रिडेक्शन जोड़ें।
दिन 7: लोड-टेस्ट; प्रोवाइडर विफलताओं को सिमुलेट करें; फॉलबैक को वेरिफाई करें।
—
## मुख्य बातें
- LiteLLM वेंडर लॉक-इन के बिना मल्टी-प्रोवाइडर LLM ऐप्स का सबसे तेज़ मार्ग है।
- एक OpenAI-कम्पेटिबल इंटरफ़ेस से शुरुआत करें, फिर गवर्नेंस के लिए प्रॉक्सी में लेवल अप करें।
- रूटिंग, रेसिलिएंस और ऑब्जरवेबिलिटी में जल्दी निवेश करें—आपको इनकी ज़रूरत महीने छह में नहीं, बल्कि सप्ताह दो में होगी।
- ऊपर दिए गए ट्यूटोरियल 80% कवर करते हैं जिनका आप दैनिक उपयोग करेंगे; बाकी आपके उत्पाद का गुप्त सॉस है।
### FAQ
Q1:शुरुआती लोगों के लिए सबसे अच्छा LiteLLM ट्यूटोरियल क्या है?
एक त्वरित विज़ुअल वॉकथ्रू के लिए YouTube पर LiteLLM क्रैश कोर्स से शुरुआत करें, फिर प्रॉक्सी के लिए आधिकारिक गेटिंग स्टार्टेड गाइड पढ़ें। डेटाकैंप ट्यूटोरियल प्रैक्टिकल उदाहरण प्रदान करता है जिन्हें आप कॉपी कर सकते हैं।
Q2:मैं LiteLLM को OpenAI-कम्पेटिबल प्रॉक्सी के रूप में कैसे उपयोग करूं?
LiteLLM प्रॉक्सी चलाएं और अपने SDK के बेस URL को प्रॉक्सी के `/v1` एंडपॉइंट पर पॉइंट करें। प्रोवाइडर डिटेल को LiteLLM कॉन्फ़िग में रखें ताकि आपका एप्लिकेशन कोड पोर्टेबल रहे।
Q3:क्या LiteLLM स्वचालित रूप से OpenAI, Anthropic और Gemini के बीच रूट कर सकता है?
हाँ। लेटेंसी, कॉस्ट या क्वालिटी के आधार पर प्रोवाइडर के बीच स्विच करने के लिए LiteLLM कॉन्फ़िग में मॉडल और रूटिंग रणनीतियों को परिभाषित करें। आप विश्वसनीयता के लिए फ़ॉलबैक भी सेट कर सकते हैं।
Q4:मैं LiteLLM के साथ स्ट्रीमिंग और टूल/फ़ंक्शन कॉलिंग को कैसे इनेबल करूं?
LiteLLM के माध्यम से OpenAI-कम्पेटिबल API का उपयोग करें और `stream=True` (या अपने SDK में SSE) इनेबल करें। टूल कॉलिंग के लिए, OpenAI फ़ंक्शन-कॉलिंग फ़ॉर्मेट का पालन करें—LiteLLM इसे टारगेट प्रोवाइडर को फ़ॉरवर्ड करता है।
Q5:LiteLLM के साथ कॉस्ट को कंट्रोल करने का सबसे तेज़ तरीका क्या है?
प्रॉक्सी के माध्यम से रिक्वेस्ट को सेंट्रलाइज करें, यूसेज लॉगिंग को इनेबल करें और प्रति-की रेट लिमिट और बजट लागू करें। अलग-अलग वर्कलोड को कॉस्ट-ऑप्टिमाइज़्ड मॉडल पर रूट करें और आश्चर्य से बचने के लिए वर्शन को पिन करें।