from litellm import completion
resp = completion(
model="gpt-4o-mini", # లేదా "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## స్ట్రీమింగ్, టూల్స్ మరియు JSON మోడ్
### స్ట్రీమింగ్ ప్రతిస్పందనలు
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### వ్యయం మరియు టోకెన్ వినియోగం
LiteLLM టోకెన్ వినియోగాన్ని ట్రాక్ చేయగలదు మరియు అభ్యర్థన, మోడల్ లేదా ప్రాజెక్ట్ ప్రకారం వ్యయాన్ని అంచనా వేయగలదు. ప్రాక్సీతో, మీరు లాగ్‌లు, డాష్‌బోర్డ్‌లు లేదా బిల్లింగ్ సింక్‌కు వినియోగాన్ని ఎగుమతి చేయవచ్చు. విభిన్న ధరలతో విక్రేతలను కలపడానికి ఇది చాలా విలువైనది.
---
## LiteLLM ప్రాక్సీ (LLM గేట్‌వే)
మీరు ఒక బృందం లేదా ప్లాట్‌ఫారమ్ అయితే, ప్రాక్సీ నిజమైన సూపర్‌పవర్: రూటింగ్, ప్రామాణీకరణ, రేట్ పరిమితులు, లాగింగ్ మరియు పరిశీలనతో కూడిన కేంద్ర సేవ. మీరు OpenAI API ఉపరితలాన్ని ఉపయోగించి దానితో సంకర్షణ చెందుతారు కాబట్టి మీ అనువర్తన కోడ్ చాలా అరుదుగా మారుతుంది.
### ప్రాక్సీని ప్రారంభించండి
```bash
# సులభమైన స్థానిక అమలు
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## అధునాతన రూటింగ్: లేటెన్సీ, వ్యయం లేదా విశ్వసనీయత
మీరు రూటింగ్ వ్యూహాలను అమలు చేయవచ్చు:
- A/B మోడళ్లకు వెయిటెడ్ రౌండ్-రాబిన్
- ప్రాంతం వారీగా అత్యల్ప-లేటెన్సీ-మొదటిది
- క్లిష్టమైన ఎండ్‌పాయింట్‌ల కోసం వ్యయ-అవగాహన రూటింగ్
- ప్రొవైడర్‌లలో ఫాల్‌బ్యాక్-ఆన్-ఎర్రర్/రీట్రై
రౌటర్ పాలసీతో, మీరు “చౌకైన దానికి ప్రాధాన్యత ఇవ్వండి, కఠినమైన ప్రాంప్ట్‌ల కోసం ప్రీమియానికి ఫాల్‌బ్యాక్ చేయండి” అని చెప్పవచ్చు. ఇది అధిక లభ్యత మరియు ఊహించదగిన బడ్జెట్‌లను అందిస్తుంది.
---
## గార్డ్‌రైల్స్, మోడరేషన్ మరియు భద్రత
PIIని తీసివేయడానికి, భద్రతా ఫిల్టర్‌లను అమలు చేయడానికి లేదా క్లయింట్‌లకు తిరిగి రావడానికి ముందు అవుట్‌పుట్‌లను మోడరేట్ చేయడానికి ప్రీ- మరియు పోస్ట్-ప్రాసెసింగ్ మిడిల్‌వేర్‌ను జోడించండి. ప్రాక్సీలో మీ స్వంత పాలసీ తనిఖీలతో ప్రొవైడర్-స్థానిక మోడరేషన్‌ను (ఉదా., OpenAI, Google) కలపండి. ఉదాహరణ: JSON స్కీమా ధ్రువీకరణ అవసరం మరియు చెల్లనిది అయినప్పుడు మళ్లీ అడగండి.
---
## పరిశీలన మరియు లాగింగ్
- రిడక్షన్‌తో అభ్యర్థన/ప్రతిస్పందన లాగింగ్‌ను ప్రారంభించండి.
- ప్రోమెథియస్/గ్రాఫానా లేదా మీ APMకి మెట్రిక్‌లను ఎగుమతి చేయండి.
- ఎండ్‌పాయింట్ మరియు యూజర్ ద్వారా లేటెన్సీ, టోకెన్‌లు మరియు వ్యయాన్ని ట్రేస్ చేయండి.
ఇది “మోడల్ రౌలెట్”ను SLOలు మరియు బడ్జెట్‌లతో నిర్వహించబడే సేవగా మారుస్తుంది.
---
## నిజ-ప్రపంచ వినియోగ నమూనాలు
1) బహుళ-విక్రేత స్థితిస్థాపకత
- ప్రాథమిక: వేగవంతమైన/చౌకైన మోడల్; ఫాల్‌బ్యాక్: 429/5xxలో అధిక-ఖచ్చితత్వ మోడల్.
- ప్రయోజనాలు: మెరుగైన అప్‌టైమ్, వ్యయ నియంత్రణ మరియు స్థిరమైన నాణ్యత.
2) ఫీచర్ ఫ్లాగ్ మోడల్ అప్‌గ్రేడ్‌లు
- ట్రాఫిక్‌లో 5%కి కొత్త మోడల్‌ను కానరీ చేయడానికి రౌటర్ వెయిట్‌లను ఉపయోగించండి; మెట్రిక్‌లను పర్యవేక్షించండి; స్థిరంగా ఉన్నప్పుడు పెంచండి.
3) ఉత్పత్తి శ్రేణులు
- చిన్న మోడళ్లకు ఉచిత శ్రేణి రూట్ చేయబడింది; ప్రీమియం మోడళ్లకు ప్రో శ్రేణి.
4) ప్రాంప్ట్ రిజిస్ట్రీలు మరియు టెంప్లేట్లు
- సేవలు పునర్నిర్మాణాలు లేకుండా మెరుగుదలలను వారసత్వంగా పొందేలా ప్రాంప్ట్‌లను ప్రాక్సీలో కేంద్రీకరించండి.
5) బృందం బిల్లింగ్ మరియు బడ్జెట్‌లు
- API కీ ద్వారా ఖర్చును ట్రాక్ చేయండి; బృందం లేదా ఉత్పత్తికి ఒక్కోదానికి సాఫ్ట్ మరియు హార్డ్ పరిమితులను అమలు చేయండి.
---
## భద్రత మరియు సమ్మతి తనిఖీ జాబితా
- మీ రహస్య నిర్వాహకుడిలో ప్రొవైడర్ కీలను నిల్వ చేయండి; కాన్ఫిగ్‌లో env వేరియబుల్స్ ద్వారా సూచించండి.
- లాగ్‌లలో అభ్యర్థన రిడక్షన్ మరియు PII స్క్రబ్బింగ్‌ను ప్రారంభించండి.
- ప్రాక్సీ కోసం ఒక్కో సర్వీస్ API కీలను ఉపయోగించండి; క్రమం తప్పకుండా తిప్పండి.
- సంస్థ-వ్యాప్త రేట్ పరిమితులు మరియు కోటాలను సెట్ చేయండి.
- మోడల్‌లు మరియు ఎండ్‌పాయింట్‌ల కోసం అనుమతి జాబితాలు/తిరస్కరణ జాబితాలను జోడించండి.
---
## ట్రబుల్షూటింగ్: వేగవంతమైన పరిష్కారాలు
- ప్రాక్సీ ద్వారా “అనధికారిక”: `auth.api_keys` మరియు మీ క్లయింట్ `base_url` + సరైన కీని ఉపయోగిస్తుందో లేదో తనిఖీ చేయండి.
- మోడల్ కనుగొనబడలేదు: మీరు పిలుస్తున్న స్నేహపూర్వక పేరు `model_list`లో ఉందని నిర్ధారించుకోండి.
- టైమ్‌అవుట్‌లు: `timeout`ని పెంచండి లేదా తక్కువ-లేటెన్సీ ప్రొవైడర్ ప్రాంతానికి రూట్ చేయండి.
- వింత అవుట్‌పుట్‌లు: JSON స్కీమా + ధ్రువీకరణను ప్రారంభించండి; రీట్రైలు మరియు ఫాల్‌బ్యాక్‌లను జోడించండి.
- వ్యయ పెరుగుదల: కాషింగ్‌ను ప్రారంభించండి; బల్క్ ట్రాఫిక్‌ను చౌకైన మోడళ్లకు రూట్ చేయండి; ఒక్కో కీ కోటాలను సెట్ చేయండి.
లోతైన డైవ్‌లు మరియు తాజా ఫీచర్‌ల కోసం, అధికారిక డాక్స్ తరచుగా నవీకరించబడతాయి మరియు బుక్‌మార్క్ చేయడానికి విలువైనవి. డేటాక్యాంప్ గైడ్ వంటి ట్యుటోరియల్‌లు ఆచరణాత్మక నమూనాల కోసం గొప్పవి, మరియు ప్రారంభ క్రాష్ కోర్స్ వీడియో చర్యలో ఉన్న భావనలను చూడటానికి మీకు సహాయపడుతుంది.
---
## అన్నింటినీ కలిపి ఉంచండి: రిఫరెన్స్ యాప్ స్కెలెటన్ (పైథాన్ FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1:LiteLLM అంటే ఏమిటి మరియు డైరెక్ట్ ప్రొవైడర్ SDKలపై దీన్ని ఎందుకు ఉపయోగించాలి?
LiteLLM అనేది 100+ LLMల కోసం OpenAI-అనుకూల గేట్‌వే, ఇది మీకు ఒక API మరియు ఒక మానసిక నమూనాని అందిస్తుంది. ఇది విక్రేత లాక్-ఇన్‌ను తగ్గిస్తుంది, రూటింగ్‌ను సులభతరం చేస్తుంది మరియు కాషింగ్, రీట్రైలు మరియు కాస్ట్ ట్రాకింగ్ వంటి ఆప్స్ ఫీచర్లను జోడిస్తుంది.
Q2:OpenAI SDKతో నేను LiteLLMని ఎలా ఉపయోగించగలను?
SDK యొక్క బేస్ URLని LiteLLM ప్రాక్సీకి చూపండి మరియు మీ ప్రాక్సీ API కీని ఉపయోగించండి. ప్రాక్సీ తెరవెనుక ప్రొవైడర్‌లను లేదా మోడల్‌లను మార్చినప్పుడు మీ కోడ్ అలాగే ఉంటుంది.
Q3:LiteLLM ప్రతిస్పందనలను స్ట్రీమ్ చేయగలదా మరియు JSONని తిరిగి ఇవ్వగలదా?
అవును. టోకెన్ స్ట్రీమ్‌లను పొందడానికి `stream=True`ని ఉపయోగించండి మరియు ప్రొవైడర్‌లలో నిర్మాణాత్మక అవుట్‌పుట్‌లను అమలు చేయడానికి JSON స్కీమాతో `response_format`ని ఉపయోగించండి.
Q4:వివిధ LLM ప్రొవైడర్లలో ఖర్చులను నేను ఎలా నియంత్రించగలను?
వినియోగ లాగింగ్ మరియు వ్యయ అంచనాను ప్రారంభించండి, కాషింగ్‌ను జోడించండి, రేట్ పరిమితులను సెట్ చేయండి మరియు బల్క్ ట్రాఫిక్‌ను ప్రాక్సీ ద్వారా చౌకైన మోడల్‌లకు రూట్ చేయండి. బడ్జెట్‌లు మరియు SLOల కోసం డాష్‌బోర్డ్‌లతో పర్యవేక్షించండి.
Q5:LiteLLM ఉత్పత్తి బృందాలకు తగినదా?
అవును. ప్రాక్సీ ప్రామాణీకరణ, రేట్ పరిమితులు, రూటింగ్, పరిశీలన మరియు భద్రతా మిడిల్‌వేర్‌ను అందిస్తుంది. ఇది మీ అనువర్తనాన్ని OpenAI-అనుకూలంగా ఉంచుతూనే పరిపాలనను కేంద్రీకరించే LLM గేట్‌వేగా రూపొందించబడింది.