from litellm import completion
resp = completion(
model="gpt-4o-mini", # અથવા "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## સ્ટ્રીમિંગ, ટૂલ્સ અને JSON મોડ
### સ્ટ્રીમિંગ પ્રતિભાવો
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### ખર્ચ અને ટોકન વપરાશ
LiteLLM ટોકન વપરાશને ટ્રેક કરી શકે છે અને વિનંતી, મોડેલ અથવા પ્રોજેક્ટ દીઠ ખર્ચનો અંદાજ લગાવી શકે છે. પ્રોક્સી સાથે, તમે વપરાશને લોગ, ડેશબોર્ડ અથવા બિલિંગ સિંક પર નિકાસ કરી શકો છો. જ્યારે તમે વિવિધ કિંમતો સાથે વિક્રેતાઓને મિક્સ કરો છો ત્યારે આ અમૂલ્ય છે.
---
## LiteLLM પ્રોક્સી (LLM ગેટવે)
જો તમે ટીમ અથવા પ્લેટફોર્મ છો, તો પ્રોક્સી એ વાસ્તવિક મહાસત્તા છે: રૂટીંગ, પ્રમાણીકરણ, દર મર્યાદાઓ, લોગીંગ અને અવલોકનક્ષમતા સાથેની કેન્દ્રિય સેવા. તમે OpenAI API સપાટીનો ઉપયોગ કરીને તેની સાથે ક્રિયાપ્રતિક્રિયા કરો છો જેથી તમારી એપ્લિકેશન કોડ ભાગ્યે જ બદલાય.
### પ્રોક્સી શરૂ કરો
```bash
# સૌથી સરળ સ્થાનિક રન
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## અદ્યતન રૂટીંગ: વિલંબતા, ખર્ચ અથવા વિશ્વસનીયતા
તમે રૂટીંગ વ્યૂહરચનાઓ અમલમાં મૂકી શકો છો જેમ કે:
- A/B મોડેલ્સ માટે વેઇટેડ રાઉન્ડ-રોબિન
- પ્રદેશ દ્વારા સૌથી ઓછી વિલંબતા-પ્રથમ
- બિન-જટિલ અંતિમ બિંદુઓ માટે ખર્ચ-સભાન રૂટીંગ
- પ્રદાતાઓ વચ્ચે ભૂલ પર ફોલબેક/પુનઃપ્રયાસ
રાઉટર નીતિ સાથે, તમે કહી શકો છો કે "સસ્તાને પ્રાધાન્ય આપો, મુશ્કેલ પ્રોમ્પ્ટ્સ માટે પ્રીમિયમ પર પાછા પડો." આ ઉચ્ચ ઉપલબ્ધતા અને અનુમાનિત બજેટ પ્રદાન કરે છે.
---
## ગાર્ડ્રેલ્સ, મધ્યસ્થતા અને સલામતી
PII ને દૂર કરવા, સલામતી ફિલ્ટર્સ લાગુ કરવા અથવા ક્લાયન્ટ્સને પરત કરતા પહેલાં આઉટપુટને મધ્યસ્થી કરવા માટે પ્રી- અને પોસ્ટ-પ્રોસેસિંગ મિડલવેર ઉમેરો. તમારી પોતાની નીતિ તપાસ સાથે પ્રદાતા-મૂળ મધ્યસ્થતા (દા.ત., OpenAI, Google) ને પ્રોક્સીમાં જોડો. ઉદાહરણ: JSON સ્કીમા માન્યતાની જરૂર છે અને જ્યારે અમાન્ય હોય ત્યારે ફરીથી પૂછો.
---
## અવલોકનક્ષમતા અને લોગીંગ
- રિડેક્શન સાથે વિનંતી/પ્રતિભાવ લોગીંગને સક્ષમ કરો.
- Prometheus/Grafana અથવા તમારા APM પર મેટ્રિક્સ નિકાસ કરો.
- અંતિમ બિંદુ અને વપરાશકર્તા દ્વારા વિલંબતા, ટોકન્સ અને ખર્ચને ટ્રેસ કરો.
આ "મોડેલ રૂલેટ" ને SLOs અને બજેટ્સ સાથેની સંચાલિત સેવામાં ફેરવે છે.
---
## વાસ્તવિક-વિશ્વ વપરાશ પેટર્ન
1) બહુ-વિક્રેતા સ્થિતિસ્થાપકતા
- પ્રાથમિક: ઝડપી/સસ્તું મોડેલ; ફોલબેક: 429/5xx પર ઉચ્ચ-ચોકસાઈવાળું મોડેલ.
- લાભો: વધુ સારો અપટાઇમ, ખર્ચ નિયંત્રણ અને સ્થિર ગુણવત્તા.
2) લક્ષણ ધ્વજ મોડેલ અપગ્રેડ્સ
- ટ્રાફિકના 5% સુધી નવા મોડેલને કેનેરી કરવા માટે રાઉટર વેઇટ્સનો ઉપયોગ કરો; મેટ્રિક્સ મોનિટર કરો; જ્યારે સ્થિર હોય ત્યારે રેમ્પ અપ કરો.
3) ઉત્પાદન સ્તરો
- મફત સ્તર નાના મોડેલ્સ પર રૂટ કરવામાં આવે છે; પ્રો સ્તર પ્રીમિયમ મોડેલ્સ પર.
4) પ્રોમ્પ્ટ રજિસ્ટ્રી અને નમૂનાઓ
- પ્રોક્સીમાં પ્રોમ્પ્ટ્સને કેન્દ્રિય બનાવો જેથી સેવાઓ પુનઃજમાવટ વિના સુધારાઓ વારસામાં મેળવે.
5) ટીમ બિલિંગ અને બજેટ
- API કી દ્વારા ખર્ચને ટ્રેક કરો; ટીમ અથવા ઉત્પાદન દીઠ સોફ્ટ અને હાર્ડ મર્યાદાઓ લાગુ કરો.
---
## સુરક્ષા અને પાલન ચેકલિસ્ટ
- તમારા ગુપ્ત મેનેજરમાં પ્રદાતા કીઓ સ્ટોર કરો; રૂપરેખાંકનમાં env vars દ્વારા સંદર્ભ લો.
- લોગમાં વિનંતી રિડેક્શન અને PII સ્ક્રબિંગ ચાલુ કરો.
- પ્રોક્સી માટે સેવા દીઠ API કીનો ઉપયોગ કરો; નિયમિતપણે ફેરવો.
- સંસ્થા-વ્યાપી દર મર્યાદાઓ અને ક્વોટા સેટ કરો.
- મોડેલ્સ અને અંતિમ બિંદુઓ માટે એલોલિસ્ટ્સ/ડેનીલિસ્ટ્સ ઉમેરો.
---
## મુશ્કેલીનિવારણ: ઝડપી ફિક્સ
- પ્રોક્સી દ્વારા "અનધિકૃત": `auth.api_keys` તપાસો અને ખાતરી કરો કે તમારો ક્લાયન્ટ `base_url` + સાચી કીનો ઉપયોગ કરે છે.
- મોડેલ મળ્યું નથી: ખાતરી કરો કે `model_list` માં તમે કૉલ કરી રહ્યાં છો તે મૈત્રીપૂર્ણ નામ શામેલ છે.
- સમયસમાપ્તિ: `timeout` વધારો અથવા નીચી વિલંબતાવાળા પ્રદાતા પ્રદેશ પર રૂટ કરો.
- વિચિત્ર આઉટપુટ: JSON સ્કીમા + માન્યતાને સક્ષમ કરો; પુનઃપ્રયાસો અને ફોલબેક્સ ઉમેરો.
- ખર્ચ સ્પાઇક્સ: કેશીંગ ચાલુ કરો; જથ્થાબંધ ટ્રાફિકને સસ્તા મોડેલ્સ પર રૂટ કરો; કી દીઠ ક્વોટા સેટ કરો.
ઊંડાણપૂર્વકના ડાઇવ્સ અને નવીનતમ સુવિધાઓ માટે, સત્તાવાર દસ્તાવેજો વારંવાર અપડેટ કરવામાં આવે છે અને બુકમાર્ક કરવા યોગ્ય છે. DataCamp ની માર્ગદર્શિકા જેવા ટ્યુટોરીયલ્સ હેન્ડ-ઓન પેટર્ન માટે ઉત્તમ છે, અને શિખાઉ માણસ માટે ક્રેશ કોર્સ વિડિયો તમને ક્રિયામાં વિભાવનાઓ જોવામાં મદદ કરી શકે છે.
---
## તે બધાને એકસાથે મૂકો: સંદર્ભ એપ્લિકેશન સ્કેલેટન (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1:LiteLLM શું છે અને સીધા પ્રદાતા SDKs પર તેનો ઉપયોગ શા માટે કરવો?
LiteLLM એ 100+ LLMs માટે OpenAI-સુસંગત ગેટવે છે, જે તમને એક API અને એક માનસિક મોડેલ આપે છે. તે વિક્રેતા લોક-ઇનને ઘટાડે છે, રૂટીંગને સરળ બનાવે છે અને કેશીંગ, પુનઃપ્રયાસો અને ખર્ચ ટ્રેકિંગ જેવી ઓપ્સ સુવિધાઓ ઉમેરે છે.
<a103></a104>
Q2:હું OpenAI SDK સાથે LiteLLM નો ઉપયોગ કેવી રીતે કરું?
SDK ના બેઝ URL ને LiteLLM પ્રોક્સી પર પોઈન્ટ કરો અને તમારી પ્રોક્સી API કીનો ઉપયોગ કરો. તમારો કોડ સમાન રહી શકે છે જ્યારે પ્રોક્સી પડદા પાછળ પ્રદાતાઓ અથવા મોડેલ્સને સ્વેપ કરે છે.
Q3:શું LiteLLM પ્રતિભાવોને સ્ટ્રીમ કરી શકે છે અને JSON પરત કરી શકે છે?
હા. ટોકન સ્ટ્રીમ્સ મેળવવા માટે `stream=True` નો ઉપયોગ કરો અને પ્રદાતાઓ વચ્ચે માળખાગત આઉટપુટ લાગુ કરવા માટે JSON સ્કીમા સાથે `response_format` નો ઉપયોગ કરો.
Q4:હું વિવિધ LLM પ્રદાતાઓ વચ્ચે ખર્ચને કેવી રીતે નિયંત્રિત કરું?
વપરાશ લોગીંગ અને ખર્ચ અંદાજને સક્ષમ કરો, કેશીંગ ઉમેરો, દર મર્યાદાઓ સેટ કરો અને પ્રોક્સી દ્વારા જથ્થાબંધ ટ્રાફિકને સસ્તા મોડેલ્સ પર રૂટ કરો. બજેટ્સ અને SLOs માટે ડેશબોર્ડ્સ સાથે મોનિટર કરો.
Q5:શું LiteLLM ઉત્પાદન ટીમો માટે યોગ્ય છે?
હા. પ્રોક્સી પ્રમાણીકરણ, દર મર્યાદાઓ, રૂટીંગ, અવલોકનક્ષમતા અને સલામતી મિડલવેર પ્રદાન કરે છે. તે LLM ગેટવે તરીકે ડિઝાઇન કરવામાં આવ્યું છે જે તમારા એપ્લિકેશનને OpenAI-સુસંગત રાખીને સંચાલનને કેન્દ્રિય બનાવે છે.