from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## மேம்பட்ட ரூட்டிங்: தாமதம், செலவு அல்லது நம்பகத்தன்மை
போன்ற ரூட்டிங் உத்திகளை நீங்கள் செயல்படுத்தலாம்:
- A/B மாதிரிகளுக்கு ஏற்ற எடையுள்ள ரவுண்ட்-ராபின்
- பிராந்தியத்தின்படி குறைந்த தாமதம் முதலில்
- முக்கியமான எண்ட்பாயிண்ட்களுக்கு செலவு குறைந்த ரூட்டிங்
- வழங்குநர்கள் முழுவதும் பிழை ஏற்படும்போது பின்வாங்குதல்/மறுமுயற்சி
ரூட்டர் கொள்கையின் மூலம், "மலிவானதை விரும்புங்கள், கடினமான தூண்டுதல்களுக்கு பிரீமியத்திற்கு பின்வாங்குங்கள்" என்று நீங்கள் கூறலாம். இது அதிக கிடைக்கும் தன்மையையும் கணிக்கக்கூடிய பட்ஜெட்களையும் வழங்குகிறது.
---
## பாதுகாப்புக் கட்டுப்பாடுகள், மிதப்படுத்தல் மற்றும் பாதுகாப்பு
PII-ஐ அகற்ற, பாதுகாப்பு வடிப்பான்களைச் செயல்படுத்த அல்லது வாடிக்கையாளர்களுக்குத் திரும்பும் முன் வெளியீடுகளை மிதப்படுத்த முன் மற்றும் பிந்தைய செயலாக்க இடைத்தரகர்களைச் சேர்க்கவும். வழங்குநர்-சொந்த மிதப்படுத்தலை (எ.கா., OpenAI, Google) ப்ராக்ஸியில் உங்கள் சொந்த கொள்கை சோதனைகளுடன் இணைக்கவும். எடுத்துக்காட்டு: JSON ஸ்கீமா சரிபார்ப்பு தேவை மற்றும் தவறானதாக இருக்கும்போது மீண்டும் கேட்கவும்.
---
## கண்காணிப்பு மற்றும் பதிவு
- திருத்தத்துடன் கோரிக்கை/பதில் பதிவை இயக்கவும்.
- அளவீடுகளை Prometheus/Grafana அல்லது உங்கள் APM-க்கு ஏற்றுமதி செய்யவும்.
- எண்ட்பாயிண்ட் மற்றும் பயனரின் மூலம் தாமதம், டோக்கன்கள் மற்றும் செலவைக் கண்காணிக்கவும்.
இது “மாதிரி ரூலட்” ஐ SLO-கள் மற்றும் பட்ஜெட்களுடன் கூடிய நிர்வகிக்கப்பட்ட சேவையாக மாற்றுகிறது.
---
## உண்மையான உலக பயன்பாட்டு முறைகள்
1) பல விற்பனையாளர் மீள்திறன்
- முதன்மை: வேகமான/மலிவான மாதிரி; பின்வாங்குதல்: 429/5xx இல் அதிக துல்லியமான மாதிரி.
- நன்மைகள்: சிறந்த இயக்க நேரம், செலவுக் கட்டுப்பாடு மற்றும் நிலையான தரம்.
2) அம்சம் கொடி மாதிரி மேம்படுத்தல்கள்
- ஒரு புதிய மாதிரியை போக்குவரத்தில் 5% ஆக கேனரி செய்ய ரூட்டர் எடைகளைப் பயன்படுத்தவும்; அளவீடுகளை கண்காணிக்கவும்; நிலையானதாக இருக்கும்போது அதிகரிக்கவும்.
3) தயாரிப்பு அடுக்குகள்
- சிறிய மாதிரிகளுக்கு இலவச அடுக்கு ரூட்; பிரீமியம் மாதிரிகளுக்கு Pro அடுக்கு.
4) தூண்டுதல் பதிவேடுகள் மற்றும் வார்ப்புருக்கள்
- தூண்டுதல்களை ப்ராக்ஸியில் மையப்படுத்துங்கள், இதனால் சேவைகள் மறுபயன்படுத்தல்கள் இல்லாமல் மேம்பாடுகளைப் பெறுகின்றன.
5) குழு பில்லிங் மற்றும் பட்ஜெட்கள்
- API விசையின் மூலம் செலவழிப்பதைக் கண்காணிக்கவும்; ஒவ்வொரு குழு அல்லது தயாரிப்புக்கும் மென்மையான மற்றும் கடினமான வரம்புகளை செயல்படுத்தவும்.
---
## பாதுகாப்பு மற்றும் இணக்க சரிபார்ப்பு பட்டியல்
- உங்கள் ரகசிய மேலாளரில் வழங்குநர் விசைகளை சேமிக்கவும்; உள்ளமைவில் env vars மூலம் குறிப்பு.
- பதிவுகளில் கோரிக்கை திருத்தம் மற்றும் PII ஸ்க்ரப்பிங்கை இயக்கவும்.
- ப்ராக்ஸிக்கு சேவைக்கு API விசைகளைப் பயன்படுத்தவும்; தவறாமல் சுழற்று.
- நிறுவனம் முழுவதும் வீத வரம்புகள் மற்றும் ஒதுக்கீடுகளை அமைக்கவும்.
- மாதிரிகள் மற்றும் எண்ட்பாயிண்ட்களுக்கான அனுமதிப் பட்டியல்கள்/மறுப்புப் பட்டியல்களைச் சேர்க்கவும்.
---
## சரிசெய்தல்: விரைவான திருத்தங்கள்
- ப்ராக்ஸி வழியாக “அங்கீகரிக்கப்படாதது”: `auth.api_keys` மற்றும் உங்கள் கிளையன்ட் `base_url` + சரியான விசையைப் பயன்படுத்துகிறதா என்பதைச் சரிபார்க்கவும்.
- மாதிரி கண்டுபிடிக்கப்படவில்லை: `model_list` நீங்கள் அழைக்கும் நட்பு பெயரை வைத்திருப்பதை உறுதிப்படுத்தவும்.
- நேர வரம்புகள்: `timeout` ஐ அதிகரிக்கவும் அல்லது குறைந்த தாமதம் உள்ள வழங்குநர் பகுதிக்கு ரூட் செய்யவும்.
- வினோதமான வெளியீடுகள்: JSON ஸ்கீமா + சரிபார்ப்பை இயக்கவும்; மறுமுயற்சிகள் மற்றும் பின்வாங்கல்களைச் சேர்க்கவும்.
- செலவு அதிகரிப்பு: கேச்சிங்கை இயக்கவும்; மொத்த போக்குவரத்தை மலிவான மாதிரிகளுக்கு அனுப்பவும்; விசைக்கு ஒதுக்கீடுகளை அமைக்கவும்.
ஆழமான ஆழங்கள் மற்றும் சமீபத்திய அம்சங்களுக்கு, அதிகாரப்பூர்வ ஆவணங்கள் அடிக்கடி புதுப்பிக்கப்படுகின்றன மற்றும் புக்மார்க் செய்வது மதிப்பு. DataCamp வழிகாட்டி போன்ற பயிற்சிகள் அனுபவப்பூர்வமான முறைகளுக்கு சிறந்தவை, மேலும் தொடக்க விபத்து பாட வீடியோ செயல்பாட்டில் உள்ள கருத்துகளைப் பார்க்க உதவும்.
---
## அனைத்தையும் ஒன்றாக இணைக்கவும்: குறிப்பு பயன்பாட்டு எலும்புக்கூடு (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1:LiteLLM என்றால் என்ன, நேரடி வழங்குநர் SDK-களை விட ஏன் அதைப் பயன்படுத்த வேண்டும்?
LiteLLM என்பது 100+ LLM-களுக்கான OpenAI-க்கு இணக்கமான நுழைவாயில் ஆகும், இது உங்களுக்கு ஒரு API மற்றும் ஒரு மன மாதிரியை வழங்குகிறது. இது விற்பனையாளர் பூட்டை குறைக்கிறது, ரூட்டிங்கை எளிதாக்குகிறது மற்றும் கேச்சிங், மறுமுயற்சிகள் மற்றும் செலவு கண்காணிப்பு போன்ற ஆபரேஷன் அம்சங்களை சேர்க்கிறது.
Q2:OpenAI SDK உடன் LiteLLM ஐ எவ்வாறு பயன்படுத்துவது?
SDK-யின் அடிப்படை URL ஐ LiteLLM ப்ராக்ஸிக்கு சுட்டி, உங்கள் ப்ராக்ஸி API விசையைப் பயன்படுத்தவும். பின்னணியில் ப்ராக்ஸி வழங்குநர்கள் அல்லது மாதிரிகளை மாற்றும்போது உங்கள் குறியீடு அப்படியே இருக்கும்.
Q3:LiteLLM பதில்களை ஸ்ட்ரீம் செய்து JSON ஐத் திருப்பித் தர முடியுமா?
ஆம். டோக்கன் ஸ்ட்ரீம்களைப் பெற `stream=True` ஐப் பயன்படுத்தவும், மேலும் வழங்குநர்கள் முழுவதும் கட்டமைக்கப்பட்ட வெளியீடுகளைச் செயல்படுத்த JSON ஸ்கீமாவுடன் `response_format` ஐப் பயன்படுத்தவும்.
Q4:வெவ்வேறு LLM வழங்குநர்கள் முழுவதும் செலவுகளை நான் எவ்வாறு கட்டுப்படுத்துவது?
பயன்பாட்டுப் பதிவு மற்றும் செலவு மதிப்பீட்டை இயக்கவும், கேச்சிங்கைச் சேர்க்கவும், வீத வரம்புகளை அமைக்கவும், மொத்த போக்குவரத்தை ப்ராக்ஸி மூலம் மலிவான மாதிரிகளுக்கு அனுப்பவும். பட்ஜெட் மற்றும் SLO-களுக்கான டாஷ்போர்டுகளுடன் கண்காணிக்கவும்.
Q5:LiteLLM உற்பத்தி குழுக்களுக்கு ஏற்றதா?
ஆம். ப்ராக்ஸி அங்கீகாரம், வீத வரம்புகள், ரூட்டிங், கண்காணிப்பு மற்றும் பாதுகாப்பு இடைத்தரகர்களை வழங்குகிறது. இது உங்கள் பயன்பாட்டை OpenAI-க்கு இணக்கமாக வைத்திருக்கும் அதே நேரத்தில் நிர்வாகத்தை மையப்படுத்த ஒரு LLM நுழைவாயிலாக வடிவமைக்கப்பட்டுள்ளது.
