What is the best LiteLLM tutorial for beginners?

Start with the LiteLLM Crash Course on YouTube for a quick visual walkthrough, then read the official Getting Started guide for the proxy. The DataCamp tutorial provides practical examples you can copy.

How do I use LiteLLM as an OpenAI-compatible proxy?

Run the LiteLLM proxy and point your SDK’s base URL to the proxy’s `/v1` endpoints. Keep provider details in the LiteLLM config so your application code stays portable.

Can LiteLLM route between OpenAI, Anthropic, and Gemini automatically?

Yes. Define models and routing strategies in the LiteLLM config to switch between providers by latency, cost, or quality. You can also set fallbacks for reliability.

How do I enable streaming and tool/function calling with LiteLLM?

Use the OpenAI-compatible API via LiteLLM and enable `stream=True` (or SSE in your SDK). For tool calling, follow the OpenAI function-calling format—LiteLLM forwards it to the target provider.

What’s the fastest way to control costs with LiteLLM?

Centralize requests through the proxy, enable usage logging, and enforce per-key rate limits and budgets. Route different workloads to cost-optimized models and pin versions to avoid surprises.

சிறந்த LiteLLM பயிற்சிகள்: LLM Gateway 2025 ஐ முழுமையாக கையாள உங்கள் வழிகாட்டி

OpenAI, Azure OpenAI, Anthropic, Gemini, உள்ளூர் மாதிரிகள் மற்றும் பிறவற்றை இணைக்க முயற்சிக்கும்போது, LiteLLM உங்கள் தேடும் சுயிஸ் பெட்டி கருவி ஆகும். இது OpenAI-க்கு பொருந்தக்கூடிய ஒரு நடுத்தர பதிலை நிா்வகிக்கிறது, உங்கள் பயன்பாடுகள் ஒரே மொழியில் பேசும் போது மாதிரிகள், விற்பனையாளர்கள் மற்றும் விலை முறைகளை பின்னணியில் மாற்ற அனுமதிக்கிறது. சவால் என்னவென்றால்? எங்கு துவங்குவது மற்றும் எந்த வளங்கள் உங்கள் நேரத்திற்கு மதிப்புள்ளவை என்பதைக் கண்டுபிடிப்பது.

இந்த நடைமுறை, தீர்வு நோக்கிய வழிகாட்டி 2025ஆம் ஆண்டில் சிறந்த LiteLLM பயிற்சிகளை தொகுத்து, எந்த வளங்கள் யாருக்கெனும் பொருந்தும் என்பதையும், உற்பத்தி நோக்கில் எளிதான பாதையையும் காட்டுகிறது. விரைவான வெற்றிகள், ஆழமான ஆய்வுகள், மற்றும் தொகுத்து நகல் எடுக்கக்கூடிய போராட்ட பாணிகளை நாங்கள் கலந்து கொடுக்கிறோம்.

இறுதிக்குப் பிறகு, நீங்கள் எவற்றைக் முதலில் பார்ப்பது அல்லது படிப்பது எது என்று, LiteLLM proxy-வை எப்படி இயக்குவது, OpenAI SDKகள், ஸ்ட்ரீமிங், மீண்டும் முயற்சிகள், விகித வரம்புகள், மாதிரி வழிசெலுத்தல் மற்றும் கண்காணிப்பு ஆகியவற்றுடன் எப்படி ஒருங்கிணைக்குவது என்பதையும் நிச்சயமாக அறியலாம்.

—

LiteLLM என்றால் என்ன (ஏன் குழுக்கள் இதனை வாக்குறுதி செய்கின்றன)?

LiteLLM OpenAI-க்கு பொருந்தக்கூடிய API மற்றும் SDKஐ வழங்குகிறது, இதன் மூலம் நீங்கள்:

பல வலைப்பகுதிகளுக்கு (OpenAI, Azure OpenAI, Anthropic, Google, Cohere, Together, Ollama மற்றும் மேலதிகங்கள்) ஒரே இடைமுகத்துடன் வழிசெலுத்த முடியும்.

ஒருங்கிணைந்த proxy (LLM Gateway) ஒன்று மூலம் அங்கீகாரம், பதிவேட்டல், செலவு கண்காணிப்பு மற்றும் கொள்கைகளை மையமாக்கி செயல்படுத்தலாம்.

உங்கள் பயன்பாட்டை மீண்டும் எழுதாமலே மாதிரிகளை மாற்றலாம்.

பல LLM பயன்பாடுகள் கட்டுமானத்தில் இருந்தால், LiteLLM இணை கருவியாக விளங்கும். அதிகாரப்பூர்வ ஆவணங்கள் வலுவாக உள்ளன, மற்றும் சில மூன்றாம் தரப்பு பயிற்சிகள் நிஜ உலக பயன்பாடுகளை விளக்குகின்றன.

—

2025 ஆம் ஆண்டில் சிறந்த 10 LiteLLM பயிற்சிகள்

கீழே உள்ளன சிறந்த வளங்கள், யாருக்கெனும் பொருந்தும், நீங்கள் என்ன கற்றுக்கொள்வீர்கள் என்பதுடன்—தெளிவுத்தன்மை, முழுமை மற்றும் உற்பத்தி பொருத்தத்தைக் கொண்ட முறைப்படி வரிசைப்படுத்தப்பட்டவை.

1) LiteLLM துரித பாடம் | முற்றிலும் புதியவர்களுக்கு (வீடியோ)

சிறந்தது: காட்சி மூலம் கற்றவர்கள் மற்றும் ஒரு மணித்தியாலத்திற்குள் முழுமையான அமைப்பை விரும்பும் மேம்படுத்துநர்களுக்கு.

நன்மை: நிறுவல், Python SDK அடிப்படைகள் மற்றும் OpenAI பொருந்தக்கூடிய அழைப்புகளை ஒருங்கிணைக்கும் முறையை, ஸ்ட்ரீமிங் போன்ற முக்கிய அம்சங்களுடன் கையேடு.

LiteLLM பயன்படுத்த பாராமல் இருந்தால் இங்கே தொடங்குங்கள்.

காண்க: LiteLLM துரித பாடம் | முற்றிலும் புதியவர்கள்.

2) DataCamp: LiteLLM — நடைமுறை உதாரணங்களுடன் ஒரு கையேடு (கட்டுரை)

சிறந்தது: குறியீடு முதன்மை, நகல் எடுத்து ஒட்டும் உதாரணங்களை விரும்பும் மேம்படுத்துநர்கள்.

நன்மை: “ஹலோ உலகம்” முதல் ஸ்ட்ரீமிங் பதில்கள் வரை API அழைப்புகளை எளிதாக்கி விளக்கும், உங்கள் பயன்பாட்டைக் விரிவாக்கும் முறைகளை காட்டுகிறது.

படிக்கவும்: LiteLLM: நடைமுறை உதாரணங்களுடன் கையேடு.

3) அதிகாரப்பூர்வ ஆவணங்கள்: LiteLLM தொடக்க வழிகாட்டி (ஆவணங்கள்)

சிறந்தது: proxy/gateway, கொள்கை மற்றும் வழிசெலுத்தல் தேவைகளுடன் உற்பத்திக்குச் செல்லும் குழுக்களுக்கு.

நன்மை: proxy ஐ எப்பொழுது பயன்படுத்துவது, பலவலைப்பகுதிகளை இணைப்பது, மாதிரிகளை அமைப்பது மற்றும் அணுகலை மையமாக்குவதில் தெளிவான வழிகாட்டி.

படிக்கவும்: LiteLLM — தொடக்கம்.

4) LiteLLM Proxy மூலம் OpenAI பொருந்தக்கூடிய API கட்டமைக்க

இந்தப் பாடத்தில் கற்றுக்கொள்வீர்கள்: LiteLLM proxy ஐ உள்ளூர் முறையில் இயக்குவது, பல வலைப்பகுதிகளுக்கான சூழல் மாறிலிகளை அமைத்தல் மற்றும் ஒருங்கிணைந்த /v1/chat/completions முடிச்சை உருவாக்குவது.

முக்கியத்துவம்: தருண நிலைத்தன்மை மற்றும் கொள்கை திறப்பதற்கு அதிகப்படியான உற்பத்திக் குழுக்கள் proxy-ஐ பயன்படுத்துகின்றன.

இதனை அதிகாரப்பூர்வ தொடக்கக் கையேடு மற்றும் உங்கள் விருப்ப மொழி SDK உடன் இணைத்துப் பயன்படுத்துங்கள்.

5) பல வலைப்பகுதி வழிசெலுத்தல் மற்றும் fallbackகள்

கற்றுக்கொள்ளும் விஷயம்: வலைப்பகுதி பட்டியல், ஆரோக்கியச் சேதத்தை ஆய்வு செய்வது மற்றும் தானியங்கி fallback வழிமுறைகளை அமைத்தல்.

முக்கியம்: உங்கள் பயன்பாடு தாங்கும் தன்மையை மேற்காக்கிறது. உதாரணமாக, முக்கிய வழி GPT-4o ஆகவும் லென்சி அதிகரித்தால் Claude 3.5 அல்லது Gemini க்கு fallback ஆகவும் அமைக்கலாம்.

6) செலவு கட்டுப்பாடுகள் மற்றும் பயன்பாடு கண்காணிப்பு

கற்றுக்கொள்ளும் விஷயம்: ஒவ்வொரு கோரிக்கையிலும் செலவை பதிவு செய்வது, அட்டவணைகளை அமுல்படுத்துவது மற்றும் குழு/பயன்பாட்டின்படி பயன்பாட்டை அடையாளங்காணுதல்.

முக்கியம்: LiteLLM விற்பனையாளர்களுக்கு இடையில் ஒற்றைப் பார்வை கிடைக்கும். CFO கேட்கும் முன் அறிவிப்புகள் மற்றும் பட்ஜெட் அமைக்கலாம்.

7) ஸ்ட்ரீமிங், கருவி பயன்பாடு மற்றும் கட்டமைக்கப்பட்ட வெளியீடுகள்

கற்றுக்கொள்ளும் விஷயம்: சேவையகத்திலிருந்து அனுப்பப்படும் நிகழ்வுகள் (SSE) ஸ்ட்ரீமிங், செயல்பாடு/கருவி அழைப்புகள் மற்றும் JSON திட்டவட்டமான வெளியீடுகளை செயல்படுத்தல்.

முக்கியம்: நவீன AI பயன்பாடுகள் விரைவான, சூழ்ந்த UX மற்றும் நம்பகமான செயல்பாடு அழைப்புகளை சார depend்கின்றன. LiteLLM இவைகளை OpenAI பொருந்தக்கூடிய இடைமுக மூலமாக ஆதரிக்கிறது.

8) உள்ளூர் + மேக கலப்பு: Ollama வழியாக LiteLLM

கற்றுக்கொள்ளும் விஷயம்: LiteLLM-ஐ Ollama மூலம் உள்ளூர்மாதிரிகளுக்கு திருப்பி, மேக மாதிரிகளையும் கொண்டிருக்க, பணி, லென்சி அல்லது செலவு அடிப்படையில் வழிசெலுத்துதல்.

முக்கியம்: தனிப்பட்ட பணிகளுக்கு உள்ளூரில் இயக்கவும், சிக்கலான கேள்விகளுக்காக மேகத்திற்கு விரைவில் செல்லவும்.

9) விகித வரம்புகள், மீண்டும் முயற்சிகள் மற்றும் சுழற்சி துண்டிப்பு

கற்றுக்கொள்ளும் விஷயம்: மாதிரி வாரியாக விகித வரம்புகளை அமைத்தல், பரமாபர பின்வளைவு மற்றும் விரைவில் தோல்வி காணும் முறைமைகள்.

முக்கியம்: கூட்டத்துடன் மோதல் தவிர்க்கவும் மற்றும் โหลด இல் நம்பகத்தன்மையை மேம்படுத்தவும்.

10) கண்காணிப்பு: பதிவுகள், தடங்கள் மற்றும் மறைத்து எழுதுதல்

கற்றுக்கொள்ளும் விஷயம்: அனைத்து வலைப்பகுதிகளிலிருந்தும் பதிவுகளும் தடங்களும் மையப்படுத்தல், PII மறைத்து எழுதுதல் மற்றும் உங்கள் விருப்ப APM/விவரக்குறிப்பாக அனுப்புதல்.

முக்கியம்: ஒரு gateway இல்லாமல் பல LLM பயன்பாடுகளை பிழைத்திருத்துவது கடினம்; LiteLLM இதை எளிதாக்குகிறது.

—

தேவைப்படும் துவக்கம்: LiteLLM உடன் உங்கள் முதல் 15 நிமிடங்கள்

துரிதப் பாடத்தை பார்ப்பதற்குப் பிறகு மற்றும் ஆவணங்களை பார்வையிடுவதற்குப் பின்பு இந்த முறையை பின்பற்றுங்கள்.

நிறுவி மற்றும் திறவுகோல்களை அமைக்கவும்

pip install litellm
export OPENAI_API_KEY=sk-...
# விருப்பமாக: மேலும் வலைப்பகுதிகள்
export ANTHROPIC_API_KEY=...
export GOOGLE_API_KEY=...

ஒரே கோப்பில் OpenAI பொருந்தக்கூடிய உரையாடல்

from litellm import completion
resp = completion(
model="gpt-4o", # அல்லது "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- மேலே உள்ள விரைவான துவக்கக் குறியீட்டை இயக்கவும்.
- குறிக்கோள்: LiteLLM மூலம் உங்கள் முதல் OpenAI பொருந்தக்கூடிய கோரிக்கையை செய்யவும்.
- நடைமுறை உருவாக்குநர்
- DataCamp பயிற்சியை படிக்கவும் மற்றும் ஸ்ட்ரீமிங் மற்றும் மீண்டும் முயற்சிகளோடு உதாரணங்களை விரிவாக்கவும்.
- இரண்டு வலைப்பகுதிகளைச் சேர்த்து fallback பரிசோதிக்கவும்.
- குழு / உற்பத்தி பொறுப்பாளர்
- அதிகாரப்பூர்வ தொடங்கும் வழிகாட்டியை படிக்கவும்.
- proxy ஐ துவக்கி கண்காணிப்பு மற்றும் செலவு கண்காணிப்பை சேர்க்கவும்.
- விகித வரம்புகள் மற்றும் PII மறைக்க கொள்கைகளை நடைமுறைப்படுத்தவும்.
—
## ஆழமான ஆய்வு: நீங்கள் வாரத்தோறும் பயன்படுத்தும் மாதிரிகள்
### OpenAI பொருந்தக்கூடிய தனிப்பயன்பாட்டின் ஒப்பந்தம்
- OpenAI API வடிவத்தை உங்கள் பயன்பாட்டின் ஒப்பந்தமாக எடுத்துக்கொள்ளுங்கள். அனைத்து கோரிக்கைகளும் உங்கள் LiteLLM proxyஇன் `/v1/*` முடிச்சுகளுக்கு செல்ல வேண்டும்.
- மாதிரிகளை config மூலம் மாற்றுங்கள் (எ.கா., `gpt-4o` → `claude-3-5`), குறியீட்டில் அல்ல.
### பயன்பாட்டின் தேவைகளுக்குரிய மாதிரி வழிசெலுத்தல்
- மறுப்பான பாதை: வேகமாகவும் குறைந்த செலவுடைய மாதிரிகளுக்கு வழிசெருகல்.
- காரணமுள்ள பாதை: RAG அல்லது கருவி பயன்படுத்துதலுக்கான மேம்பட்ட தரமுள்ள மாதிரிகளுக்கு வழிசெலுத்தல்.
- தனியுரிமை பாதை: PII பகுதிகளுக்கு உள்ளூரடக்கம் / Ollama-க்கு வழிசெலுத்தல்.
### செலவுக் கட்டுப்பாடுகள்
- கோரிக்கைகளை `user_id` / `team` என அடையாளம் காண்க.
- குழு/மாதிரி அடிப்படையில் பட்ஜெட்களை அமைக்கவும்.
- மைய களஞ்சியத்தில் டோக்கன் பயன்பாட்டை பதிவு செய்து பற்றாக்குறைகளை எச்சரிக்கவும்.
### மறுபடியும் முயற்சிகள்
- சிதறலைக் கொண்டு மீண்டும் முயற்சிகளை இயக்கு.
- வழங்குநர் வாரியாக நேர வரம்புகள் மற்றும் மீண்டும் தோல்விகள் மீதான சுழற்சி துண்டிப்புகளை அமைக்கவும்.
- வழங்குநர் முன்னுரிமைகள் மற்றும் தெளிவான fallbackகளை வரையறுக்கவும்.
### கண்காணிப்பு
- கோரிக்கை/பதிலின் மெட்டாடேட்டா, லென்சி வரிசைகள் மற்றும் மாதிரி/பதிப்பு தகவலைக் கைப்பற்றவும்.
- கடவுச்சொற்கள் / PII ஐ பதிவுகளில் மறைக்கவும்.
- மெல்லிய அழைப்புகளை விரைவில் கண்டுபிடிக்க சேவைகளுக்கு இடையேயான தடங்களை இணைக்கவும்.
—
## உதாரண LiteLLM Proxy அமைவு (உற்பத்திக்கு தயாரான ஆரம்ப கட்டம்)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- நடைமுறை, உதாரணம் சார்ந்த கட்டுரை.
- அதிகாரப்பூர்வ LiteLLM ஆவணங்கள் தொடக்கம் மற்றும் proxy சிறந்த நடைமுறைகள்.
—
## செயல் திட்டம்: அடுத்த 7 நாட்கள்
நாள் 1–2: துரிதப் பாடமும் துவக்கத்தையும் செய்யவும்; முதன்மதிப்பீடு கோரிக்கையைச் செய்யவும்.
நாள் 3–4: இரண்டாவது வழங்குநர் மற்றும் ஸ்ட்ரீமிங்கைச் சேர்க்கவும்; நேர வரம்புகள் மற்றும் மீண்டும் முயற்சிகளை அமைக்கவும்.
நாள் 5: proxyஐ கட்டமைப்புடன் தொடங்கவும்; பயன்பாட்டின் தேவைகளின்படி வழிசெலுத்தவும் (லென்சி மற்றும் காரணம்).
நாள் 6: பதிவேற்றம், செலவு கண்காணிப்பு மற்றும் மறைத்து எழுதலைச் சேர்.
நாள் 7: ஏற்றம் சோதனை செய்க; வழங்குநர் தோல்விகளை சிமியூலேட் செய்க; fallbackஐ சரிபார்க்கவும்.
—
## முக்கியக் கருத்துக்கள்
- LiteLLM விற்பனையாளர் பிணைக்களமின்றி பலவகை வழங்குநர் LLM பயன்பாடுகளுக்கு விரைவான பாதையாகும்.
- OpenAI பொருத்தம் கொண்ட இடைமுகத்துடன் துவங்கவும், பிறகு ஆட்சியூமைக்கு proxyயை பயன்படுத்துங்கள்.
- வழிசெலுத்தல், மறுமொழி மற்றும் கண்காணிப்பில் முன்னோக்கி முதலீடு செய்யுங்கள்—இவை இரண்டு வாரத்தில் தேவை, ஆறு மாதங்களில் அல்ல.
- மேற்கண்ட பயிற்சிகள் உங்கள் தினசரி பயன்பாட்டில் 80% க்கும் மேல் ஐ உதவியளிக்கும்; மீதமானது உங்கள் தயாரிப்பின் ரகசியம்.
### அடிக்கடி கேட்கப்படும் கேள்விகள்
Q1: முற்றிலும் புதியவர்களுக்கு சிறந்த LiteLLM பயிற்சி எது?
விரைவான காட்சிப்பரிசோதனைக்காக YouTubeஇல் உள்ள LiteLLM துரிதப் பாடத்துடன் துவங்குங்கள், பின்னர் proxyக்கான அதிகாரப்பூர்வ தொடக்கக் கையேட்டையும் படிக்கவும். DataCamp பயிற்சி நடைமுறை உதாரணங்களை வழங்குகிறது.
Q2: LiteLLM-ஐ OpenAI பொருந்தக்கூடிய proxyவாக எப்படி பயன்படுத்துவது?
LiteLLM proxyஐ இயக்கி உங்கள் SDK இன் அடிப்படை URL-ஐ proxyஇன் `/v1` முடிச்சுக்குச் சென்று அமைக்கவும். வழங்குநர் விவரங்களை LiteLLM கட்டமைப்பில் வையுங்கள், அதனால் உங்கள் பயன்பாட்டுக் குறியீடு மலர்வற்றாக இருக்கும்.
Q3: LiteLLM தானாக OpenAI, Anthropic மற்றும் Gemini இடையே வழிசெலுத்த முடியுமா?
ஆம். LiteLLM கட்டமைப்பில் மாதிரிகள் மற்றும் வழிசெலுத்தல் அறிவுரைகள் வரையறுத்து வழங்குநர்களை லென்சி, செலவு அல்லது தரம் அடிப்படையில் மாற்றலாம். நம்பகத்தன்மைக்கான fallbackகளையும் அமைக்கலாம்.
Q4: LiteLLM மூலம் ஸ்ட்ரீமிங் மற்றும் கருவி/சேவை அழைப்பை எப்படி நடாத்துவது?
LiteLLM வாயிலாக OpenAI பொருந்தக்கூடிய API ஐ பயன்படுத்தி `stream=True` (அல்லது உங்கள் SDKல் SSE)ஐ இயக்கவும். கருவி அழைப்புக்கு OpenAI செயல்பாடு அழைப்பின் வடிவத்தை பின்பற்றி LiteLLM அதை இலக்கு வழங்குநருக்குக் கொண்டுசெல்லும்.
Q5: LiteLLM உடன் செலவைக் கட்டுப்படுத்துவதன் மிக வேகமான வழி என்ன?
<a113>proxy-வழியே கோரிக்கைகளை மையப்படுத்தவும், பயன்பாட்டு பதிவேட்டை இயக்கவும், ஒவ்வொரு விசைக்கும் விகித வரம்புகள் மற்றும் பட்ஜெட் கட்டுப்பாடுகளை அமுல்படுத்தவும். வித்தியாசமான வேலைபாடுகளை செலவு குறைவான மாதிரிகளுக்கு வழிசெலுத்தவும், பதிப்புகளை பின் வைத்து அதிர்ச்சிகளை தவிர்க்கவும்.