What is the best LiteLLM tutorial for beginners?

Start with the LiteLLM Crash Course on YouTube for a quick visual walkthrough, then read the official Getting Started guide for the proxy. The DataCamp tutorial provides practical examples you can copy.

How do I use LiteLLM as an OpenAI-compatible proxy?

Run the LiteLLM proxy and point your SDK’s base URL to the proxy’s `/v1` endpoints. Keep provider details in the LiteLLM config so your application code stays portable.

Can LiteLLM route between OpenAI, Anthropic, and Gemini automatically?

Yes. Define models and routing strategies in the LiteLLM config to switch between providers by latency, cost, or quality. You can also set fallbacks for reliability.

How do I enable streaming and tool/function calling with LiteLLM?

Use the OpenAI-compatible API via LiteLLM and enable `stream=True` (or SSE in your SDK). For tool calling, follow the OpenAI function-calling format—LiteLLM forwards it to the target provider.

What’s the fastest way to control costs with LiteLLM?

Centralize requests through the proxy, enable usage logging, and enforce per-key rate limits and budgets. Route different workloads to cost-optimized models and pin versions to avoid surprises.

മികച്ച LiteLLM ട്യൂട്ടോറിയലുകൾ: LLM ഗേറ്റ്‌വേയിൽ വൈദഗ്ദ്ധ്യം നേടുന്നതിനുള്ള നിങ്ങളുടെ 2025-ലെ ഗൈഡ്

നിങ്ങൾ OpenAI, Azure OpenAI, Anthropic, Gemini, ലോക്കൽ മോഡലുകൾ എന്നിവയെല്ലാം ഒരുമിപ്പിക്കുകയാണെങ്കിൽ, LiteLLM നിങ്ങൾ അന്വേഷിക്കുന്ന സ്വിസ് ആർമി കത്തിയാണ്. ഇത് ഡ്രോപ്പ്-ഇൻ, OpenAI-ക്ക് അനുയോജ്യമായ ലെയറായും പ്രോക്സിയായും പ്രവർത്തിക്കുന്നു, അതിനാൽ നിങ്ങളുടെ ആപ്പുകൾക്ക് ഒരു ഭാഷയിൽ സംസാരിക്കാൻ കഴിയും, നിങ്ങൾ മോഡലുകൾ, വെണ്ടർമാർ, വിലനിർണ്ണയം എന്നിവ മാറ്റിക്കൊണ്ടിരിക്കും. വെല്ലുവിളി? എവിടെ തുടങ്ങണം എന്ന് കണ്ടെത്തുക, കൂടാതെ ഏതൊക്കെ ഉറവിടങ്ങളാണ് നിങ്ങളുടെ സമയം വിലമതിക്കുന്നത് എന്നും.

ഈ പ്രായോഗികവും പരിഹാരത്തെ അടിസ്ഥാനമാക്കിയുള്ളതുമായ ഗൈഡ് 2025-ലെ മികച്ച LiteLLM ട്യൂട്ടോറിയലുകൾ ക്യൂറേറ്റ് ചെയ്യുന്നു, ഓരോ ഉറവിടവും ആർക്കുവേണ്ടിയുള്ളതാണെന്നും പ്രൊഡക്ഷനിലേക്കുള്ള ഏറ്റവും വേഗമേറിയ പാതയും കാണിക്കുന്നു. ഞങ്ങൾ പെട്ടെന്നുള്ള വിജയങ്ങൾ, ആഴത്തിലുള്ള പഠനങ്ങൾ, നിങ്ങൾക്ക് പകർത്താൻ കഴിയുന്ന battle-tested പാറ്റേണുകൾ എന്നിവ മിക്സ് ചെയ്യും.

അവസാനത്തോടെ, ഏതൊക്കെ LiteLLM ട്യൂട്ടോറിയലുകളാണ് ആദ്യം കാണേണ്ടത് അല്ലെങ്കിൽ വായിക്കേണ്ടത്, LiteLLM പ്രോക്സി എങ്ങനെ സ്പിൻ അപ്പ് ചെയ്യാമെന്നും OpenAI SDK-കൾ, സ്ട്രീമിംഗ്, റീട്രൈകൾ, റേറ്റ് ലിമിറ്റുകൾ, മോഡൽ റൂട്ടിംഗ്, ഒബ്സർവബിലിറ്റി എന്നിവയുമായി എങ്ങനെ സംയോജിപ്പിക്കാമെന്നും നിങ്ങൾക്ക് കൃത്യമായി അറിയാൻ കഴിയും.

—

എന്താണ് LiteLLM (എന്തുകൊണ്ടാണ് ടീമുകൾ ഇതിനെക്കുറിച്ച് പറയുന്നത്?)

LiteLLM ഒരു OpenAI-ക്ക് അനുയോജ്യമായ API-യും SDK-യും നൽകുന്നു, അത് നിങ്ങളെ ഇനി പറയുന്ന കാര്യങ്ങൾ ചെയ്യാൻ അനുവദിക്കുന്നു:

ഒരൊറ്റ ഇൻ്റർഫേസ് ഉപയോഗിച്ച് നിരവധി പ്രൊവൈഡർമാരിലേക്ക് (OpenAI, Azure OpenAI, Anthropic, Google, Cohere, Together, Ollama, കൂടുതൽ) റൂട്ട് ചെയ്യുക.

Auth, ലോഗിംഗ്, കോസ്റ്റ് ട്രാക്കിംഗ്, പോളിസി എന്നിവ സ്റ്റാൻഡേർഡ് ചെയ്യുന്നതിന് ഒരു സെൻട്രലൈസ്ഡ് പ്രോക്സി (LLM ഗേറ്റ്‌വേ) വിന്യസിക്കുക.

നിങ്ങളുടെ ആപ്പ് വീണ്ടും എഴുതാതെ തന്നെ മോഡലുകൾ മാറ്റുക.

നിങ്ങൾ മൾട്ടി-LLM ആപ്പുകൾ നിർമ്മിക്കുകയാണെങ്കിൽ, LiteLLM എന്നത് കണക്റ്റീവ് ടിഷ്യു ആണ്. ഔദ്യോഗിക ഡോക്യുമെൻ്റുകൾ ശക്തമാണ്, കൂടാതെ നിരവധി തേർഡ്-പാർട്ടി ട്യൂട്ടോറിയലുകൾ ഇപ്പോൾ യഥാർത്ഥ ലോകത്തിലെ ഉപയോഗ കേസുകൾ ഉൾക്കൊള്ളുന്നു.

—

2025-ലെ മികച്ച 10 LiteLLM ട്യൂട്ടോറിയലുകൾ

താഴെ പറയുന്നവയാണ് മികച്ച ഉറവിടങ്ങൾ, അവ ആർക്കുവേണ്ടിയുള്ളതാണ്, നിങ്ങൾ എന്താണ് പഠിക്കാൻ പോകുന്നത് - വ്യക്തത, പൂർണ്ണത, പ്രൊഡക്ഷൻ പ്രസക്തി എന്നിവ അനുസരിച്ച് റാങ്ക് ചെയ്തിരിക്കുന്നു.

1) LiteLLM ക്രാഷ് കോഴ്സ് | തുടക്കക്കാർക്ക് (വീഡിയോ)

ഏറ്റവും മികച്ചത്: വിഷ്വൽ ലേണർമാർക്കും ഒരു മണിക്കൂറിനുള്ളിൽ ഒരു എൻഡ്-ടു-എൻഡ് സജ്ജീകരണം ആഗ്രഹിക്കുന്ന ഡെവലപ്പർമാർക്കും.

എന്തുകൊണ്ട് ഇത് നല്ലതാണ്: ഇൻസ്റ്റാളേഷൻ, Python SDK അടിസ്ഥാനകാര്യങ്ങൾ, OpenAI-ക്ക് അനുയോജ്യമായ കോളുകൾ എങ്ങനെ സംയോജിപ്പിക്കാം, സ്ട്രീമിംഗ് പോലുള്ള പ്രധാന ഫീച്ചറുകളുടെ ടൂർ എന്നിവ ഉൾക്കൊള്ളുന്നു.

നിങ്ങൾ മുമ്പ് LiteLLM ഉപയോഗിച്ചിട്ടില്ലെങ്കിൽ ഇവിടെ നിന്ന് ആരംഭിക്കുക.

കാണുക: LiteLLM Crash Course | തുടക്കക്കാർക്ക്.

2) DataCamp: LiteLLM - പ്രായോഗിക ഉദാഹരണങ്ങളുള്ള ഒരു ഗൈഡ് (ലേഖനം)

ഏറ്റവും മികച്ചത്: കോഡ്-ഫസ്റ്റ്, കോപ്പി-പേസ്റ്റ് ഉദാഹരണങ്ങൾ ഇഷ്ടപ്പെടുന്ന ഡെവലപ്പർമാർക്ക്.

എന്തുകൊണ്ട് ഇത് നല്ലതാണ്: അടിസ്ഥാന API കോളുകൾ എങ്ങനെ വിളിക്കാമെന്നും നിങ്ങളുടെ ഉപയോഗ രീതികൾ എങ്ങനെ വർദ്ധിപ്പിക്കാമെന്നും കാണിച്ചുകൊണ്ട് "ഹലോ വേൾഡ്" മുതൽ സ്ട്രീമിംഗ് റെസ്‌പോൺസുകൾ വരെ വിശദീകരിക്കുന്നു.

വായിക്കുക: LiteLLM: A Guide With Practical Examples.

3) ഔദ്യോഗിക ഡോക്യുമെൻ്റുകൾ: LiteLLM ഗെറ്റിംഗ് സ്റ്റാർട്ടഡ് (ഡോക്യുമെൻ്റുകൾ)

ഏറ്റവും മികച്ചത്: ഒരു പ്രോക്സി/ഗേറ്റ്‌വേ, പോളിസി, റൂട്ടിംഗ് ആവശ്യകതകളോടെ പ്രൊഡക്ഷനിലേക്ക് പോകുന്ന ടീമുകൾക്ക്.

എന്തുകൊണ്ട് ഇത് നല്ലതാണ്: പ്രോക്സി എപ്പോൾ ഉപയോഗിക്കണം, ഒന്നിലധികം പ്രൊവൈഡർമാരെ എങ്ങനെ ബന്ധിപ്പിക്കാം, മോഡലുകൾ എങ്ങനെ കോൺഫിഗർ ചെയ്യാം, ആക്സസ് എങ്ങനെ കേന്ദ്രീകരിക്കാം എന്നതിനെക്കുറിച്ചുള്ള വ്യക്തമായ മാർഗ്ഗനിർദ്ദേശം നൽകുന്നു.

വായിക്കുക: LiteLLM — Getting Started.

4) LiteLLM പ്രോക്സി ഉപയോഗിച്ച് OpenAI-ക്ക് അനുയോജ്യമായ ഒരു API നിർമ്മിക്കുക

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: LiteLLM പ്രോക്സി പ്രാദേശികമായി സ്പിൻ അപ്പ് ചെയ്യുക, ഒന്നിലധികം പ്രൊവൈഡർമാർക്കായി എൻവയോൺമെൻ്റ് വേരിയബിളുകൾ സജ്ജമാക്കുക, ഏകീകൃതമായ /v1/chat/completions എൻഡ്പോയിൻ്റ് ഉണ്ടാക്കുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: മിക്ക പ്രൊഡക്ഷൻ ടീമുകളും ഒബ്സർവബിലിറ്റിയും പോളിസിയും അൺലോക്ക് ചെയ്യുന്നതിന് പ്രോക്സിയിൽ സ്റ്റാൻഡേർഡ് ചെയ്യുന്നു.

ഇതിനെ ഔദ്യോഗിക ഗെറ്റിംഗ് സ്റ്റാർട്ടഡുമായി ചേർത്ത് നിങ്ങൾക്ക് ഇഷ്ടപ്പെട്ട ഭാഷയിലുള്ള SDK ഉപയോഗിക്കുക.

5) മൾട്ടി-പ്രൊവൈഡർ റൂട്ടിംഗും ഫാൾബാക്കുകളും

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: പ്രൊവൈഡർ ലിസ്റ്റുകൾ, ഹെൽത്ത് ചെക്കുകൾ, തകരാറുകൾ അല്ലെങ്കിൽ റേറ്റ് ലിമിറ്റുകൾ കൈകാര്യം ചെയ്യാൻ ഓട്ടോമാറ്റിക് ഫാൾബാക്കുകൾ എന്നിവ കോൺഫിഗർ ചെയ്യുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: നിങ്ങളുടെ ആപ്പിനെ പ്രതിരോധശേഷിയുള്ളതാക്കുന്നു. ഉദാഹരണത്തിന്, ലേറ്റൻസി സ്പൈക്കുകൾ ഉണ്ടായാൽ GPT-4o-ലേക്ക് പ്രൈമറി റൂട്ട് ചെയ്യുക, Claude 3.5 അല്ലെങ്കിൽ Gemini-ലേക്ക് ഫാൾബാക്ക് ചെയ്യുക.

6) കോസ്റ്റ് കണ്ട്രോളുകളും യൂസേജ് മോണിറ്ററിംഗും

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: ഓരോ റിക്വസ്റ്റിനുമുള്ള ചിലവ് എങ്ങനെ ലോഗ് ചെയ്യാം, ക്വാട്ടകൾ എങ്ങനെ നടപ്പാക്കാം, ടീം/ആപ്പ് അനുസരിച്ച് ഉപയോഗം എങ്ങനെ ടാഗ് ചെയ്യാം.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: LiteLLM-ന് വെണ്ടർമാരിലുടനീളം നിങ്ങളുടെ ഒരൊറ്റ പാനലായിരിക്കാൻ കഴിയും. നിങ്ങളുടെ CFO ചോദിക്കുന്നതിന് മുമ്പ് അലേർട്ടുകളും ബഡ്ജറ്റുകളും ചേർക്കുക.

7) സ്ട്രീമിംഗ്, ടൂൾ യൂസ്, സ്ട്രക്ചേർഡ് ഔട്ട്പുട്ടുകൾ

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: സെർവർ-സെൻ്റ് ഇവൻ്റ്സ് (SSE) സ്ട്രീമിംഗ്, ഫംഗ്ഷൻ/ടൂൾ കോളിംഗ്, JSON സ്കീമ ഔട്ട്പുട്ടുകൾ എന്നിവ നടപ്പിലാക്കുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: ആധുനിക AI ആപ്പുകൾ വേഗതയേറിയതും ഇൻ്ററാക്ടീവ് UX-ഉം വിശ്വസനീയമായ ഫംഗ്ഷൻ കോളിംഗിനെയും ആശ്രയിക്കുന്നു. LiteLLM അതിൻ്റെ OpenAI-ക്ക് അനുയോജ്യമായ ഇൻ്റർഫേസിലൂടെ ഈ പാറ്റേണുകളെ പിന്തുണയ്ക്കുന്നു.

8) ലോക്കൽ + ക്ലൗഡ് ഹൈബ്രിഡ്: LiteLLM വഴി Ollama

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: ക്ലൗഡ് മോഡലുകൾ ലഭ്യമായി നിലനിർത്തിക്കൊണ്ടുതന്നെ Ollama വഴി ലോക്കൽ മോഡലുകളിൽ LiteLLM പോയിൻ്റ് ചെയ്യുക - തുടർന്ന് ടാസ്ക്, ലേറ്റൻസി അല്ലെങ്കിൽ ചെലവ് അനുസരിച്ച് റൂട്ട് ചെയ്യുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: സ്വകാര്യ ടാസ്‌ക്കുകൾ പ്രാദേശികമായി പ്രവർത്തിപ്പിക്കുക, സങ്കീർണ്ണമായ പ്രോംപ്റ്റുകൾക്കായി ക്ലൗഡിലേക്ക് ബർസ്റ്റ് ചെയ്യുക.

9) റേറ്റ് ലിമിറ്റിംഗ്, റീട്രൈസ്, സർക്യൂട്ട് ബ്രേക്കറുകൾ

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: ഓരോ മോഡലിനുമുള്ള റേറ്റ് ലിമിറ്റുകൾ, എക്സ്പോണൻഷ്യൽ ബാക്ക്ഓഫ്, ഫാൾ-ഫാസ്റ്റ് പാറ്റേണുകൾ എന്നിവ കോൺഫിഗർ ചെയ്യുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: തണ്ടറിംഗ് ഹെർഡ്സ് തടയുകയും ലോഡിന് കീഴിലുള്ള വിശ്വാസ്യത മെച്ചപ്പെടുത്തുകയും ചെയ്യുക.

10) ഒബ്സർവബിലിറ്റി: ലോഗുകൾ, ട്രേസുകൾ, റിഡക്ഷൻ

നിങ്ങൾ പഠിക്കാൻ പോവുന്നത്: എല്ലാ പ്രൊവൈഡർമാരിൽ നിന്നുമുള്ള ലോഗുകളും ട്രേസുകളും കേന്ദ്രീകരിക്കുക, PII എഡിറ്റ് ചെയ്യുക, നിങ്ങളുടെ ഇഷ്ടപ്പെട്ട APM/അനലിറ്റിക്സിലേക്ക് ടെലിമെട്രി അയയ്ക്കുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്: ഒരു ഗേറ്റ്‌വേ ഇല്ലാത്ത മൾട്ടി-LLM ആപ്പുകൾ ഡീബഗ്ഗ് ചെയ്യുന്നത് ബുദ്ധിമുട്ടാണ്; LiteLLM അത് എളുപ്പമാക്കുന്നു.

—

ക്വിക്ക്സ്റ്റാർട്ട്: LiteLLM-മായി നിങ്ങളുടെ ആദ്യത്തെ 15 മിനിറ്റ്

ക്രാഷ് കോഴ്സ് കണ്ടതിന് ശേഷവും ഡോക്യുമെൻ്റുകൾ സ്കിം ചെയ്തതിന് ശേഷവും ഈ ഫ്ലോ പിന്തുടരുക.

കീകൾ ഇൻസ്റ്റാൾ ചെയ്ത് സജ്ജമാക്കുക

pip install litellm
export OPENAI_API_KEY=sk-...
# ഓപ്ഷണൽ: കൂടുതൽ പ്രൊവൈഡർമാർ
export ANTHROPIC_API_KEY=...
export GOOGLE_API_KEY=...

ഒറ്റ ഫയൽ OpenAI-ക്ക് അനുയോജ്യമായ ചാറ്റ്

from litellm import completion
resp = completion(
model="gpt-4o", # അല്ലെങ്കിൽ "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- മുകളിലുള്ള ക്വിക്ക്സ്റ്റാർട്ട് കോഡ് പ്രവർത്തിപ്പിക്കുക.
- ലക്ഷ്യം: LiteLLM വഴി നിങ്ങളുടെ ആദ്യത്തെ OpenAI-ക്ക് അനുയോജ്യമായ അഭ്യർത്ഥന നടത്തുക.
- പ്രായോഗിക ബിൽഡർ
- DataCamp ട്യൂട്ടോറിയൽ വായിച്ച് സ്ട്രീമിംഗും റീട്രൈകളും ഉപയോഗിച്ച് ഉദാഹരണങ്ങൾ വികസിപ്പിക്കുക.
- രണ്ട് പ്രൊവൈഡർമാരെ ചേർത്ത് ഫാൾബാക്കുകൾ ടെസ്റ്റ് ചെയ്യുക.
- ടീം/പ്രൊഡക്ഷൻ ഉടമ
- ഔദ്യോഗിക ഗെറ്റിംഗ് സ്റ്റാർട്ടഡ് ഗൈഡ് പഠിക്കുക.
- പ്രോക്സി സ്ഥാപിക്കുക, ഒബ്സർവബിലിറ്റിയും കോസ്റ്റ് ട്രാക്കിംഗും ചേർക്കുക.
- റേറ്റ് ലിമിറ്റുകളും PII റിഡക്ഷൻ പോളിസികളും നടപ്പിലാക്കുക.
—
## ഡീപ് ഡൈവ്: നിങ്ങൾ ആഴ്ചതോറും ഉപയോഗിക്കുന്ന പാറ്റേണുകൾ
### ഒരു ഇൻ്റർഫേസ് കരാർ എന്ന നിലയിൽ OpenAI കോംപാറ്റിബിലിറ്റി
- OpenAI-യുടെ API രൂപം നിങ്ങളുടെ ആപ്പ് കരാറായി പരിഗണിക്കുക. എല്ലാ അഭ്യർത്ഥനകളും നിങ്ങളുടെ LiteLLM പ്രോക്സിയുടെ `/v1/*` എൻഡ്പോയിൻ്റുകളിലേക്ക് പോകുന്നു.
- കോഡ് ഉപയോഗിക്കാതെ, കോൺഫിഗറേഷൻ വഴി മോഡലുകൾ മാറ്റുക (ഉദാഹരണത്തിന്, `gpt-4o` → `claude-3-5`).
### യൂസ് കേസ് അനുസരിച്ച് മോഡൽ റൂട്ടിംഗ്
- ലേറ്റൻസി സെൻസിറ്റീവ് പാത്ത്: വേഗതയേറിയതും വിലകുറഞ്ഞതുമായ മോഡലുകളിലേക്ക് റൂട്ട് ചെയ്യുക.
- റീസണിംഗ് പാത്ത്: റിട്രീവൽ-ഓഗ്മെൻ്റഡ് ജനറേഷൻ (RAG) അല്ലെങ്കിൽ ടൂൾ ഉപയോഗത്തിനായി ഉയർന്ന നിലവാരമുള്ള മോഡലുകളിലേക്ക് റൂട്ട് ചെയ്യുക.
- പ്രൈവസി പാത്ത്: PII സെഗ്‌മെൻ്റുകൾക്കായി ലോക്കൽ/Ollama-യിലേക്ക് റൂട്ട് ചെയ്യുക.
### കോസ്റ്റ് ഗാർഡ് റെയിലുകൾ
- `user_id`/`team` ഉപയോഗിച്ച് അഭ്യർത്ഥനകൾ ടാഗ് ചെയ്യുക.
- ഓരോ ടീമിനും/മോഡലിനും ബഡ്ജറ്റുകൾ സജ്ജമാക്കുക.
- ടോക്കൺ ഉപയോഗം ഒരു സെൻട്രൽ സ്റ്റോറിലേക്ക് ലോഗ് ചെയ്യുക, വ്യതിയാനങ്ങൾ ഉണ്ടായാൽ അലേർട്ട് ചെയ്യുക.
### റെസിലിയൻസ്
- ജിറ്റർ ഉപയോഗിച്ച് റീട്രൈകൾ പ്രവർത്തനക്ഷമമാക്കുക.
- ഓരോ പ്രൊവൈഡർക്കും ടൈംഔട്ടുകളും ആവർത്തിച്ചുള്ള പരാജയങ്ങളിൽ സർക്യൂട്ട് ബ്രേക്കറുകളും കോൺഫിഗർ ചെയ്യുക.
- പ്രൊവൈഡർ മുൻഗണനകളും എക്സ്പ്ലിസിറ്റ് ഫാൾബാക്കുകളും നിർവ്വചിക്കുക.
### ഒബ്സർവബിലിറ്റി
- അഭ്യർത്ഥന/പ്രതികരണ മെറ്റാഡാറ്റ, ലേറ്റൻസി ഹിസ്റ്റോഗ്രാമുകൾ, മോഡൽ/വേർഷൻ എന്നിവ ക്യാപ്‌ചർ ചെയ്യുക.
- ലോഗുകളിൽ രഹസ്യങ്ങളും/PII-യും എഡിറ്റ് ചെയ്യുക.
- വേഗത കുറഞ്ഞ കോളുകൾ വേഗത്തിൽ കണ്ടെത്താൻ സേവനങ്ങളിലുടനീളം ട്രെയ്‌സുകൾ പരസ്പരം ബന്ധിപ്പിക്കുക.
—
## LiteLLM പ്രോക്സി കോൺഫിഗറേഷന്റെ ഉദാഹരണം (പ്രൊഡക്ഷൻ-റെഡി സ്റ്റാർട്ടർ)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- പ്രായോഗികവും ഉദാഹരണങ്ങൾ നൽകുന്നതുമായ ലേഖനം.
- ആരംഭിക്കുന്നതിനും പ്രോക്സി മികച്ച രീതിയിൽ ഉപയോഗിക്കുന്നതിനുമുള്ള ഔദ്യോഗിക LiteLLM ഡോക്യുമെൻ്റുകൾ.
—
## ആക്ഷൻ പ്ലാൻ: നിങ്ങളുടെ അടുത്ത 7 ദിവസങ്ങൾ
ദിവസം 1–2: ക്രാഷ് കോഴ്സും ക്വിക്ക്സ്റ്റാർട്ടും ചെയ്യുക; നിങ്ങളുടെ ആദ്യത്തെ പ്രോക്സി ചെയ്ത അഭ്യർത്ഥന നടത്തുക.
ദിവസം 3–4: രണ്ടാമത്തെ പ്രൊവൈഡറും സ്ട്രീമിംഗും ചേർക്കുക; ടൈംഔട്ടുകൾ, റീട്രൈകൾ എന്നിവ സജ്ജമാക്കുക.
ദിവസം 5: കോൺഫിഗറേഷനോടുകൂടി പ്രോക്സി സ്ഥാപിക്കുക; യൂസ് കേസ് അനുസരിച്ച് റൂട്ട് ചെയ്യുക (ലേറ്റൻസി vs റീസണിംഗ്).
ദിവസം 6: ലോഗിംഗ്, കോസ്റ്റ് ട്രാക്കിംഗ്, റിഡക്ഷൻ എന്നിവ ചേർക്കുക.
ദിവസം 7: ലോഡ്-ടെസ്റ്റ്; പ്രൊവൈഡർ പരാജയങ്ങൾ അനുകരിക്കുക; ഫാൾബാക്കുകൾ പരിശോധിക്കുക.
—
## പ്രധാന കണ്ടെത്തലുകൾ
- വെണ്ടർ ലോക്ക്-ഇൻ ഇല്ലാതെ മൾട്ടി-പ്രൊവൈഡർ LLM ആപ്പുകളിലേക്കുള്ള ഏറ്റവും വേഗമേറിയ പാതയാണ് LiteLLM.
- OpenAI-ക്ക് അനുയോജ്യമായ ഇൻ്റർഫേസിൽ നിന്ന് ആരംഭിച്ച് ഭരണത്തിനായി പ്രോക്സിയിലേക്ക് ഉയർത്തുക.
- റൂട്ടിംഗ്, റെസിലിയൻസ്, ഒബ്സർവബിലിറ്റി എന്നിവയിൽ നേരത്തെ നിക്ഷേപം നടത്തുക - നിങ്ങൾക്ക് ഇത് ആറാമത്തെ മാസത്തിലല്ല, രണ്ടാമത്തെ ആഴ്ചയിൽ ആവശ്യമുണ്ട്.
- മുകളിലെ ട്യൂട്ടോറിയലുകൾ നിങ്ങൾ ദിവസവും ഉപയോഗിക്കുന്നതിൻ്റെ 80% ഉൾക്കൊള്ളുന്നു; ബാക്കിയുള്ളവ നിങ്ങളുടെ ഉൽപ്പന്നത്തിൻ്റെ രഹസ്യ ചേരുവയാണ്.
### പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ
Q1: തുടക്കക്കാർക്കുള്ള മികച്ച LiteLLM ട്യൂട്ടോറിയൽ ഏതാണ്?
വേഗത്തിലുള്ള വിഷ്വൽ walkthrough-നായി YouTube-ലെ LiteLLM ക്രാഷ് കോഴ്സിൽ നിന്ന് ആരംഭിക്കുക, തുടർന്ന് പ്രോക്സിക്കായുള്ള ഔദ്യോഗിക ഗെറ്റിംഗ് സ്റ്റാർട്ടഡ് ഗൈഡ് വായിക്കുക. DataCamp ട്യൂട്ടോറിയൽ നിങ്ങൾക്ക് പകർത്താൻ കഴിയുന്ന പ്രായോഗിക ഉദാഹരണങ്ങൾ നൽകുന്നു.
Q2: OpenAI-ക്ക് അനുയോജ്യമായ പ്രോക്സിയായി ഞാൻ LiteLLM എങ്ങനെ ഉപയോഗിക്കും?
LiteLLM പ്രോക്സി പ്രവർത്തിപ്പിച്ച് നിങ്ങളുടെ SDK-യുടെ അടിസ്ഥാന URL പ്രോക്സിയുടെ `/v1` എൻഡ്‌പോയിന്റുകളിലേക്ക് പോയിന്റ് ചെയ്യുക. നിങ്ങളുടെ ആപ്ലിക്കേഷൻ കോഡ് പോർട്ടബിൾ ആയി നിലനിർത്താൻ പ്രൊവൈഡർ വിശദാംശങ്ങൾ LiteLLM കോൺഫിഗിൽ സൂക്ഷിക്കുക.
Q3: OpenAI, Anthropic, Gemini എന്നിവയ്ക്കിടയിൽ LiteLLM-ന് സ്വയമേവ റൂട്ട് ചെയ്യാൻ കഴിയുമോ?
ഉവ്വ്. ലേറ്റൻസി, ചെലവ് അല്ലെങ്കിൽ ഗുണനിലവാരം അനുസരിച്ച് പ്രൊവൈഡർമാർക്കിടയിൽ മാറുന്നതിന് LiteLLM കോൺഫിഗിൽ മോഡലുകളും റൂട്ടിംഗ് തന്ത്രങ്ങളും നിർവ്വചിക്കുക. വിശ്വാസ്യതയ്ക്കായി നിങ്ങൾക്ക് ഫാൾബാക്കുകളും സജ്ജമാക്കാൻ കഴിയും.
Q4: LiteLLM ഉപയോഗിച്ച് സ്ട്രീമിംഗും ടൂൾ/ഫംഗ്ഷൻ കോളിംഗും ഞാൻ എങ്ങനെ പ്രവർത്തനക്ഷമമാക്കും?
LiteLLM വഴി OpenAI-ക്ക് അനുയോജ്യമായ API ഉപയോഗിച്ച് `stream=True` പ്രവർത്തനക്ഷമമാക്കുക (അല്ലെങ്കിൽ നിങ്ങളുടെ SDK-യിൽ SSE). ടൂൾ കോളിംഗിനായി, OpenAI ഫംഗ്ഷൻ-കോളിംഗ് ഫോർമാറ്റ് പിന്തുടരുക - LiteLLM ഇത് ടാർഗെറ്റ് പ്രൊവൈഡറിലേക്ക് ഫോർവേഡ് ചെയ്യുന്നു.
Q5: LiteLLM ഉപയോഗിച്ച് ചെലവുകൾ നിയന്ത്രിക്കാനുള്ള ഏറ്റവും വേഗമേറിയ മാർഗ്ഗം ഏതാണ്?
പ്രോക്സിയിലൂടെ അഭ്യർത്ഥനകൾ കേന്ദ്രീകരിക്കുക, ഉപയോഗ ലോഗിംഗ് പ്രവർത്തനക്ഷമമാക്കുക, ഓരോ കീയ്ക്കും റേറ്റ് ലിമിറ്റുകളും ബഡ്ജറ്റുകളും നടപ്പിലാക്കുക. ചെലവ് കുറഞ്ഞ മോഡലുകളിലേക്ക് വ്യത്യസ്ത വർക്ക്ലോഡുകൾ റൂട്ട് ചെയ്യുക, ആശ്ചര്യങ്ങൾ ഒഴിവാക്കാൻ പതിപ്പുകൾ പിൻ ചെയ്യുക.