What is the best LiteLLM tutorial for beginners?

Start with the LiteLLM Crash Course on YouTube for a quick visual walkthrough, then read the official Getting Started guide for the proxy. The DataCamp tutorial provides practical examples you can copy.

How do I use LiteLLM as an OpenAI-compatible proxy?

Run the LiteLLM proxy and point your SDK’s base URL to the proxy’s `/v1` endpoints. Keep provider details in the LiteLLM config so your application code stays portable.

Can LiteLLM route between OpenAI, Anthropic, and Gemini automatically?

Yes. Define models and routing strategies in the LiteLLM config to switch between providers by latency, cost, or quality. You can also set fallbacks for reliability.

How do I enable streaming and tool/function calling with LiteLLM?

Use the OpenAI-compatible API via LiteLLM and enable `stream=True` (or SSE in your SDK). For tool calling, follow the OpenAI function-calling format—LiteLLM forwards it to the target provider.

What’s the fastest way to control costs with LiteLLM?

Centralize requests through the proxy, enable usage logging, and enforce per-key rate limits and budgets. Route different workloads to cost-optimized models and pin versions to avoid surprises.

ಉತ್ತಮ LiteLLM ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು: LLM ಗೇಟ್‌ವೇ ಅನ್ನು ಕರಗತ ಮಾಡಿಕೊಳ್ಳಲು ನಿಮ್ಮ 2025 ಮಾರ್ಗದರ್ಶಿ

ನೀವು OpenAI, Azure OpenAI, Anthropic, Gemini, ಸ್ಥಳೀಯ ಮಾದರಿಗಳು ಮತ್ತು ಎಲ್ಲವನ್ನೂ ಒಟ್ಟಿಗೆ ಸೇರಿಸುತ್ತಿದ್ದರೆ, LiteLLM ನೀವು ಹುಡುಕುತ್ತಿರುವ ಸ್ವೀಸ್ ಆರ್ಮಿ ಚಾಕು. ಇದು ಡ್ರಾಪ್-ಇನ್, OpenAI-ಹೊಂದಾಣಿಕೆಯ ಲೇಯರ್ ಮತ್ತು ಪ್ರಾಕ್ಸಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಒಂದು ಭಾಷೆಯನ್ನು ಮಾತನಾಡಬಹುದು ಆದರೆ ನೀವು ಮಾದರಿಗಳು, ಮಾರಾಟಗಾರರು ಮತ್ತು ಬೆಲೆಯನ್ನು ಹಿನ್ನೆಲೆಯಲ್ಲಿ ಬದಲಾಯಿಸಬಹುದು. ಸವಾಲು? ಎಲ್ಲಿಂದ ಪ್ರಾರಂಭಿಸಬೇಕು ಎಂಬುದನ್ನು ಕಂಡುಹಿಡಿಯುವುದು - ಮತ್ತು ಯಾವ ಸಂಪನ್ಮೂಲಗಳು ನಿಮ್ಮ ಸಮಯಕ್ಕೆ ಯೋಗ್ಯವಾಗಿವೆ.

ಈ ಪ್ರಾಯೋಗಿಕ, ಪರಿಹಾರ-ಆಧಾರಿತ ಮಾರ್ಗದರ್ಶಿ 2025 ರಲ್ಲಿನ ಅತ್ಯುತ್ತಮ LiteLLM ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದು ಸಂಪನ್ಮೂಲವು ಯಾರಿಗೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಉತ್ಪಾದನೆಗೆ ವೇಗವಾದ ಮಾರ್ಗವನ್ನು ತಿಳಿಸುತ್ತದೆ. ನಾವು ತ್ವರಿತ ಗೆಲುವುಗಳು, ಆಳವಾದ ಅಧ್ಯಯನಗಳು ಮತ್ತು ನೀವು ನಕಲಿಸಬಹುದಾದ ಯುದ್ಧ-ಪರೀಕ್ಷಿತ ಮಾದರಿಗಳನ್ನು ಮಿಶ್ರಣ ಮಾಡುತ್ತೇವೆ.

ಅಂತಿಮವಾಗಿ, ಯಾವ LiteLLM ಟ್ಯುಟೋರಿಯಲ್‌ಗಳನ್ನು ಮೊದಲು ವೀಕ್ಷಿಸಬೇಕು ಅಥವಾ ಓದಬೇಕು, LiteLLM ಪ್ರಾಕ್ಸಿಯನ್ನು ಹೇಗೆ ಸ್ಪಿನ್ ಅಪ್ ಮಾಡುವುದು ಮತ್ತು OpenAI SDK ಗಳು, ಸ್ಟ್ರೀಮಿಂಗ್, ರಿಟ್ರೀಸ್, ರೇಟ್ ಲಿಮಿಟ್‌ಗಳು, ಮಾದರಿ ರೂಟಿಂಗ್ ಮತ್ತು ಅಬ್ಸರ್ವಬಿಲಿಟಿಯೊಂದಿಗೆ ಹೇಗೆ ಸಂಯೋಜಿಸುವುದು ಎಂದು ನಿಮಗೆ ತಿಳಿಯುತ್ತದೆ.

—

LiteLLM ಎಂದರೇನು (ಮತ್ತು ತಂಡಗಳು ಅದನ್ನು ಏಕೆ ನಂಬುತ್ತವೆ)?

LiteLLM ಒಂದು OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಮತ್ತು SDK ಅನ್ನು ಒದಗಿಸುತ್ತದೆ, ಅದು ನಿಮಗೆ ಇದನ್ನು ಮಾಡಲು ಅನುಮತಿಸುತ್ತದೆ:

ಒಂದು ಇಂಟರ್‌ಫೇಸ್‌ನೊಂದಿಗೆ ಅನೇಕ ಪೂರೈಕೆದಾರರಿಗೆ (OpenAI, Azure OpenAI, Anthropic, Google, Cohere, Together, Ollama, ಇನ್ನಷ್ಟು) ರೂಟ್ ಮಾಡಿ.

ದೃಢೀಕರಣ, ಲಾಗಿಂಗ್, ವೆಚ್ಚ ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು ಪಾಲಿಸಿಯನ್ನು ಪ್ರಮಾಣೀಕರಿಸಲು ಕೇಂದ್ರೀಕೃತ ಪ್ರಾಕ್ಸಿ (LLM ಗೇಟ್‌ವೇ) ಅನ್ನು ನಿಯೋಜಿಸಿ.

ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಪುನಃ ಬರೆಯದೆ ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸಿ.

ನೀವು ಬಹು-LLM ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, LiteLLM ಸಂಪರ್ಕಿಸುವ ಅಂಗಾಂಶವಾಗಿದೆ. ಅಧಿಕೃತ ಡಾಕ್ಸ್ ಬಲವಾಗಿವೆ ಮತ್ತು ಹಲವಾರು ಥರ್ಡ್-ಪಾರ್ಟಿ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು ಈಗ ನೈಜ-ಪ್ರಪಂಚದ ಬಳಕೆಯ ಪ್ರಕರಣಗಳನ್ನು ಒಳಗೊಂಡಿವೆ.

—

2025 ರಲ್ಲಿ 10 ಅತ್ಯುತ್ತಮ LiteLLM ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು

ಕೆಳಗಿನವು ಉನ್ನತ ಸಂಪನ್ಮೂಲಗಳು, ಅವು ಯಾರಿಗೆ ಮತ್ತು ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ - ಸ್ಪಷ್ಟತೆ, ಸಂಪೂರ್ಣತೆ ಮತ್ತು ಉತ್ಪಾದನಾ ಪ್ರಸ್ತುತತೆಯಿಂದ ಶ್ರೇಣೀಕರಿಸಲಾಗಿದೆ.

1) LiteLLM ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್ | ಸಂಪೂರ್ಣ ಆರಂಭಿಕರಿಗಾಗಿ (ವಿಡಿಯೋ)

ಯಾರಿಗೆ ಉತ್ತಮ: ದೃಶ್ಯ ಕಲಿಯುವವರು ಮತ್ತು ಒಂದು ಗಂಟೆಯೊಳಗೆ ಎಂಡ್-ಟು-ಎಂಡ್ ಸೆಟಪ್ ಬಯಸುವ ಡೆವಲಪರ್‌ಗಳು.

ಇದು ಏಕೆ ಉತ್ತಮವಾಗಿದೆ: ಅನುಸ್ಥಾಪನೆ, Python SDK ಮೂಲಭೂತ ಅಂಶಗಳು ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್‌ನಂತಹ ಪ್ರಮುಖ ವೈಶಿಷ್ಟ್ಯಗಳ ಪ್ರವಾಸದೊಂದಿಗೆ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಕರೆಗಳನ್ನು ಹೇಗೆ ಸಂಯೋಜಿಸುವುದು ಎಂಬುದನ್ನು ಒಳಗೊಂಡಿದೆ.

ನೀವು ಮೊದಲು LiteLLM ಅನ್ನು ಬಳಸದಿದ್ದರೆ ಇಲ್ಲಿಂದ ಪ್ರಾರಂಭಿಸಿ.

ವೀಕ್ಷಿಸಿ: LiteLLM ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್ | ಸಂಪೂರ್ಣ ಆರಂಭಿಕರಿಗಾಗಿ.

2) DataCamp: LiteLLM - ಪ್ರಾಯೋಗಿಕ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಮಾರ್ಗದರ್ಶಿ (ಲೇಖನ)

ಯಾರಿಗೆ ಉತ್ತಮ: ಕೋಡ್-ಮೊದಲ, ನಕಲು-ಅಂಟಿಸು ಉದಾಹರಣೆಗಳನ್ನು ಬಯಸುವ ಡೆವಲಪರ್‌ಗಳು.

ಇದು ಏಕೆ ಉತ್ತಮವಾಗಿದೆ: ಮೂಲ API ಕರೆಗಳನ್ನು ಹೇಗೆ ಮಾಡುವುದು ಮತ್ತು ನಿಮ್ಮ ಬಳಕೆಯ ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಹೆಚ್ಚಿಸುವುದು ಎಂಬುದನ್ನು ತೋರಿಸುವ ಮೂಲಕ “ಹಲೋ ವರ್ಲ್ಡ್” ನಿಂದ ಸ್ಟ್ರೀಮಿಂಗ್ ಪ್ರತಿಕ್ರಿಯೆಗಳವರೆಗೆ ವಿವರಿಸುತ್ತದೆ.

ಓದಿ: LiteLLM: ಪ್ರಾಯೋಗಿಕ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಮಾರ್ಗದರ್ಶಿ.

3) ಅಧಿಕೃತ ಡಾಕ್ಸ್: LiteLLM ಪ್ರಾರಂಭಿಸುವುದು (ಡಾಕ್ಸ್)

ಯಾರಿಗೆ ಉತ್ತಮ: ಪ್ರಾಕ್ಸಿ/ಗೇಟ್‌ವೇ, ಪಾಲಿಸಿ ಮತ್ತು ರೂಟಿಂಗ್ ಅಗತ್ಯಗಳೊಂದಿಗೆ ಉತ್ಪಾದನೆಗೆ ತೆರಳುವ ತಂಡಗಳು.

ಇದು ಏಕೆ ಉತ್ತಮವಾಗಿದೆ: ಪ್ರಾಕ್ಸಿಯನ್ನು ಯಾವಾಗ ಬಳಸಬೇಕು, ಬಹು ಪೂರೈಕೆದಾರರನ್ನು ಹೇಗೆ ವೈರ್ ಅಪ್ ಮಾಡುವುದು, ಮಾದರಿಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡುವುದು ಮತ್ತು ಪ್ರವೇಶವನ್ನು ಕೇಂದ್ರೀಕರಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಸ್ಪಷ್ಟ ಮಾರ್ಗದರ್ಶನ.

ಓದಿ: LiteLLM - ಪ್ರಾರಂಭಿಸುವುದು.

4) LiteLLM ಪ್ರಾಕ್ಸಿಯೊಂದಿಗೆ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಅನ್ನು ನಿರ್ಮಿಸಿ

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: LiteLLM ಪ್ರಾಕ್ಸಿಯನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಸ್ಪಿನ್ ಅಪ್ ಮಾಡುವುದು, ಬಹು ಪೂರೈಕೆದಾರರಿಗೆ ಪರಿಸರ ವೇರಿಯೇಬಲ್‌ಗಳನ್ನು ಹೊಂದಿಸುವುದು, ಏಕೀಕೃತ /v1/chat/completions ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ರಚಿಸುವುದು.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: ಹೆಚ್ಚಿನ ಉತ್ಪಾದನಾ ತಂಡಗಳು ಅಬ್ಸರ್ವಬಿಲಿಟಿ ಮತ್ತು ಪಾಲಿಸಿಯನ್ನು ಅನ್ಲಾಕ್ ಮಾಡಲು ಪ್ರಾಕ್ಸಿಯಲ್ಲಿ ಪ್ರಮಾಣೀಕರಿಸುತ್ತವೆ.

ಇದನ್ನು ಅಧಿಕೃತ ಪ್ರಾರಂಭ ಮಾರ್ಗದರ್ಶಿಯೊಂದಿಗೆ ಮತ್ತು ನಿಮ್ಮ ನೆಚ್ಚಿನ ಭಾಷಾ SDK ಯೊಂದಿಗೆ ಜೋಡಿಸಿ.

5) ಬಹು-ಪೂರೈಕೆದಾರ ರೂಟಿಂಗ್ ಮತ್ತು ಫಾಲ್‌ಬ್ಯಾಕ್‌ಗಳು

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: ಸ್ಥಗಿತಗಳು ಅಥವಾ ದರ ಮಿತಿಗಳನ್ನು ನಿಭಾಯಿಸಲು ಪೂರೈಕೆದಾರರ ಪಟ್ಟಿಗಳು, ಆರೋಗ್ಯ ತಪಾಸಣೆಗಳು ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಫಾಲ್‌ಬ್ಯಾಕ್‌ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವದಿಂದ ಇರಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, GPT-4o ಗೆ ಪ್ರಾಥಮಿಕ ಮಾರ್ಗ ಮತ್ತು ಲೇಟೆನ್ಸಿ ಹೆಚ್ಚಾದರೆ Claude 3.5 ಅಥವಾ Gemini ಗೆ ಫಾಲ್‌ಬ್ಯಾಕ್ ಮಾಡಿ.

6) ವೆಚ್ಚ ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ಬಳಕೆಯ ಮೇಲ್ವಿಚಾರಣೆ

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: ಪ್ರತಿ-ವಿನಂತಿ ವೆಚ್ಚವನ್ನು ಹೇಗೆ ಲಾಗ್ ಮಾಡುವುದು, ಕೋಟಾಗಳನ್ನು ಜಾರಿಗೊಳಿಸುವುದು ಮತ್ತು ತಂಡ/ಅಪ್ಲಿಕೇಶನ್‌ನಿಂದ ಬಳಕೆಯನ್ನು ಟ್ಯಾಗ್ ಮಾಡುವುದು ಹೇಗೆ.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: LiteLLM ಮಾರಾಟಗಾರರಾದ್ಯಂತ ನಿಮ್ಮ ಏಕೈಕ ಗ್ಲಾಸ್‌ನ ಫಲಕವಾಗಬಹುದು. ನಿಮ್ಮ CFO ನಿಮ್ಮನ್ನು ಕೇಳುವ ಮೊದಲು ಎಚ್ಚರಿಕೆಗಳು ಮತ್ತು ಬಜೆಟ್‌ಗಳನ್ನು ಸೇರಿಸಿ.

7) ಸ್ಟ್ರೀಮಿಂಗ್, ಟೂಲ್ ಬಳಕೆ ಮತ್ತು ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್‌ಗಳು

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: ಸರ್ವರ್-ಸೆಂಟ್ ಈವೆಂಟ್‌ಗಳು (SSE) ಸ್ಟ್ರೀಮಿಂಗ್, ಫಂಕ್ಷನ್/ಟೂಲ್ ಕರೆ ಮತ್ತು JSON ಸ್ಕೀಮಾ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸಿ.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: ಆಧುನಿಕ AI ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ವೇಗದ, ಸಂವಾದಾತ್ಮಕ UX ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಫಂಕ್ಷನ್ ಕರೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿವೆ. LiteLLM ತನ್ನ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಇಂಟರ್‌ಫೇಸ್ ಮೂಲಕ ಈ ಮಾದರಿಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

8) ಸ್ಥಳೀಯ + ಕ್ಲೌಡ್ ಹೈಬ್ರಿಡ್: LiteLLM ಮೂಲಕ Ollama

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: ಕ್ಲೌಡ್ ಮಾದರಿಗಳನ್ನು ಲಭ್ಯವಿರುವಂತೆ ಇಟ್ಟುಕೊಂಡು LiteLLM ಅನ್ನು Ollama ಮೂಲಕ ಸ್ಥಳೀಯ ಮಾದರಿಗಳಲ್ಲಿ ಪಾಯಿಂಟ್ ಮಾಡಿ - ನಂತರ ಕಾರ್ಯ, ಲೇಟೆನ್ಸಿ ಅಥವಾ ವೆಚ್ಚದ ಮೂಲಕ ರೂಟ್ ಮಾಡಿ.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: ಖಾಸಗಿ ಕಾರ್ಯಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸಿ, ಸಂಕೀರ್ಣ ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗಾಗಿ ಕ್ಲೌಡ್‌ಗೆ ಬರ್ಸ್ಟ್ ಮಾಡಿ.

9) ದರ ಮಿತಿ, ರಿಟ್ರೀಸ್ ಮತ್ತು ಸರ್ಕ್ಯೂಟ್ ಬ್ರೇಕರ್‌ಗಳು

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: ಪ್ರತಿ-ಮಾದರಿ ದರ ಮಿತಿಗಳು, ಎಕ್ಸ್‌ಪೋನೆನ್ಷಿಯಲ್ ಬ್ಯಾಕ್‌ಆಫ್ ಮತ್ತು ಫೇಲ್-ಫಾಸ್ಟ್ ಮಾದರಿಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: ಗುಡುಗು ದಂಡುಗಳನ್ನು ತಡೆಯಿರಿ ಮತ್ತು ಲೋಡ್ ಅಡಿಯಲ್ಲಿ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಸುಧಾರಿಸಿ.

10) ಅಬ್ಸರ್ವಬಿಲಿಟಿ: ಲಾಗ್‌ಗಳು, ಟ್ರೇಸ್‌ಗಳು ಮತ್ತು ರೆಡಾಕ್ಷನ್

ನೀವು ಏನು ಕಲಿಯುತ್ತೀರಿ: ಎಲ್ಲಾ ಪೂರೈಕೆದಾರರಿಂದ ಲಾಗ್‌ಗಳು ಮತ್ತು ಟ್ರೇಸ್‌ಗಳನ್ನು ಕೇಂದ್ರೀಕರಿಸಿ, PII ಅನ್ನು ತಿದ್ದಿ ಮತ್ತು ಟೆಲಿಮೆಟ್ರಿಯನ್ನು ನಿಮ್ಮ ನೆಚ್ಚಿನ APM/ಅನಾಲಿಟಿಕ್ಸ್‌ಗೆ ರವಾನಿಸಿ.

ಇದು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ: ಗೇಟ್‌ವೇ ಇಲ್ಲದೆ ಮಲ್ಟಿ-LLM ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ಡೀಬಗ್ ಮಾಡುವುದು ನೋವು; LiteLLM ಅದನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತದೆ.

—

ತ್ವರಿತ ಪ್ರಾರಂಭ: LiteLLM ನೊಂದಿಗೆ ನಿಮ್ಮ ಮೊದಲ 15 ನಿಮಿಷಗಳು

ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್ ವೀಕ್ಷಿಸಿದ ನಂತರ ಮತ್ತು ಡಾಕ್ಸ್ ಅನ್ನು ಸ್ಕಿಮ್ ಮಾಡಿದ ನಂತರ ಈ ಫ್ಲೋ ಅನ್ನು ಅನುಸರಿಸಿ.

ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಕೀಗಳನ್ನು ಹೊಂದಿಸಿ

pip install litellm
export OPENAI_API_KEY=sk-...
# ಐಚ್ಛಿಕ: ಹೆಚ್ಚಿನ ಪೂರೈಕೆದಾರರು
export ANTHROPIC_API_KEY=...
export GOOGLE_API_KEY=...

ಒಂದು-ಫೈಲ್ OpenAI-ಹೊಂದಾಣಿಕೆಯ ಚಾಟ್

from litellm import completion
resp = completion(
model="gpt-4o", # ಅಥವಾ "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- ಮೇಲಿನ ತ್ವರಿತ ಪ್ರಾರಂಭ ಕೋಡ್ ಅನ್ನು ಚಲಾಯಿಸಿ.
- ಗುರಿ: LiteLLM ಮೂಲಕ ನಿಮ್ಮ ಮೊದಲ OpenAI-ಹೊಂದಾಣಿಕೆಯ ವಿನಂತಿಯನ್ನು ಮಾಡಿ.
- ಪ್ರಾಯೋಗಿಕ ಬಿಲ್ಡರ್
- DataCamp ಟ್ಯುಟೋರಿಯಲ್ ಅನ್ನು ಓದಿ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ ಮತ್ತು ರಿಟ್ರೀಸ್‌ನೊಂದಿಗೆ ಉದಾಹರಣೆಗಳನ್ನು ವಿಸ್ತರಿಸಿ.
- ಇಬ್ಬರು ಪೂರೈಕೆದಾರರನ್ನು ಸೇರಿಸಿ ಮತ್ತು ಫಾಲ್‌ಬ್ಯಾಕ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.
- ತಂಡ/ಉತ್ಪಾದನಾ ಮಾಲೀಕರು
- ಅಧಿಕೃತ ಪ್ರಾರಂಭ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಅಧ್ಯಯನ ಮಾಡಿ.
- ಪ್ರಾಕ್ಸಿಯನ್ನು ಸ್ಥಾಪಿಸಿ, ಅಬ್ಸರ್ವಬಿಲಿಟಿ ಮತ್ತು ವೆಚ್ಚ ಟ್ರ್ಯಾಕಿಂಗ್ ಅನ್ನು ಸೇರಿಸಿ.
- ದರ ಮಿತಿಗಳನ್ನು ಮತ್ತು PII ತಿದ್ದುಪಡಿ ಪಾಲಿಸಿಗಳನ್ನು ಜಾರಿಗೊಳಿಸಿ.
—
## ಆಳವಾದ ಅಧ್ಯಯನ: ನೀವು ವಾರಕ್ಕೊಮ್ಮೆ ಬಳಸುವ ಮಾದರಿಗಳು
### ಇಂಟರ್‌ಫೇಸ್ ಒಪ್ಪಂದವಾಗಿ OpenAI ಹೊಂದಾಣಿಕೆ
- OpenAI ನ API ಆಕಾರವನ್ನು ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಒಪ್ಪಂದವಾಗಿ ಪರಿಗಣಿಸಿ. ಎಲ್ಲಾ ವಿನಂತಿಗಳು ನಿಮ್ಮ LiteLLM ಪ್ರಾಕ್ಸಿಯ `/v1/*` ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳಿಗೆ ಹೋಗುತ್ತವೆ.
- ಕೋಡ್‌ನಿಂದ ಅಲ್ಲ, ಕಾನ್ಫಿಗ್‌ನಿಂದ ಮಾದರಿಗಳನ್ನು (`gpt-4o` → `claude-3-5`) ಬದಲಾಯಿಸಿ.
### ಬಳಕೆಯ ಕೇಸ್ ಮೂಲಕ ಮಾದರಿ ರೂಟಿಂಗ್
- ಲೇಟೆನ್ಸಿ-ಸೆನ್ಸಿಟಿವ್ ಪಾತ್: ವೇಗದ, ಅಗ್ಗದ ಮಾದರಿಗಳಿಗೆ ರೂಟ್ ಮಾಡಿ.
- ತಾರ್ಕಿಕ ಪಾತ್: ರಿಟ್ರೀವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG) ಅಥವಾ ಟೂಲ್ ಬಳಕೆಗಾಗಿ ಉತ್ತಮ-ಗುಣಮಟ್ಟದ ಮಾದರಿಗಳಿಗೆ ರೂಟ್ ಮಾಡಿ.
- ಗೌಪ್ಯತೆ ಪಾತ್: PII ವಿಭಾಗಗಳಿಗಾಗಿ ಸ್ಥಳೀಯ/Ollama ಗೆ ರೂಟ್ ಮಾಡಿ.
### ವೆಚ್ಚದ ಗಾರ್ಡ್‌ರೈಲ್ಸ್
- `user_id`/`team` ನೊಂದಿಗೆ ವಿನಂತಿಗಳನ್ನು ಟ್ಯಾಗ್ ಮಾಡಿ.
- ಪ್ರತಿ ತಂಡ/ಮಾದರಿಗೆ ಬಜೆಟ್‌ಗಳನ್ನು ಹೊಂದಿಸಿ.
- ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಕೇಂದ್ರ ಸ್ಟೋರ್‌ಗೆ ಲಾಗ್ ಮಾಡಿ ಮತ್ತು ವ್ಯತ್ಯಾಸಗಳ ಬಗ್ಗೆ ಎಚ್ಚರಿಸಿ.
### ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವ
- ಜಿಟ್ಟರ್‌ನೊಂದಿಗೆ ರಿಟ್ರೀಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ.
- ಪ್ರತಿ ಪೂರೈಕೆದಾರರಿಗೆ ಟೈಮ್‌ಔಟ್‌ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ ಮತ್ತು ಪುನರಾವರ್ತಿತ ವೈಫಲ್ಯಗಳ ಮೇಲೆ ಸರ್ಕ್ಯೂಟ್ ಬ್ರೇಕರ್‌ಗಳನ್ನು ಬಳಸಿ.
- ಪೂರೈಕೆದಾರರ ಆದ್ಯತೆಗಳನ್ನು ಮತ್ತು ಸ್ಪಷ್ಟ ಫಾಲ್‌ಬ್ಯಾಕ್‌ಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ.
### ಅಬ್ಸರ್ವಬಿಲಿಟಿ
- ವಿನಂತಿ/ಪ್ರತಿಕ್ರಿಯೆ ಮೆಟಾಡೇಟಾ, ಲೇಟೆನ್ಸಿ ಹಿಸ್ಟೋಗ್ರಾಮ್‌ಗಳು ಮತ್ತು ಮಾದರಿ/ಆವೃತ್ತಿಯನ್ನು ಸೆರೆಹಿಡಿಯಿರಿ.
- ಲಾಗ್‌ಗಳಲ್ಲಿ ರಹಸ್ಯಗಳು/PII ಅನ್ನು ತಿದ್ದಿ.
- ನಿಧಾನ ಕರೆಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಹುಡುಕಲು ಸೇವೆಗಳಾದ್ಯಂತ ಟ್ರೇಸ್‌ಗಳನ್ನು ಪರಸ್ಪರ ಸಂಬಂಧಿಸಿ.
—
## ಉದಾಹರಣೆ LiteLLM ಪ್ರಾಕ್ಸಿ ಕಾನ್ಫಿಗ್ (ಉತ್ಪಾದನೆಗೆ ಸಿದ್ಧವಾದ ಸ್ಟಾರ್ಟರ್)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- ಪ್ರಾಯೋಗಿಕ, ಉದಾಹರಣೆ-ಚಾಲಿತ ಲೇಖನ.
- ಪ್ರಾರಂಭಿಸಲು ಮತ್ತು ಪ್ರಾಕ್ಸಿ ಉತ್ತಮ ಅಭ್ಯಾಸಗಳಿಗಾಗಿ ಅಧಿಕೃತ LiteLLM ಡಾಕ್ಸ್.
—
## ಕ್ರಿಯಾ ಯೋಜನೆ: ನಿಮ್ಮ ಮುಂದಿನ 7 ದಿನಗಳು
ದಿನ 1–2: ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್ ಮತ್ತು ತ್ವರಿತ ಪ್ರಾರಂಭವನ್ನು ಮಾಡಿ; ನಿಮ್ಮ ಮೊದಲ ಪ್ರಾಕ್ಸಿಡ್ ವಿನಂತಿಯನ್ನು ಮಾಡಿ.
ದಿನ 3–4: ಎರಡನೇ ಪೂರೈಕೆದಾರ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ ಅನ್ನು ಸೇರಿಸಿ; ಟೈಮ್‌ಔಟ್‌ಗಳು, ರಿಟ್ರೀಗಳನ್ನು ಹೊಂದಿಸಿ.
ದಿನ 5: ಕಾನ್ಫಿಗ್‌ನೊಂದಿಗೆ ಪ್ರಾಕ್ಸಿಯನ್ನು ಸ್ಥಾಪಿಸಿ; ಬಳಕೆಯ ಕೇಸ್ ಮೂಲಕ ರೂಟ್ ಮಾಡಿ (ಲೇಟೆನ್ಸಿ ವಿರುದ್ಧ ತಾರ್ಕಿಕ ಕ್ರಿಯೆ).
ದಿನ 6: ಲಾಗಿಂಗ್, ವೆಚ್ಚ ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು ರೆಡಾಕ್ಷನ್ ಅನ್ನು ಸೇರಿಸಿ.
ದಿನ 7: ಲೋಡ್-ಪರೀಕ್ಷೆ; ಪೂರೈಕೆದಾರರ ವೈಫಲ್ಯಗಳನ್ನು ಅನುಕರಿಸಿ; ಫಾಲ್‌ಬ್ಯಾಕ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.
—
## ಪ್ರಮುಖ ಅಂಶಗಳು
- ಮಾರಾಟಗಾರರ ಲಾಕ್-ಇನ್ ಇಲ್ಲದೆ ಬಹು-ಪೂರೈಕೆದಾರ LLM ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ LiteLLM ವೇಗವಾದ ಮಾರ್ಗವಾಗಿದೆ.
- OpenAI-ಹೊಂದಾಣಿಕೆಯ ಇಂಟರ್‌ಫೇಸ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ ಆಡಳಿತಕ್ಕಾಗಿ ಪ್ರಾಕ್ಸಿಗೆ ಏರಿ.
- ರೂಟಿಂಗ್, ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವ ಮತ್ತು ಅಬ್ಸರ್ವಬಿಲಿಟಿಯಲ್ಲಿ ಮುಂಚೆಯೇ ಹೂಡಿಕೆ ಮಾಡಿ - ನಿಮಗೆ ಅವು ಆರನೇ ತಿಂಗಳಿನಲ್ಲಿ ಅಲ್ಲ, ಎರಡನೇ ವಾರದಲ್ಲಿ ಬೇಕಾಗುತ್ತವೆ.
- ಮೇಲಿನ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು ನೀವು ಪ್ರತಿದಿನ ಬಳಸುವ 80% ಅನ್ನು ಒಳಗೊಂಡಿದೆ; ಉಳಿದವು ನಿಮ್ಮ ಉತ್ಪನ್ನದ ರಹಸ್ಯ ಸಾಸ್ ಆಗಿದೆ.
### FAQ
ಪ್ರಶ್ನೆ 1: ಆರಂಭಿಕರಿಗಾಗಿ ಅತ್ಯುತ್ತಮ LiteLLM ಟ್ಯುಟೋರಿಯಲ್ ಯಾವುದು?
ತ್ವರಿತ ದೃಶ್ಯ ವಾಕ್‌ಥ್ರೂಗಾಗಿ YouTube ನಲ್ಲಿ LiteLLM ಕ್ರ್ಯಾಶ್ ಕೋರ್ಸ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ನಂತರ ಪ್ರಾಕ್ಸಿಗಾಗಿ ಅಧಿಕೃತ ಪ್ರಾರಂಭ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಓದಿ. DataCamp ಟ್ಯುಟೋರಿಯಲ್ ನೀವು ನಕಲಿಸಬಹುದಾದ ಪ್ರಾಯೋಗಿಕ ಉದಾಹರಣೆಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಪ್ರಶ್ನೆ 2: ನಾನು OpenAI-ಹೊಂದಾಣಿಕೆಯ ಪ್ರಾಕ್ಸಿಯಾಗಿ LiteLLM ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು?
LiteLLM ಪ್ರಾಕ್ಸಿಯನ್ನು ಚಲಾಯಿಸಿ ಮತ್ತು ನಿಮ್ಮ SDK ಯ ಬೇಸ್ URL ಅನ್ನು ಪ್ರಾಕ್ಸಿಯ `/v1` ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳಿಗೆ ಪಾಯಿಂಟ್ ಮಾಡಿ. ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ ಪೋರ್ಟಬಲ್ ಆಗಿರಲು ಪೂರೈಕೆದಾರರ ವಿವರಗಳನ್ನು LiteLLM ಕಾನ್ಫಿಗ್‌ನಲ್ಲಿ ಇರಿಸಿ.
ಪ್ರಶ್ನೆ 3: LiteLLM OpenAI, Anthropic ಮತ್ತು Gemini ನಡುವೆ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ರೂಟ್ ಮಾಡಬಹುದೇ?
ಹೌದು. ಲೇಟೆನ್ಸಿ, ವೆಚ್ಚ ಅಥವಾ ಗುಣಮಟ್ಟದಿಂದ ಪೂರೈಕೆದಾರರ ನಡುವೆ ಬದಲಾಯಿಸಲು LiteLLM ಕಾನ್ಫಿಗ್‌ನಲ್ಲಿ ಮಾದರಿಗಳು ಮತ್ತು ರೂಟಿಂಗ್ ತಂತ್ರಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ. ವಿಶ್ವಾಸಾರ್ಹತೆಗಾಗಿ ನೀವು ಫಾಲ್‌ಬ್ಯಾಕ್‌ಗಳನ್ನು ಸಹ ಹೊಂದಿಸಬಹುದು.
ಪ್ರಶ್ನೆ 4: ನಾನು LiteLLM ನೊಂದಿಗೆ ಸ್ಟ್ರೀಮಿಂಗ್ ಮತ್ತು ಟೂಲ್/ಫಂಕ್ಷನ್ ಕರೆಯನ್ನು ಹೇಗೆ ಸಕ್ರಿಯಗೊಳಿಸುವುದು?
LiteLLM ಮೂಲಕ OpenAI-ಹೊಂದಾಣಿಕೆಯ API ಅನ್ನು ಬಳಸಿ ಮತ್ತು `stream=True` ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ (ಅಥವಾ ನಿಮ್ಮ SDK ಯಲ್ಲಿ SSE). ಟೂಲ್ ಕರೆಯುವುದಕ್ಕಾಗಿ, OpenAI ಫಂಕ್ಷನ್-ಕರೆ ಫಾರ್ಮ್ಯಾಟ್ ಅನ್ನು ಅನುಸರಿಸಿ - LiteLLM ಅದನ್ನು ಟಾರ್ಗೆಟ್ ಪೂರೈಕೆದಾರರಿಗೆ ಫಾರ್ವರ್ಡ್ ಮಾಡುತ್ತದೆ.
ಪ್ರಶ್ನೆ 5: LiteLLM ನೊಂದಿಗೆ ವೆಚ್ಚಗಳನ್ನು ನಿಯಂತ್ರಿಸಲು ವೇಗವಾದ ಮಾರ್ಗ ಯಾವುದು?
ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ವಿನಂತಿಗಳನ್ನು ಕೇಂದ್ರೀಕರಿಸಿ, ಬಳಕೆಯ ಲಾಗಿಂಗ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ ಮತ್ತು ಪ್ರತಿ-ಕೀ ದರ ಮಿತಿಗಳು ಮತ್ತು ಬಜೆಟ್‌ಗಳನ್ನು ಜಾರಿಗೊಳಿಸಿ. ವೆಚ್ಚ-ಆಪ್ಟಿಮೈಸ್ಡ್ ಮಾದರಿಗಳಿಗೆ ವಿಭಿನ್ನ ವರ್ಕ್‌ಲೋಡ್‌ಗಳನ್ನು ರೂಟ್ ಮಾಡಿ ಮತ್ತು ಆಶ್ಚರ್ಯಗಳನ್ನು ತಪ್ಪಿಸಲು ಆವೃತ್ತಿಗಳನ್ನು ಪಿನ್ ಮಾಡಿ.