LiteLLM ನ್ನು ಹೇಗೆ ಬಳಸುವುದು: ಉದಾಹರಣೆಗಳು, ತಜ್ಞ ಸಲಹೆಗಳು ಮತ್ತು ನೈಜ-ಜಗತ್ತಿನ ಕಾರ್ಯಪ್ರವೃತ್ತಿಗಳೊಂದಿಗೆ ಪ್ರಾಯೋಗಿಕ ಮಾರ್ಗದರ್ಶಿ
ನೀವು ಯಾವಾಗಲಾದರೂ ಪ್ರತಿಯೊಂದು ಮಾದರಿ API ಕೂಡ OpenAI ಯಂತೆ ನಡೆದುಕೊಳ್ಳಲಿ ಎಂದು ಬಯಸಿದಿದ್ದರೆ, ನಿಮಗೆ LiteLLM ಬಹಳ ಇಷ್ಟವಾಗುವದು. ಇದು ಒಂದು ಲಘು ತೂಕದ ಗೇಟ್ವೇ ಆಗಿದ್ದು, ನೀವು ಒಂದು OpenAI-ಸಹಜಿಸಲಾಗುವ ಅಂತರ್ಫೇಸ್ನೊಂದಿಗೆ 100 ಕ್ಕೂ ಹೆಚ್ಚು LLMs ಅನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಕೋಡ್ನಲ್ಲಿ ಅಥವಾ ತಂಡಗಳ ನಡುವೆ ಹಂಚಿಕೊಳ್ಳಬಹುದಾದ ಕೇಂದ್ರ ಪ್ರಾಕ್ಸಿ ಮೂಲಕ ಕರೆಮಾಡಬಹುದು. ಈ ಟ್ಯುಟೋರಿಯಲ್ ನಲ್ಲಿ ನಾವು ಸ್ಥಾಪನೆ, ಮೂಲ ಮತ್ತು ಸುಧಾರಿತ ಬಳಕೆಯ ವಿಧಾನಗಳು, ಸ್ಟ್ರೀಮಿಂಗ್, ಬ್ಯಾಚಿಂಗ್, ಮರುಪ್ರಯತ್ನಗಳು, ಕ್ಯಾಚಿಂಗ್, ವೆಚ್ಚದ ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು LiteLLM ಪ್ರಾಕ್ಸಿಯನ್ನು ರಕ್ಷಣೆ ಮತ್ತು ಮಾರ್ಗನಿರ್ದೇಶನದೊಂದಿಗೆ ನಿಯೋಜಿಸುವ ರೀತಿಗಳನ್ನು ಪರಿಶೀಲಿಸುವೆವು. Python ಮತ್ತು JavaScript ಉದಾಹರಣೆಗಳ ಜೊತೆಗೆ ನೈಜ-ಜಗತ್ತಿನ ಮಾದರಿಗಳನ್ನು ಸಹ ಇಲ್ಲಿ ಸೇರಿಸಲಾಗಿದೆ.
ಗಮನಾರ್ಹ: ನೀವು ವೇಗವಾಗಿ ಪ್ರಾಂಪ್ಟ್ ಗಳನ್ನು ಪ್ರೋಟೋಟೈಪ್ ಮಾಡಲು, ಹಲವು ಮಾದರಿಗಳಲ್ಲಿ ಪ್ರಶ್ನೆಗಳು ಕೇಳಲು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ತಾಳಲು ಬಯಸಿದರೆ, Sider.AI ನಿಮ್ಮ LiteLLM ಆಧಾರಿತ ಸ್ಟ್ಯಾಕ್ನ್ನು ವರೆಗೆ ಪರಿಚಯಿಸುವ ಸಮಯದಲ್ಲಿ ಸಂಶೋಧನೆ ಮತ್ತು ಪುನರಾವೃತ್ತಿಗೆ ಸಹಾಯಕ ಹೊಂದಿಸಬಲ್ಲದು. ಇದು ನಿಮ್ಮ ಕೆಲಸದ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪೂರೈಸುತ್ತದೆ, ಫಲಿತಾಂಶಗಳನ್ನು ಹೋಲಿಸಲು ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ಗಳನ್ನು ಸುಧಾರಿಸಲು ಸಹಾಯ ಮಾಡಿ. ನಾವು ಪ್ರಾಯೋಗಿಕ ಮತ್ತು ಪರಿಹಾರ- ದೃಷ್ಠಿಯಿಂದ ಸಾಗುತ್ತೇವೆ, ಹಾಗಾಗಿ ನೀವು ನಕಲಿಸಿ ಅಂಟಿಸಿ ತ್ವರಿತವಾಗಿ ರವಾನಿಸಬಹುದು.
LiteLLM ಎಂದರೇನು (ಮತ್ತು ತಂಡಗಳು ಇದನ್ನು ಯಾಕೆ ಬಳಸುತ್ತವೆ)
- ಒಂದು API ಮೂಲಕ ಅನೇಕ ಮಾದರಿಗಳು: Anthropic, OpenAI, Google, Azure, Cohere, Mistral, Bedrock ಮತ್ತು ಇನ್ನಿತರಗಳನ್ನು OpenAI ಶೈಲಿಯ ಫಂಕ್ಷನ್ ಗಳ ಮೂಲಕ ಕರೆ ಮಾಡಬಹುದು.
- ಗ್ರಾಹಕ SDKಗಳು (Python/JS): ಸ್ಕ್ರಿಪ್ಟ್ಗಳು, ಸರ್ವರ್ಗಳು, ನೋಟ್ಬುಕ್ಗಳಲ್ಲಿ ವೇಗದ ಬಳಕೆ.
- ಪ್ರಾಕ್ಸಿ (LLM ಗೇಟ್ವೇ): ಮಾರ್ಗನಿರ್ದೇಶನ, ಪ್ರಮಾಣೀಕರಣ, ಲಾಗಿಂಗ್, ವೆಚ್ಚ ನಿಯಂತ್ರಣ ಮತ್ತು ಗಮನಾರ್ಹತೆಗಾಗಿ ಕೇಂದ್ರಿತ ಸೇವೆ.
- ಡ್ರಾಪ್-ಇನ್ ಹೊಂದಾಣಿಕೆ: ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಮರುರಚನೆ ಇಲ್ಲದೆ ಮಾದರಿಗಳನ್ನು ಬದಲಿಸಲು ಸಾಧ್ಯ.
- ಆಪರೇಷನಲ್ ವೈಶಿಷ್ಟ್ಯಗಳು: ಮರುಪ್ರಯತ್ನಗಳು, ಟೈಮೌಟ್ಗಳು, ಸ್ಟ್ರೀಮಿಂಗ್, ಬ್ಯಾಚಿಂಗ್, ಕ್ಯಾಚಿಂಗ್, ಟ್ರೇಸಿಂಗ್ ಮತ್ತು ವೆಚ್ಚ ವರದಿ ಬಾಕ್ಸ್ನ ಬೆಳೆಯುವಿಕೆ.
ನೀವು تازه ಆರಂಭದಲ್ಲಿದ್ದರೆ, ದ್ರುತ ಮಾದರಿ ಹೊಂದಿಸಲು ಅಧಿಕೃತ Getting Started ದಸ್ತಾವೇಜುಗಳನ್ನು ಓದಿ. ಹಸ್ತಚಾಲಿತ ಉದಾಹರಣೆಗಳಿಗೆ DataCamp ಟ್ಯುಟೋರಿಯಲ್ ಉತ್ತಮ ಸಹಾಯಕ. ವಿಡಿಯೋ ಇಚ್ಛಿಸುವವರಿಗಾಗಿ ಸಿದ್ಧಾಂತ ಪ್ರಯೋಗ ಕೋರ್ಸ್ ಕೂಡ ಲಭ್ಯವಿದೆ.
ತ್ವರಿತ ಪ್ರಾರಂಭ: ಸ್ಥಾಪಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಮೊದಲ ಕರೆ
ಸ್ಥಾಪಿಸಿ
# Python
pip install litellm
# Node.js
npm install litellm
ಪರಿಸರ ಚರಗಳು
# ಉದಾಹರಣೆ: OpenAI + Anthropic + Mistral ಬಳಕೆ
export OPENAI_API_KEY=sk-...
export ANTHROPIC_API_KEY=sk-ant-...
export MISTRAL_API_KEY=sk-mis-...
Python: ಕನಿಷ್ಠ ಚಾಟ್ ಪೂರಣೆ
from litellm import completion
resp = completion(
model="gpt-4o-mini", # ಅಥವಾ "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
