কিভাবে LiteLLM ব্যবহার করবেন: উদাহরণ, প্রো টিপস এবং বাস্তব-জীবনের ওয়ার্কফ্লো নিয়ে একটি ব্যবহারিক গাইড
আপনি যদি কখনোই প্রত্যাশা করে থাকেন যে প্রতিটি মডেল API OpenAI’র মত আচরণ করবে, তাহলে আপনি LiteLLM পছন্দ করবেন। এটি একটি হালকা গেটওয়ে যা আপনাকে ১০০+ LLM একসঙ্গে একক OpenAI-কমপ্যাটিবল ইন্টারফেস থেকে কল করতে দেয় — কোডে লোকাল অথবা একটি কেন্দ্রীয় প্রক্সির মাধ্যমে যা আপনি টিমের মধ্যে শেয়ার করতে পারেন। এই টিউটোরিয়ালে আমরা ইনস্টলেশন, বেসিক এবং অ্যাডভান্সড ব্যবহার, স্ট্রিমিং, ব্যাচিং, রিট্রাই, ক্যাশিং, খরচ ট্র্যাকিং, এবং LiteLLM প্রক্সি ডিপ্লয়মেন্ট নিয়ে আলোচনা করব যার সাথে থাকবে গার্ডরেল এবং রাউটিং। আমরা Python এবং JavaScript এর উদাহরণ ও বাস্তব-জীবনের প্যাটার্নও অন্তর্ভুক্ত করব।
উল্লেখযোগ্য বিষয়: যদি আপনি দ্রুত প্রম্পট প্রোটোটাইপ করতে চান, একাধিক মডেলের কাছে প্রশ্ন করতে চান এবং ফলাফল সংগঠিত করতে চান, তাহলে Sider.AI আপনার LiteLLM ভিত্তিক স্ট্যাকের গবেষণা ও পুনরাবৃত্তির জন্য একটি সহায়ক সঙ্গী হিসেবে কাজ করতে পারে। এটি আপনার ওয়ার্কফ্লোকে উন্নত করে আউটপুট তুলনা এবং প্রম্পট পরিমার্জনে সাহায্য করবে, কোড করার আগে। আমরা একটি ব্যবহারিক ও সমাধান-কেন্দ্রিক পথ গ্রহণ করব, যাতে আপনি সহজেই অনুলিপি করে ব্যবহার করতে ও চালু করতে পারেন।
LiteLLM কী (এবং টিমগুলো কেন এটি ব্যবহার করে)
- একটি API থেকে অনেক মডেলকে ডাকা: OpenAI-স্টাইলে Anthropic, OpenAI, Google, Azure, Cohere, Mistral, Bedrock এবং আরও অনেক মডেল ব্যবহার করুন।
- ক্লায়েন্ট SDK (Python/JS): স্ক্রিপ্ট, সার্ভার, নোটবুকে দ্রুত ব্যবহার।
- প্রক্সি (LLM গেটওয়ে): রাউটিং, অথ, লগিং, খরচ নিয়ন্ত্রণ এবং অবজারভেবিলিটির জন্য কেন্দ্রীভূত সার্ভিস।
- ড্রপ-ইন সামঞ্জস্য: আপনার অ্যাপ আবার লেখার দরকার ছাড়াই মডেল পরিবর্তন করুন।
- অপারেশনাল ফিচারস: রিট্রাই, টাইমআউট, স্ট্রিমিং, ব্যাচিং, ক্যাশিং, ট্রেসিং, এবং খরচ রিপোর্টিং বক্সের বাইরে।
যদি আপনি নতুন হন, তাহলে অফিশিয়াল Getting Started ডকুমেন্টেশন দ্রুত মানসিক মডেল তৈরির জন্য দেখে নিন। হাতে-কলমে উদাহরণগুলোর জন্য DataCamp টিউটোরিয়াল একটি ভাল সঙ্গী, ধাপে ধাপে কোড সহ। ভিডিও পছন্দ করলে, একটি শুরু শিক্ষা কোর্সও আছে।
দ্রুত শুরু: ইনস্টল এবং প্রথম কল
ইনস্টল
# Python
pip install litellm
# Node.js
npm install litellm
পরিবেশ ভেরিয়েবল
# উদাহরণ: OpenAI + Anthropic + Mistral ব্যবহার
export OPENAI_API_KEY=sk-...
export ANTHROPIC_API_KEY=sk-ant-...
export MISTRAL_API_KEY=sk-mis-...
Python: ন্যূনতম চ্যাট কমপ্লিশন
from litellm import completion
resp = completion(
model="gpt-4o-mini", # অথবা "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
