from litellm import completion
resp = completion(
model="gpt-4o", # অথবা "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- উপরের দ্রুত শুরু কোড রান করুন।
- লক্ষ্য: LiteLLM দিয়ে আপনার প্রথম OpenAI-কমপ্যাটিবল অনুরোধ তৈরি করুন।
- প্রায়োগিক নির্মাতা
- DataCamp টিউটোরিয়াল পড়ুন এবং স্ট্রিমিং ও রিট্রাই এর সঙ্গে উদাহরণগুলি বাড়ান।
- দুইটি প্রোভাইডার যোগ করুন এবং ফ্যালব্যাক পরীক্ষা করুন।
- দল/প্রোডাকশন মালিক
- অফিসিয়াল Getting Started গাইড পড়ুন।
- প্রক্সি চালু করুন, অবজার্ভেবিলিটি এবং খরচ ট্র্যাকিং যোগ করুন।
- রেট লিমিট ও PII রিড্যাকশন পলিসি প্রয়োগ করুন।
—
## গভীর বিশ্লেষণ: সাপ্তাহিক ব্যবহৃত প্যাটার্ন
### OpenAI সঙ্গতিপূর্ণতা একটি ইন্টারফেস চুক্তি হিসেবে
- OpenAI API এর গঠন আপনার অ্যাপের চুক্তি হিসেবে বিবেচনা করুন। সমস্ত অনুরোধ আপনার LiteLLM প্রক্সির `/v1/*` এন্ডপয়েন্টে যাবে।
- কনফিগারেশন দ্বারা (যেমন `gpt-4o` থেকে `claude-3-5`) মডেল বদলান, কোড নয়।
### ব্যবহারভিত্তিক মডেল রাউটিং
- লেটেন্সি সংবেদনশীল পথে দ্রুত এবং সাশ্রয়ী মডেল ব্যবহারের জন্য রাউট করুন।
- যুক্তি সংবলিত পথে রেট্রিভাল-অগমেন্টেড জেনারেশন (RAG) বা টুল ব্যবহারের জন্য উচ্চমানের মডেলে রাউট করুন।
- গোপনীয়তা রক্ষা করার জন্য লোকাল/Ollama মডেলে রাউট করুন।
### খরচ নিয়ন্ত্রণ
- `user_id`/`team` দিয়ে অনুরোধ ট্যাগ করুন।
- দল/মডেল অনুযায়ী বাজেট সেট করুন।
- টোকেন ব্যবহার কেন্দ্রীয়ভূত স্টোরে লগ করুন এবং অস্বাভাবিকতা সম্পর্কে সতর্ক থাকুন।
### স্থিতিশীলতা
- জিটার সহ রিট্রাই সক্ষম করুন।
- প্রোভাইডার অনুযায়ী টাইমআউট এবং পুনরাবৃত্ত ব্যর্থতায় সার্কিট ব্রেকার কনফিগার করুন।
- প্রোভাইডার অগ্রাধিকার এবং স্পষ্ট ফ্যালব্যাক নির্ধারণ করুন।
### অবজার্ভেবিলিটি
- অনুরোধ/প্রতিক্রিয়া মেটাডেটা, লেটেন্সি হিস্টোগ্রাম, মডেল/ভার্সন ক্যাপচার করুন।
- লগে গোপন তথ্য/PII রিড্যাক্ট করুন।
- সার্ভিস জুড়ে ট্রেসেস সমন্বয় করে ধীর কল দ্রুত খুঁজে বের করুন।
—
## উদাহরণ LiteLLM প্রক্সি কনফিগ (প্রোডাকশন-রেডি স্টার্টার)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- একটি প্রায়োগিক, উদাহরণ-ভিত্তিক আর্টিকল।
- অফিসিয়াল LiteLLM ডকুমেন্টেশন শুরু এবং প্রক্সি সেরা অনুশীলন।
—
## কর্মপরিকল্পনা: আপনার পরবর্তী ৭ দিন
দিন ১–২: ক্র্যাশ কোর্স ও দ্রুত শুরু করুন; আপনার প্রথম প্রক্সিওড অনুরোধ তৈরি করুন।
দিন ৩–৪: দ্বিতীয় প্রোভাইডার ও স্ট্রিমিং যোগ করুন; টাইমআউট, রিট্রাই সেট করুন।
দিন ৫: কনফিগ সহ প্রক্সি চালু করুন; ব্যবহারভিত্তিক রাউটিং করুন (লেটেন্সি বনাম যুক্তি)।
দিন ৬: লগিং, খরচ ট্র্যাকিং ও রিডাকশন যোগ করুন।
দিন ৭: লোড টেস্ট করুন; প্রোভাইডার ব্যর্থতা সিমুলেট করুন; ফ্যালব্যাক যাচাই করুন।
—
## মূল বিষয়সমূহ
- LiteLLM হচ্ছে বহুভেন্ডার LLM অ্যাপসের জন্য দ্রুততম পথ, ভেন্ডর লক-ইন ছাড়াই।
- OpenAI-সাপোর্টেড ইন্টারফেস দিয়ে শুরু করুন, তারপর গভর্নেন্সের জন্য প্রক্সির দিকে উন্নীত করুন।
- রাউটিং, স্থিতিশীলতা এবং অবজার্ভেবিলিটিতে আগেই বিনিয়োগ করুন—এইগুলো সপ্তাহ দুইয়ে দরকার হবে, নয় মাস পরে নয়।
- উপরের টিউটোরিয়ালগুলো দৈনন্দিন ব্যবহারের ৮০% কভার করে; বাকিটা আপনার প্রোডাক্টের গোপন সুষম।
### প্রায়শই জিজ্ঞাসিত প্রশ্ন (FAQ)
Q1: নতুনদের জন্য সেরা LiteLLM টিউটোরিয়াল কোনটি?
দ্রুত ভিজ্যুয়াল ওয়াকথ্রু জন্য YouTube এর LiteLLM ক্র্যাশ কোর্স দিয়ে শুরু করুন, তারপর প্রক্সি এর অফিসিয়াল Getting Started গাইড পড়ুন। DataCamp টিউটোরিয়াল অনুলিপি-পেস্টযোগ্য বাস্তব উদাহরণ দেয়।
Q2: কিভাবে LiteLLM কে OpenAI-সাপোর্টেড প্রক্সি হিসেবে ব্যবহার করবো?
LiteLLM প্রক্সি চালান এবং SDK এর বেস URL প্রক্সির `/v1` এন্ডপয়েন্টে নির্দেশ করুন। LiteLLM কনফিগে প্রোভাইডার ডিটেইল রাখুন যাতে অ্যাপ্লিকেশন কোড পোর্টেবল থাকে।
Q3: LiteLLM কি OpenAI, Anthropic এবং Gemini এর মধ্যে স্বয়ংক্রিয় রাউটিং করতে পারে?
হ্যাঁ। LiteLLM কনফিগে মডেল এবং রাউটিং স্ট্র্যাটেজি নির্ধারণ করে লেটেন্সি, খরচ বা গুণমানে ভেন্ডার বদলাতে পারবেন। নির্ভরযোগ্যতার জন্য ফ্যালব্যাকও সেট করতে পারেন।
Q4: LiteLLM দিয়ে কিভাবে স্ট্রিমিং এবং টুল/ফাংশন কলিং সক্রিয় করবো?
LiteLLM এর OpenAI-সাপোর্টেড API ব্যবহার করুন এবং `stream=True` চালু করুন (বা SDK তে SSE)। টুল কলিং এর জন্য OpenAI ফাংশন-কলিং ফরম্যাট অনুসরণ করুন—LiteLLM এটিকে টার্গেট প্রোভাইডারে ফরওয়ার্ড করে।
Q5: LiteLLM দিয়ে খরচ দ্রুত নিয়ন্ত্রণের সবচেয়ে ভালো উপায় কী?
প্রক্সি মাধ্যমে অনুরোধ কেন্দ্রীকরণ করুন, ব্যবহার লগিং চালু করুন এবং প্রতি কী রেট লিমিট ও বাজেট প্রয়োগ করুন। বিভিন্ন ওয়ার্কলোড খরচ-সাশ্রয়ী মডেলে রাউট করুন এবং ভার্সন ফিক্স করে অপ্রত্যাশিত ঘটনা এড়ান।