from litellm import completion
resp = completion(
model="gpt-4o", # au "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Endesha msimbo wa mwanzo wa haraka hapo juu.
- Lengo: Fanya ombi lako la kwanza linaloendana na OpenAI kupitia LiteLLM.
- Mwandalizi wa kivitendo
- Soma mafunzo ya DataCamp na uongeze mifano na utiririshaji na majaribio.
- Ongeza wasambazaji wawili na ujaribu akiba.
- Mmiliki wa timu/uzalishaji
- Soma mwongozo rasmi wa Kuanza.
- Simamisha прокси, ongeza uwezo wa kuona na ufuatiliaji wa gharama.
- Tekeleza mipaka ya viwango na sera za kurekebisha PII.
—
## Uchambuzi wa Kina: Mifumo Utakayotumia Kila Wiki
### Ulinganifu wa OpenAI kama Mkataba wa Интерфейс
- Chukulia umbo la API la OpenAI kama mkataba wako wa programu. Maombi yote yanaenda kwa endpoints zako za `/v1/*` za прокси ya LiteLLM.
- Badilisha miundo (k.m., `gpt-4o` → `claude-3-5`) kwa usanidi, sio msimbo.
### Uelekezaji wa Muundo kwa Matumizi
- Njia nyeti kwa latency: elekeza kwa miundo ya haraka, nafuu.
- Njia ya kufikiri: elekeza kwa miundo ya ubora wa juu kwa kizazi kilichoimarishwa (RAG) au utumiaji wa zana.
- Njia ya faragha: elekeza kwa ndani/Ollama kwa sehemu za PII.
### Kinga za Gharama
- Weka lebo ya maombi na `user_id`/`team`.
- Weka bajeti kwa kila timu/muundo.
- Andikisha matumizi ya tokeni kwenye duka kuu na utoe arifa juu ya tofauti.
### Ustahimilivu
- Washa majaribio na jita.
- Sanidi muda wa kumalizika kwa kila msambazaji na vivunja mzunguko kwenye kushindwa mara kwa mara.
- Bainisha vipaumbele vya wasambazaji na akiba dhahiri.
### Uwezo wa Kuona
- Nasa metadata ya ombi/jibu, histograms za latency, na muundo/toleo.
- Rekebisha siri/PII kwenye kumbukumbu.
- Unganisha фуатилиа katika huduma ili kupata simu polepole haraka.
—
## Mfano wa Usanidi wa Прокси ya LiteLLM (Kianzilishi Tayari kwa Uzalishaji)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Makala ya kivitendo, inayoendeshwa na mifano.
- Hati rasmi za LiteLLM za kuanza na mbinu bora za прокси.
—
## Mpango Kazi: Siku Zako 7 Zijazo
Siku ya 1–2: Fanya kozi fupi na mwanzo wa haraka; fanya ombi lako la kwanza la прокси.
Siku ya 3–4: Ongeza msambazaji wa pili na utiririshaji; weka muda wa kumalizika, majaribio.
Siku ya 5: Simamisha прокси na usanidi; elekeza kwa matumizi (latency vs kufikiri).
Siku ya 6: Ongeza uandikishaji, ufuatiliaji wa gharama, na marekebisho.
Siku ya 7: Jaribu mzigo; iga kushindwa kwa wasambazaji; thibitisha akiba.
—
## Mambo Muhimu
- LiteLLM ndio njia ya haraka sana ya programu nyingi za LLM bila kufungiwa kwa msambazaji.
- Anza na интерфейс inayolingana na OpenAI, kisha uongeze kiwango hadi прокси kwa usimamizi.
- Wekeza mapema katika uelekezaji, ustahimilivu, na uwezo wa kuona—utazihitaji katika wiki ya pili, sio mwezi wa sita.
- Mafunzo hapo juu yanashughulikia 80% ya kile utakachotumia kila siku; iliyobaki ni siri ya bidhaa yako.
### Maswali Yanayoulizwa Mara kwa Mara
Swali la 1: Je, ni mafunzo gani bora ya LiteLLM kwa wanaoanza?
Anza na Kozi Fupi ya LiteLLM kwenye YouTube kwa matembezi ya haraka ya kuona, kisha usome mwongozo rasmi wa Kuanza kwa прокси. Mafunzo ya DataCamp hutoa mifano ya kivitendo ambayo unaweza kunakili.
Swali la 2: Ninawezaje kutumia LiteLLM kama прокси inayolingana na OpenAI?
Endesha прокси ya LiteLLM na uelekeze URL msingi ya SDK yako kwenye endpoints za `/v1` za прокси. Weka maelezo ya msambazaji katika usanidi wa LiteLLM ili msimbo wako wa programu uweze kubebeka.
Swali la 3: Je, LiteLLM inaweza kuelekeza kati ya OpenAI, Anthropic, na Gemini kiotomatiki?
Ndiyo. Bainisha miundo na mikakati ya uelekezaji katika usanidi wa LiteLLM ili kubadilisha kati ya wasambazaji kwa latency, gharama, au ubora. Unaweza pia kuweka akiba kwa utegemezi.
Swali la 4: Ninawezaje kuwezesha utiririshaji na utumiaji wa zana/kazi na LiteLLM?
Tumia API inayoendana na OpenAI kupitia LiteLLM na uwashe `stream=True` (au SSE katika SDK yako). Kwa utumiaji wa zana, fuata umbizo la utumiaji wa kazi la OpenAI—LiteLLM inalisambaza kwa msambazaji lengwa.
Swali la 5: Njia gani ya haraka sana ya kudhibiti gharama na LiteLLM?
Weka maombi makuu kupitia прокси, washa uandikishaji wa matumizi, na utekeleze mipaka ya viwango na bajeti kwa kila ufunguo. Elekeza mzigo tofauti wa kazi kwa miundo iliyo na gharama bora na ubandike matoleo ili kuepuka mshangao.