from litellm import completion
resp = completion(
model="gpt-4o", # o "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Patakbuhin ang quickstart code sa itaas.
- Layunin: Gumawa ng unang OpenAI-compatible na request gamit ang LiteLLM.
- Para sa praktikal na developer
- Basahin ang DataCamp tutorial at palawakin ang mga halimbawa sa streaming at retries.
- Magdagdag ng dalawang provider at subukan ang mga fallback.
- Para sa tagapangasiwa ng team/produksyon
- Pag-aralan ang opisyal na Getting Started na gabay.
- Ipatayo ang proxy, idagdag ang observability at cost tracking.
- Ipatupad ang rate limits at PII redaction na mga polisiya.
—
## Malalim na Pagsusuri: Mga Pattern na Gagamitin Bawat Linggo
### OpenAI Compatibility bilang Interface Contract
- Ituring ang OpenAI API shape bilang kontrata ng iyong app. Lahat ng request ay dumadaan sa LiteLLM proxy’s `/v1/*` endpoints.
- Magpalit ng modelo (e.g., `gpt-4o` → `claude-3-5`) gamit ang config, hindi ang code.
### Model Routing ayon sa Use Case
- Para sa latency-sensitive na ruta: i-route sa mabilis at mas murang mga modelo.
- Para sa reasoning path: i-route sa mga mas mataas ang kalidad para sa retrieval-augmented generation (RAG) o tool use.
- Para sa privacy: i-route sa local/Ollama para sa mga PII segment.
### Mga Guardrail sa Gastos
- I-tag ang mga request gamit ang `user_id`/`team`.
- Magtakda ng budget kada team/model.
- Mag-log ng token usage sa sentrong imbakan at mag-alerto sa mga anomalya.
### Katatagan (Resilience)
- Paganahin ang retries na may jitter.
- I-configure ang timeouts kada provider at circuit breakers sa paulit-ulit na pagkabigo.
- Tukuyin ang prioridad ng provider at mga explicit na fallback.
### Observability
- Buhatin ang request/response metadata, latency histograms, at modelo/bersyon.
- I-redact ang mga sikreto/PII sa mga log.
- I-correlate ang mga trace sa iba't ibang serbisyo para madaliang matunton ang mabagal na tawag.
—
## Halimbawa ng LiteLLM Proxy Config (Handa na sa Produksyon)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Isang praktikal at halimbawa-driven na artikulo.
- Ang opisyal na dokumentasyon ng LiteLLM para sa pagsisimula at mga pinakamahusay na praktis para sa proxy.
—
## Plano ng Aksyon: Ang Iyong Susunod na 7 Araw
Araw 1-2: Gawin ang crash course at quickstart; gumawa ng unang proxied request mo.
Araw 3-4: Magdagdag ng pangalawang provider at streaming; mag-set ng timeouts, retries.
Araw 5: Ipatayo ang proxy gamit ang config; mag-route ayon sa use case (latency vs reasoning).
Araw 6: Magdagdag ng logging, cost tracking, at redaction.
Araw 7: Gawin ang load-test; simulate ang mga pagkabigo ng provider; i-verify ang mga fallback.
—
## Mga Pangunahing Pagsasaalang-alang
- Ang LiteLLM ang pinakamabilis na landas patungo sa multi-provider LLM apps nang walang vendor lock-in.
- Magsimula sa isang OpenAI-compatible na interface, tapos mag-level up sa proxy para sa pamamahala.
- Mag-invest nang maaga sa routing, resilience, at observability—kailangan mo ito sa pangalawang linggo, hindi sa ikaanim na buwan.
- Sinasakop ng mga tutorials sa itaas ang 80% ng araw-araw mong gagamitin; ang natitira ay ang sikreto ng iyong produkto.
### FAQ
Q1: Ano ang pinakamahusay na LiteLLM tutorial para sa mga baguhan?
Magsimula sa LiteLLM Crash Course sa YouTube para sa mabilisang visual walkthrough, pagkatapos basahin ang opisyal na Getting Started guide para sa proxy. Nagbibigay ang DataCamp tutorial ng praktikal na mga halimbawa na maaari mong kopyahin.
Q2: Paano ko gagamitin ang LiteLLM bilang OpenAI-compatible proxy?
Patakbuhin ang LiteLLM proxy at ituro ang base URL ng SDK mo sa proxy’s `/v1` endpoints. Ipanatili ang mga detalye ng provider sa LiteLLM config para portable ang iyong application code.
Q3: Maaari bang awtomatikong mag-route ang LiteLLM sa pagitan ng OpenAI, Anthropic, at Gemini?
Oo. Tukuyin ang mga modelo at routing strategies sa LiteLLM config para mag-switch ng provider base sa latency, gastos, o kalidad. Maaari ka ring mag-set ng mga fallback para sa reliability.
Q4: Paano ko i-enable ang streaming at tool/function calling gamit ang LiteLLM?
Gamitin ang OpenAI-compatible API via LiteLLM at i-enable ang `stream=True` (o SSE sa iyong SDK). Para sa tool calling, sundin ang OpenAI function-calling format—ipapasa ito ng LiteLLM sa target na provider.
Q5: Ano ang pinakamabilis na paraan para makontrol ang gastos gamit ang LiteLLM?
I-centralize ang mga request sa proxy, paganahin ang usage logging, at ipatupad ang per-key rate limits at mga budget. I-route ang iba't ibang workloads sa cost-optimized na mga modelo at itakda ang mga bersyon upang maiwasan ang mga hindi inaasahan.