from litellm import completion
resp = completion(
model="gpt-4o", # atau "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Jalankan kode quickstart di atas.
- Tujuan: Buat permintaan OpenAI kompatibel pertama Anda melalui LiteLLM.
- Untuk pembangun praktis
- Baca tutorial DataCamp dan perluas contoh dengan streaming dan retry.
- Tambah dua penyedia dan uji fallback.
- Untuk pemilik tim/produksi
- Pelajari panduan Memulai resmi.
- Jalankan proxy, tambah observabilitas dan pelacakan biaya.
- Terapkan batas rate dan kebijakan redaksi PII.
—
## Pembahasan Mendalam: Pola yang Akan Anda Gunakan Mingguan
### Kompatibilitas OpenAI sebagai Kontrak Antarmuka
- Perlakukan bentuk API OpenAI sebagai kontrak aplikasi Anda. Semua permintaan menuju endpoint `/v1/*` proxy LiteLLM Anda.
- Ganti model (misalnya, `gpt-4o` → `claude-3-5`) lewat konfigurasi, bukan kode.
### Routing Model Berdasarkan Kasus Penggunaan
- Jalur sensitif latensi: arahkan ke model yang lebih cepat dan murah.
- Jalur penalaran: arahkan ke model berkualitas lebih tinggi untuk retrieval-augmented generation (RAG) atau penggunaan alat.
- Jalur privasi: arahkan ke lokal/Ollama untuk segmen data PII.
### Pengendalian Biaya
- Tandai permintaan dengan `user_id`/`team`.
- Tetapkan anggaran per tim/model.
- Catat penggunaan token ke tempat penyimpanan terpusat dan berikan peringatan jika ada anomali.
### Ketahanan
- Aktifkan retry dengan jitter.
- Atur timeout per penyedia dan circuit breaker saat gagal berulang.
- Tentukan prioritas penyedia dan fallback secara eksplisit.
### Observabilitas
- Tangkap metadata permintaan/respons, histogram latensi, dan model/versi.
- Redaksi rahasia/PII dalam log.
- Korelasikan trace antar layanan untuk menemukan pemanggilan lambat dengan cepat.
—
## Contoh Konfigurasi Proxy LiteLLM (Starter Siap Produksi)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Artikel praktis penuh contoh.
- Dokumen resmi LiteLLM untuk memulai dan praktik terbaik proxy.
—
## Rencana Aksi: 7 Hari Berikutnya Anda
Hari 1–2: Lakukan crash course dan quickstart; buat permintaan pertama melalui proxy.
Hari 3–4: Tambahkan penyedia kedua dan streaming; atur timeout, retry.
Hari 5: Jalankan proxy dengan konfigurasi; routing berdasarkan kasus penggunaan (latensi vs penalaran).
Hari 6: Tambah logging, pelacakan biaya, dan redaksi.
Hari 7: Uji beban; simulasi kegagalan penyedia; verifikasi fallback.
—
## Poin Penting
- LiteLLM adalah jalur tercepat ke aplikasi LLM multi-penyedia tanpa keterikatan vendor.
- Mulailah dengan antarmuka kompatibel OpenAI, lalu naikkan ke proxy untuk tata kelola.
- Investasi awal pada routing, ketahanan, dan observabilitas—Anda akan membutuhkannya di minggu kedua, bukan bulan keenam.
- Tutorial di atas mencakup 80% dari apa yang akan Anda gunakan setiap hari; sisanya adalah bumbu rahasia produk Anda.
### FAQ
Q1:Apa tutorial LiteLLM terbaik untuk pemula?
Mulailah dengan LiteLLM Crash Course di YouTube untuk walkthrough visual cepat, lalu baca panduan Getting Started resmi untuk proxy. Tutorial DataCamp menawarkan contoh praktis yang bisa Anda tiru langsung.
Q2:Bagaimana cara menggunakan LiteLLM sebagai proxy kompatibel OpenAI?
Jalankan proxy LiteLLM dan arahkan base URL SDK Anda ke endpoint `/v1` proxy. Simpan detail penyedia dalam konfigurasi LiteLLM agar kode aplikasi tetap portabel.
Q3:Bisakah LiteLLM otomatis melakukan routing antara OpenAI, Anthropic, dan Gemini?
Bisa. Definisikan model dan strategi routing di konfigurasi LiteLLM untuk mengganti penyedia berdasarkan latensi, biaya, atau kualitas. Anda juga bisa mengatur fallback untuk reliabilitas.
Q4:Bagaimana cara mengaktifkan streaming dan pemanggilan alat/fungsi dengan LiteLLM?
Gunakan API kompatibel OpenAI melalui LiteLLM dan aktifkan `stream=True` (atau SSE di SDK Anda). Untuk pemanggilan alat, ikuti format function-calling OpenAI—LiteLLM meneruskannya ke penyedia target.
Q5:Bagaimana cara tercepat mengontrol biaya dengan LiteLLM?
Sentralisasi permintaan lewat proxy, aktifkan pencatatan penggunaan, dan terapkan batas rate serta anggaran per kunci. Routingkan beban kerja berbeda ke model yang hemat biaya dan tetapkan versi untuk menghindari kejutan.