from litellm import completion
resp = completion(
model="gpt-4o", # atau "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Jalankan kod permulaan pantas di atas.
- Sasaran: Buat permintaan pertama anda yang serasi OpenAI melalui LiteLLM.
- Pembina praktikal
- Baca tutorial DataCamp dan perluas contoh dengan streaming dan cubaan semula.
- Tambah dua pembekal dan uji fallback.
- Pemilik pasukan/produksi
- Kajian panduan Memulakan rasmi.
- Sediakan proksi, tambah kebolehperhatian dan penjejakan kos.
- Laksanakan had kadar dan dasar penyensusan PII.
—
## Penerokaan Mendalam: Corak Yang Anda Akan Gunakan Setiap Minggu
### Keserasian OpenAI sebagai Kontrak Antara Muka
- Anggap bentuk API OpenAI sebagai kontrak aplikasi anda. Semua permintaan dihantar ke endpoint `/v1/*` pada proksi LiteLLM anda.
- Tukar model (contoh, `gpt-4o` → `claude-3-5`) melalui konfigurasi, bukan kod.
### Penghalaan Model Mengikut Kes Penggunaan
- Laluan peka latensi: arahkan ke model yang cepat dan lebih murah.
- Laluan berfikir: arahkan ke model berkualiti tinggi untuk penjanaan berpandukan pengambilan data (RAG) atau penggunaan alat.
- Laluan privasi: arahkan ke model tempatan/Ollama untuk segmen PII.
### Kawalan Kos
- Tandakan permintaan dengan `user_id`/`team`.
- Tetapkan belanjawan mengikut pasukan/model.
- Log penggunaan token ke stor pusat dan beri amaran pada anomali.
### Ketahanan
- Aktifkan cubaan semula dengan jitter.
- Konfigurasi masa tamat pada setiap pembekal dan pemutus litar pada kegagalan berulang.
- Tentukan keutamaan pembekal dan fallback jelas.
### Kebolehperhatian
- Tangkap metadata permintaan/balasan, histogram latensi, dan model/versi.
- Sensusi rahsia/PII dalam log.
- Korespondesikan jejak merentasi perkhidmatan untuk mengesan panggilan perlahan dengan cepat.
—
## Contoh Konfigurasi Proksi LiteLLM (Starter Sedia untuk Produksi)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Artikel praktikal dan berasaskan contoh.
- Dokumentasi LiteLLM rasmi bagi memulakan dan amalan terbaik proksi.
—
## Pelan Tindakan: 7 Hari Anda Seterusnya
Hari 1–2: Lakukan kursus ringkas dan permulaan pantas; buat permintaan proxied pertama anda.
Hari 3–4: Tambah pembekal kedua dan streaming; tetapkan masa tamat, cubaan semula.
Hari 5: Sediakan proksi dengan konfigurasi; lalukan mengikut kes guna (latensi vs berfikir).
Hari 6: Tambah pencatatan, penjejakan kos, dan penyensusan.
Hari 7: Ujian beban; simulasi kegagalan pembekal; sahkan fallback.
—
## Ringkasan Penting
- LiteLLM adalah laluan terpantas ke aplikasi LLM multi-pembekal tanpa terikat pada vendor.
- Mulakan dengan antara muka yang serasi OpenAI, kemudian tingkatkan ke proksi untuk tadbir urus.
- Labur awal dalam penghalaan, ketahanan, dan kebolehperhatian—anda perlukan pada minggu kedua, bukan bulan keenam.
- Tutorial di atas merangkumi 80% kegunaan harian anda; baki adalah rahsia produk anda sendiri.
### Soalan Lazim
Q1: Apakah tutorial LiteLLM terbaik untuk pemula?
Mula dengan LiteLLM Crash Course di YouTube untuk panduan visual pantas, kemudian baca panduan Memulakan rasmi untuk proksi. Tutorial DataCamp menyediakan contoh praktikal yang boleh anda salin.
Q2: Bagaimana saya menggunakan LiteLLM sebagai proksi yang serasi OpenAI?
Jalankan proksi LiteLLM dan arahkan URL asas SDK anda ke endpoint `/v1` proksi. Simpan maklumat pembekal dalam konfigurasi LiteLLM supaya kod aplikasi kekal boleh alih.
Q3: Bolehkah LiteLLM mengarahkan antara OpenAI, Anthropic, dan Gemini secara automatik?
Boleh. Tetapkan model dan strategi penghalaan dalam konfigurasi LiteLLM untuk bertukar antara pembekal mengikut latensi, kos, atau kualiti. Anda juga boleh tetapkan fallback untuk kebolehpercayaan.
Q4: Bagaimana saya mengaktifkan streaming dan panggilan fungsi/alat dengan LiteLLM?
Gunakan API serasi OpenAI melalui LiteLLM dan aktifkan `stream=True` (atau SSE dalam SDK anda). Untuk panggilan fungsi, ikut format panggilan fungsi OpenAI—LiteLLM akan teruskan ke pembekal sasaran.
Q5: Apakah cara terpantas mengawal kos dengan LiteLLM?
Sentralisasikan permintaan melalui proksi, aktifkan pencatatan penggunaan, dan kuatkuasakan had kadar dan belanjawan per kekunci. Arahkan beban kerja berbeza ke model yang kos efektif dan pin versi untuk elakkan kejutan.