from litellm import completion
resp = completion(
model="gpt-4o-mini", # atau "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## Streaming, Alat, dan Mod JSON
### Streaming Respons
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### Kos dan Penggunaan Token
LiteLLM boleh menjejak penggunaan token dan menganggarkan kos bagi setiap permintaan, model, atau projek. Dengan proksi, anda boleh mengeksport penggunaan ke log, papan pemuka, atau sink pengebilan. Ini sangat berguna apabila anda menggunakan vendor dengan harga berbeza-beza.
---
## Proksi LiteLLM (Pintu Gerbang LLM)
Jika anda sebuah pasukan atau platform, proksi adalah kuasa sebenar: perkhidmatan pusat dengan penghalaan, pengesahan, had kadar, logging, dan kebolehamatan. Anda berinteraksi dengannya menggunakan permukaan API OpenAI supaya kod aplikasi anda hampir tidak berubah.
### Mulakan Proksi
```bash
# menjalankan yang paling mudah secara tempatan
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## Penghalaan Lanjutan: Latensi, Kos, atau Kebolehpercayaan
Anda boleh melaksanakan strategi penghalaan seperti:
- Weighted round-robin untuk model A/B
- Latensi terendah terlebih dahulu mengikut rantau
- Penghalaan berkesedaran kos untuk titik akhir yang tidak kritikal
- Fallback-on-error/retry merentasi penyedia
Dengan polisi penghalaan, anda boleh menetapkan "utamakan yang murah, fallback ke premium untuk prompt sukar." Ini menawarkan ketersediaan tinggi dan bajet yang boleh dijangka.
---
## Kawalan Keselamatan, Moderasi, dan Keselamatan
Tambah middleware pra dan pasca-pemprosesan untuk menghilangkan PII, menguatkuasakan penapis keselamatan, atau memoderasi output sebelum dihantar kembali ke klien. Gabungkan moderasi asli penyedia (contohnya, OpenAI, Google) dengan pemeriksaan polisi anda sendiri dalam proksi. Contoh: memerlukan pengesahan skema JSON dan tanya semula apabila tidak sah.
---
## Kebolehamatan dan Logging
- Hidupkan logging permintaan/respons dengan penyamaran data sensitif.
- Eksport metrik ke Prometheus/Grafana atau APM anda.
- Jejak latensi, token, dan kos mengikut titik akhir dan pengguna.
Ini menjadikan “roulette model” sebagai perkhidmatan yang diurus dengan SLO dan bajet.
---
## Corak Penggunaan Dunia Sebenar
1) Ketahanan pelbagai vendor
- Utama: model pantas/murah; Fallback: model berkualiti tinggi pada 429/5xx.
- Manfaat: ketersediaan lebih baik, kawalan kos, dan kualiti stabil.
2) Peningkatan model menggunakan feature flag
- Gunakan berat penghala untuk menguji model baru pada 5% trafik; pantau metrik; tingkatkan apabila stabil.
3) Peringkat produk
- Peringkat percuma dialihkan ke model kecil; peringkat Pro ke model premium.
4) Daftar dan template prompt
- Pusatkan prompt dalam proksi supaya perkhidmatan mewarisi penambahbaikan tanpa perlu penyebaran semula.
5) Pengebilan dan bajet pasukan
- Jejak perbelanjaan mengikut kunci API; tetapkan had lembut dan keras setiap pasukan atau produk.
---
## Senarai Semak Keselamatan dan Pematuhan
- Simpan kunci penyedia dalam pengurus rahsia anda; rujuk melalui pembolehubah persekitaran dalam konfigurasi.
- Hidupkan penyamaran permintaan dan pembersihan PII dalam log.
- Gunakan kunci API perkhidmatan untuk proksi; putar secara berkala.
- Tetapkan had kadar dan kuota keseluruhan organisasi.
- Tambah senarai putih/senarai larangan untuk model dan titik akhir.
---
## Penyelesaian Masalah: Pembetulan Pantas
- "Unauthorized" melalui proksi: Semak `auth.api_keys` dan pastikan klien anda menggunakan `base_url` + kunci yang betul.
- Model tidak ditemui: Pastikan `model_list` mengandungi nama mesra yang anda panggil.
- Had masa tamat: Tingkatkan `timeout` atau alihkan ke rantau penyedia dengan latensi lebih rendah.
- Output pelik: Hidupkan skema JSON + pengesahan; tambah retries dan fallback.
- Lonjakan kos: Hidupkan caching; arahkan trafik besar ke model lebih murah; tetapkan kuota per kunci.
Untuk penerokaan lebih mendalam dan ciri terkini, dokumen rasmi sentiasa dikemas kini dan patut ditanda halaman. Tutorial seperti panduan DataCamp baik untuk corak praktikal, dan video kursus kilat mesra pemula boleh membantu anda melihat konsep dalam tindakan.
---
## Satukan Semua: Rangka Aplikasi Rujukan (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI()
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1:Apakah LiteLLM dan kenapa menggunakannya berbanding SDK penyedia terus?
LiteLLM ialah pintu masuk serasi OpenAI untuk lebih 100 LLM, memberikan anda satu API dan satu model mental. Ia mengurangkan kekangan vendor, memudahkan penghalaan, dan menambah ciri operasi seperti caching, retries, dan penjejakan kos.
Q2:Bagaimana saya menggunakan LiteLLM dengan SDK OpenAI?
Tetapkan base URL SDK kepada proksi LiteLLM dan gunakan kunci API proksi anda. Kod anda boleh kekal sama sementara proksi menukar penyedia atau model secara dalaman.
Q3:Bolehkah LiteLLM membuat streaming respons dan mengembalikan JSON?
Boleh. Gunakan `stream=True` untuk dapatkan aliran token, dan `response_format` dengan skema JSON untuk menguatkuasakan output berstruktur merentasi penyedia.
Q4:Bagaimana saya kawal kos merentasi penyedia LLM yang berbeza?
Hidupkan log penggunaan dan anggaran kos, tambah caching, tetapkan had kadar, dan arahkan trafik besar ke model lebih murah melalui proksi. Pantau dengan papan pemuka untuk bajet dan SLO.
Q5:Adakah LiteLLM sesuai untuk pasukan produksi?
Ya. Proksi menyediakan pengesahan, had kadar, penghalaan, kebolehamatan, dan middleware keselamatan. Ia direka sebagai pintu gerbang LLM yang memusatkan tadbir urus sambil mengekalkan keserasian OpenAI untuk aplikasi anda.