from litellm import completion
resp = completion(
model="gpt-4o-mini", # หรือ "anthropic/claude-3-5-sonnet", "mistral/mistral-large"
messages=.
---
## การสตรีม, เครื่องมือ และโหมด JSON
### การสตรีมการตอบสนอง
```python
from litellm import completion
for chunk in completion(
model="gpt-4o-mini",
messages=.
### การใช้โทเค็นและค่าใช้จ่าย
LiteLLM สามารถติดตามการใช้โทเค็นและประมาณค่าใช้จ่ายต่อคำขอ โมเดล หรือโปรเจ็กต์ ด้วยพร็อกซี คุณสามารถส่งออกการใช้งานไปยังบันทึก แดชบอร์ด หรือ Billing Sink สิ่งนี้มีค่ามากเมื่อคุณรวมผู้จำหน่ายที่มีราคาแตกต่างกัน
---
## พร็อกซี LiteLLM (LLM Gateway)
หากคุณเป็นทีมหรือแพลตฟอร์ม พร็อกซีคือ Superpower ที่แท้จริง: บริการส่วนกลางที่มีการกำหนดเส้นทาง การตรวจสอบสิทธิ์ การจำกัดอัตรา การบันทึก และการสังเกต คุณโต้ตอบกับมันโดยใช้อินเทอร์เฟซ OpenAI API ดังนั้นโค้ดแอปของคุณจึงแทบไม่มีการเปลี่ยนแปลง
### เริ่มพร็อกซี
```bash
# รันภายในเครื่องที่ง่ายที่สุด
litellm --port 4000

from openai import OpenAI
client = OpenAI(base_url=" api_key="svc-app-123")
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=.
---
## การกำหนดเส้นทางขั้นสูง: Latency, ค่าใช้จ่าย หรือความน่าเชื่อถือ
คุณสามารถใช้กลยุทธ์การกำหนดเส้นทาง เช่น:
- Weighted Round-Robin ไปยัง A/B models
- Lowest-latency-first ตามภูมิภาค
- Cost-aware routing สำหรับ Endpoint ที่ไม่สำคัญ
- Fallback-on-error/retry ข้ามผู้ให้บริการ
ด้วยนโยบาย Router คุณสามารถพูดได้ว่า “ชอบราคาถูก สำรองไปยังพรีเมียมสำหรับ Prompt ที่ยาก” สิ่งนี้ให้ความพร้อมใช้งานสูงและงบประมาณที่คาดการณ์ได้
---
## Guardrails, การกลั่นกรอง และความปลอดภัย
เพิ่ม Middleware ก่อนและหลังการประมวลผลเพื่อลบ PII บังคับใช้ตัวกรองความปลอดภัย หรือกลั่นกรองเอาต์พุตก่อนที่จะส่งคืนให้กับ Client รวมการกลั่นกรองของผู้ให้บริการดั้งเดิม (เช่น OpenAI, Google) กับการตรวจสอบนโยบายของคุณเองในพร็อกซี ตัวอย่าง: กำหนดให้มีการตรวจสอบ Schema JSON และขอใหม่เมื่อไม่ถูกต้อง
---
## การสังเกตและการบันทึก
- เปิดใช้งานการบันทึกคำขอ/การตอบสนองด้วยการแก้ไข
- ส่งออกเมตริกไปยัง Prometheus/Grafana หรือ APM ของคุณ
- ติดตาม Latency, โทเค็น และค่าใช้จ่ายตาม Endpoint และผู้ใช้
สิ่งนี้เปลี่ยน “Model Roulette” ให้เป็นบริการที่มีการจัดการพร้อม SLO และงบประมาณ
---
## รูปแบบการใช้งานจริง
1) ความยืดหยุ่นของผู้จำหน่ายหลายราย
- Primary: โมเดลที่รวดเร็ว/ราคาถูก; Fallback: โมเดลที่มีความแม่นยำสูงบน 429/5xx
- ข้อดี: Uptime ที่ดีขึ้น การควบคุมค่าใช้จ่าย และคุณภาพที่เสถียร
2) อัปเกรดโมเดล Feature Flag
- ใช้ Router Weights เพื่อ Canary โมเดลใหม่เป็น 5% ของ Traffic; ตรวจสอบเมตริก; เพิ่มขึ้นเมื่อเสถียร
3) ระดับผลิตภัณฑ์
- Free Tier กำหนดเส้นทางไปยังโมเดลขนาดเล็ก; Pro Tier ไปยังโมเดลพรีเมียม
4) Prompt Registries และ Templates
- รวมศูนย์ Prompt ในพร็อกซีเพื่อให้ Service สืบทอดการปรับปรุงโดยไม่ต้อง Redeploy
5) การเรียกเก็บเงินและงบประมาณของทีม
- ติดตามการใช้จ่ายตาม API Key; บังคับใช้ Soft และ Hard Limits ต่อทีมหรือผลิตภัณฑ์
---
## Security and Compliance Checklist
- จัดเก็บ Provider Key ใน Secret Manager ของคุณ; อ้างอิงผ่าน Env Vars ใน Config
- เปิด Request Redaction และ PII Scrubbing ใน Logs
- ใช้ API Key ต่อ Service สำหรับพร็อกซี; หมุนเวียนเป็นประจำ
- ตั้งค่า Org-wide Rate Limits และ Quotas
- เพิ่ม Allowlists/Denylists สำหรับโมเดลและ Endpoint
---
## การแก้ไขปัญหา: การแก้ไขอย่างรวดเร็ว
- “Unauthorized” ผ่านพร็อกซี: ตรวจสอบ `auth.api_keys` และ Client ของคุณใช้ `base_url` + คีย์ที่ถูกต้อง
- ไม่พบโมเดล: ตรวจสอบให้แน่ใจว่า `model_list` มีชื่อที่เรียกง่ายที่คุณกำลังเรียก
- Timeouts: เพิ่ม `timeout` หรือกำหนดเส้นทางไปยัง Provider Region ที่มี Latency ต่ำกว่า
- เอาต์พุตที่แปลก: เปิดใช้งาน JSON Schema + Validation; เพิ่ม Retries และ Fallbacks
- Cost Spikes: เปิดใช้งาน Caching; กำหนดเส้นทาง Bulk Traffic ไปยังโมเดลที่ถูกกว่า; ตั้งค่า Per-key Quotas
สำหรับการเจาะลึกและคุณสมบัติล่าสุด เอกสารอย่างเป็นทางการจะมีการอัปเดตบ่อยครั้งและควรค่าแก่การบุ๊กมาร์ก บทช่วยสอนเช่นคู่มือของ DataCamp เหมาะสำหรับรูปแบบการใช้งานจริง และวิดีโอ Crash Course สำหรับผู้เริ่มต้นสามารถช่วยให้คุณเห็นแนวคิดในการปฏิบัติจริง
---
## รวบรวมทุกอย่างเข้าด้วยกัน: โครงสร้างแอปอ้างอิง (Python FastAPI)
```python
# app.py
from fastapi import FastAPI
from pydantic import BaseModel
from litellm import completion
import os
class ChatReq(BaseModel):
question: str
app = FastAPI
@app.post("/ask")
async def ask(req: ChatReq):
resp = completion(
model=os.getenv("DEFAULT_MODEL", "gpt-4o-mini"),
messages=.
### FAQ
Q1: LiteLLM คืออะไร และเหตุใดจึงควรใช้แทน Provider SDKs โดยตรง
LiteLLM เป็น Gateway ที่เข้ากันได้กับ OpenAI สำหรับ LLM กว่า 100 รายการ ทำให้คุณมี API เดียวและความเข้าใจเดียว มันลดการผูกมัดกับผู้จำหน่าย ลดความซับซ้อนในการกำหนดเส้นทาง และเพิ่มคุณสมบัติ Ops เช่น Caching, Retries และการติดตามค่าใช้จ่าย
Q2: ฉันจะใช้ LiteLLM กับ OpenAI SDK ได้อย่างไร
ชี้ Base URL ของ SDK ไปยังพร็อกซี LiteLLM และใช้ API Key ของพร็อกซี โค้ดของคุณสามารถคงเดิมได้ในขณะที่พร็อกซีสลับผู้ให้บริการหรือโมเดลเบื้องหลัง
Q3: LiteLLM สามารถสตรีมการตอบสนองและส่งคืน JSON ได้หรือไม่
ได้ ใช้ `stream=True` เพื่อรับ Token Streams และ `response_format` พร้อม JSON Schema เพื่อบังคับใช้ Structured Outputs ข้ามผู้ให้บริการ
Q4: ฉันจะควบคุมค่าใช้จ่ายข้ามผู้ให้บริการ LLM ที่แตกต่างกันได้อย่างไร
เปิดใช้งาน Usage Logging และ Cost Estimation เพิ่ม Caching ตั้งค่า Rate Limits และกำหนดเส้นทาง Bulk Traffic ไปยังโมเดลที่ถูกกว่าผ่านพร็อกซี ตรวจสอบด้วยแดชบอร์ดสำหรับงบประมาณและ SLOs
Q5: LiteLLM เหมาะสำหรับทีมงาน Production หรือไม่
ใช่ พร็อกซีให้การตรวจสอบสิทธิ์ การจำกัดอัตรา การกำหนดเส้นทาง การสังเกต และ Safety Middleware มันถูกออกแบบมาให้เป็น LLM Gateway ที่รวมศูนย์การกำกับดูแลในขณะที่ทำให้แอปของคุณเข้ากันได้กับ OpenAI