from litellm import completion
resp = completion(
model="gpt-4o", # หรือ "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- รันโค้ด quickstart ข้างต้น
- เป้าหมาย: ทำคำขอ OpenAI-compatible ครั้งแรกผ่าน LiteLLM
- สำหรับผู้สร้างที่ปฏิบัติได้
- อ่านบทเรียน DataCamp และเพิ่มตัวอย่างด้วยสตรีมมิ่งและ retry
- เพิ่มสองผู้ให้บริการและทดสอบ fallback
- สำหรับเจ้าของทีม/การผลิต
- ศึกษาคู่มือ Getting Started อย่างเป็นทางการ
- ตั้งค่าพร็อกซี เพิ่มการสังเกตการณ์และติดตามต้นทุน
- บังคับใช้ขีดจำกัดอัตราและนโยบายแก้ไขข้อมูลส่วนบุคคล
—
## เจาะลึก: รูปแบบที่คุณจะใช้ทุกสัปดาห์
### ความเข้ากันได้กับ OpenAI เป็นสัญญาอินเทอร์เฟซ
- ถือว่า API รูปแบบ OpenAI เป็นสัญญาแอปของคุณ คำขอทั้งหมดไปยัง endpoint `/v1/*` ของ LiteLLM proxy
- สลับโมเดล (เช่น `gpt-4o` → `claude-3-5`) ผ่านการตั้งค่า ไม่ใช่โค้ด
### การกำหนดเส้นทางโมเดลตามกรณีใช้
- เส้นทางตอบสนองเร็ว: กำหนดเส้นทางไปยังโมเดลที่เร็วและถูกกว่า
- เส้นทางตรรกะ: กำหนดเส้นทางไปยังโมเดลคุณภาพสูงสำหรับการสร้างข้อความแบบเรียกคืนเสริม (RAG) หรือการใช้เครื่องมือ
- เส้นทางความเป็นส่วนตัว: กำหนดเส้นทางไปยังโมเดลในเครื่อง/Ollama สำหรับข้อมูลส่วนบุคคล
### ยามรักษาต้นทุน
- ติดแท็กคำขอด้วย `user_id`/`team`
- ตั้งงบประมาณต่อทีม/โมเดล
- บันทึกการใช้งานโทเค็นไว้ที่ที่เก็บกลางและแจ้งเตือนเมื่อผิดปกติ
### ความทนทาน
- เปิดใช้งาน retry พร้อม jitter
- กำหนดเวลาหมดอายุต่อผู้ให้บริการ และตัวตัดวงจรเมื่อล้มเหลวซ้ำ
- กำหนดลำดับความสำคัญผู้ให้บริการและ fallback อย่างชัดเจน
### การสังเกตการณ์
- เก็บ metadata ของคำขอ/คำตอบ, ฮิสโตแกรมความหน่วง, และรุ่นโมเดล/เวอร์ชัน
- แก้ไขความลับ/ข้อมูลส่วนบุคคลในบันทึก
- เชื่อมโยงการติดตามข้ามบริการเพื่อค้นหาคำขอล่าช้าอย่างรวดเร็ว
—
## ตัวอย่างการตั้งค่า LiteLLM Proxy (พร้อมใช้งานสำหรับการผลิต)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- บทความที่เน้นตัวอย่างปฏิบัติจริง
- เอกสาร LiteLLM อย่างเป็นทางการสำหรับการเริ่มต้นและแนวทางปฏิบัติที่ดีที่สุดของพร็อกซี
—
## แผนปฏิบัติการ: 7 วันข้างหน้าของคุณ
วัน 1–2: ดู crash course และ quickstart ทำคำขอผ่านพร็อกซีครั้งแรกของคุณ
วัน 3–4: เพิ่มผู้ให้บริการที่สองและสตรีมมิ่ง กำหนดค่า timeout, retry
วัน 5: ตั้งค่าพร็อกซีพร้อม config กำหนดเส้นทางตามกรณีใช้งาน (ความหน่วงกับตรรกะ)
วัน 6: เพิ่มการบันทึก, ติดตามต้นทุน, และแก้ไขข้อมูลส่วนบุคคล
วัน 7: ทดสอบโหลด จำลองผู้ให้บริการล้มเหลว ตรวจสอบ fallback
—
## ข้อสรุปสำคัญ
- LiteLLM คือเส้นทางที่เร็วที่สุดสู่แอป LLM หลายผู้ให้บริการโดยไม่ถูกล็อกกับผู้ขายใดผู้ขายหนึ่ง
- เริ่มด้วยอินเทอร์เฟซที่เข้ากันได้กับ OpenAI แล้วค่อยยกระดับไปพร็อกซีเพื่อการกำกับดูแล
- ลงทุนตั้งแต่เนิ่นๆ ในการกำหนดเส้นทาง ความทนทาน และการสังเกตการณ์ เพราะคุณจะต้องใช้ในสัปดาห์ที่สอง ไม่ใช่เดือนที่หก
- บทเรียนด้านบนครอบคลุม 80% ของสิ่งที่คุณจะใช้งานประจำวัน ส่วนที่เหลือคือความลับเฉพาะของผลิตภัณฑ์คุณ
### คำถามที่ถามบ่อย
Q1: บทเรียน LiteLLM ที่ดีที่สุดสำหรับผู้เริ่มต้นคืออะไร?
เริ่มจาก LiteLLM Crash Course บน YouTube เพื่อดูภาพรวมแบบเห็นได้ชัดเจนรวดเร็ว จากนั้นอ่านคู่มือ Getting Started อย่างเป็นทางการสำหรับพร็อกซี บทเรียน DataCamp ให้ตัวอย่างปฏิบัติที่คุณสามารถคัดลอกได้
Q2: ฉันจะใช้ LiteLLM เป็นพร็อกซีที่เข้ากันได้กับ OpenAI อย่างไร?
รัน LiteLLM proxy และชี้ base URL ของ SDK ของคุณไปที่ endpoint `/v1` ของพร็อกซี เก็บรายละเอียดผู้ให้บริการไว้ใน config ของ LiteLLM เพื่อให้โค้ดแอปของคุณพกพาได้
Q3: LiteLLM สามารถกำหนดเส้นทางระหว่าง OpenAI, Anthropic และ Gemini อัตโนมัติได้ไหม?
ได้ กำหนดโมเดลและกลยุทธ์การกำหนดเส้นทางใน config ของ LiteLLM เพื่อสลับผู้ให้บริการตามความหน่วง ต้นทุน หรือคุณภาพ คุณยังสามารถตั้ง fallback เพื่อความน่าเชื่อถือ
Q4: ฉันจะเปิดใช้งานการสตรีมและการเรียกเครื่องมือ/ฟังก์ชันกับ LiteLLM ได้อย่างไร?
ใช้ API ที่เข้ากันได้กับ OpenAI ผ่าน LiteLLM และเปิดใช้งาน `stream=True` (หรือ SSE ใน SDK ของคุณ) สำหรับการเรียกเครื่องมือ ให้ปฏิบัติตามรูปแบบการเรียกฟังก์ชันของ OpenAI — LiteLLM จะส่งต่อไปยังผู้ให้บริการเป้าหมาย
Q5: วิธีที่เร็วที่สุดในการควบคุมต้นทุนด้วย LiteLLM คืออะไร?
รวมคำขอผ่านพร็อกซี เปิดใช้งานการบันทึกการใช้งาน และบังคับใช้ขีดจำกัดอัตราและงบประมาณต่อคีย์ กำหนดเส้นทางงานต่างๆ ไปยังโมเดลที่คุ้มค่า และตรึงเวอร์ชันเพื่อหลีกเลี่ยงความไม่คาดคิด