from litellm import completion
resp = completion(
model="gpt-4o", # hoặc "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Chạy code khởi động nhanh ở trên.
- Mục tiêu: Thực hiện yêu cầu tương thích với OpenAI đầu tiên của bạn qua LiteLLM.
- Người xây dựng thực tế
- Đọc hướng dẫn DataCamp và mở rộng các ví dụ với streaming và retries.
- Thêm hai nhà cung cấp và kiểm tra dự phòng.
- Chủ sở hữu nhóm/sản xuất
- Nghiên cứu hướng dẫn Bắt đầu chính thức.
- Dựng proxy, thêm observability và theo dõi chi phí.
- Thực thi các chính sách giới hạn tốc độ và redaction PII.
—
## Đi sâu: Các mẫu bạn sẽ sử dụng hàng tuần
### Khả năng tương thích với OpenAI như một Hợp đồng Giao diện
- Coi hình dạng API của OpenAI là hợp đồng ứng dụng của bạn. Tất cả các yêu cầu đều đi đến các endpoint `/v1/*` của proxy LiteLLM của bạn.
- Hoán đổi các mô hình (ví dụ: `gpt-4o` → `claude-3-5`) bằng config, không phải code.
### Định tuyến Mô hình theo Trường hợp Sử dụng
- Đường dẫn nhạy cảm với độ trễ: định tuyến đến các mô hình nhanh, rẻ hơn.
- Đường dẫn suy luận: định tuyến đến các mô hình chất lượng cao hơn để tạo tăng cường truy xuất (RAG) hoặc sử dụng công cụ.
- Đường dẫn riêng tư: định tuyến đến cục bộ/Ollama cho các phân đoạn PII.
### Các biện pháp bảo vệ Chi phí
- Gắn thẻ các yêu cầu bằng `user_id`/`team`.
- Đặt ngân sách cho mỗi nhóm/mô hình.
- Ghi nhật ký mức sử dụng token vào một kho lưu trữ trung tâm và cảnh báo về các điểm bất thường.
### Khả năng phục hồi
- Bật retries với jitter.
- Định cấu hình timeouts cho mỗi nhà cung cấp và bộ ngắt mạch trên các lỗi lặp lại.
- Xác định mức độ ưu tiên của nhà cung cấp và dự phòng rõ ràng.
### Observability
- Thu thập metadata yêu cầu/phản hồi, biểu đồ độ trễ và mô hình/phiên bản.
- Redact bí mật/PII trong nhật ký.
- Tương quan các dấu vết trên các dịch vụ để tìm các lệnh gọi chậm một cách nhanh chóng.
—
## Ví dụ về Cấu hình LiteLLM Proxy (Khởi đầu Sẵn sàng cho Sản xuất)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Một bài viết thực tế, hướng đến ví dụ.
- Các tài liệu LiteLLM chính thức để bắt đầu và các phương pháp hay nhất về proxy.
—
## Kế hoạch Hành động: 7 Ngày Tiếp theo của Bạn
Ngày 1–2: Thực hiện khóa học cấp tốc và khởi động nhanh; thực hiện yêu cầu được ủy quyền đầu tiên của bạn.
Ngày 3–4: Thêm nhà cung cấp thứ hai và streaming; đặt timeouts, retries.
Ngày 5: Dựng proxy với config; định tuyến theo trường hợp sử dụng (độ trễ so với suy luận).
Ngày 6: Thêm ghi nhật ký, theo dõi chi phí và redaction.
Ngày 7: Kiểm tra tải; mô phỏng lỗi của nhà cung cấp; xác minh dự phòng.
—
## Những Điểm Chính
- LiteLLM là con đường nhanh nhất để tạo các ứng dụng LLM đa nhà cung cấp mà không bị khóa vào nhà cung cấp.
- Bắt đầu với giao diện tương thích với OpenAI, sau đó nâng cấp lên proxy để quản trị.
- Đầu tư sớm vào routing, resilience và observability—bạn sẽ cần chúng trong tuần thứ hai, không phải tháng thứ sáu.
- Các hướng dẫn trên bao gồm 80% những gì bạn sẽ sử dụng hàng ngày; phần còn lại là bí quyết bí mật của sản phẩm của bạn.
### Câu hỏi thường gặp
Q1: Hướng dẫn LiteLLM nào tốt nhất cho người mới bắt đầu?
Bắt đầu với Khóa học Cấp tốc LiteLLM trên YouTube để có một hướng dẫn trực quan nhanh chóng, sau đó đọc hướng dẫn Bắt đầu chính thức cho proxy. Hướng dẫn DataCamp cung cấp các ví dụ thực tế mà bạn có thể sao chép.
Q2: Làm cách nào để sử dụng LiteLLM làm proxy tương thích với OpenAI?
Chạy proxy LiteLLM và trỏ URL cơ sở của SDK của bạn đến các endpoint `/v1` của proxy. Giữ chi tiết nhà cung cấp trong config LiteLLM để code ứng dụng của bạn vẫn có thể di động.
Q3: LiteLLM có thể định tuyến giữa OpenAI, Anthropic và Gemini một cách tự động không?
Có. Xác định các mô hình và chiến lược định tuyến trong config LiteLLM để chuyển đổi giữa các nhà cung cấp theo độ trễ, chi phí hoặc chất lượng. Bạn cũng có thể đặt dự phòng để đảm bảo độ tin cậy.
Q4: Làm cách nào để bật streaming và tool/function calling với LiteLLM?
Sử dụng API tương thích với OpenAI thông qua LiteLLM và bật `stream=True` (hoặc SSE trong SDK của bạn). Đối với tool calling, hãy tuân theo định dạng function-calling của OpenAI—LiteLLM chuyển tiếp nó đến nhà cung cấp mục tiêu.
Q5: Cách nhanh nhất để kiểm soát chi phí với LiteLLM là gì?
Tập trung các yêu cầu thông qua proxy, bật ghi nhật ký mức sử dụng và thực thi các giới hạn tốc độ và ngân sách cho mỗi khóa. Định tuyến các khối lượng công việc khác nhau đến các mô hình được tối ưu hóa chi phí và ghim các phiên bản để tránh những bất ngờ.