from litellm import completion
resp = completion(
model="gpt-4o", # або "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Запустіть наведений вище код швидкого старту.
- Мета: зробити перший OpenAI-сумісний запит через LiteLLM.
- Практичний розробник
- Прочитайте навчальний матеріал DataCamp і розширте приклади потоковою передачею та повторними спробами.
- Додайте два провайдери та перевірте резервні варіанти.
- Власник команди/виробництва
- Вивчіть офіційний посібник Getting Started.
- Запустіть проксі, додайте моніторинг і облік витрат.
- Запровадьте ліміти швидкості та політики редагування PII.
—
## Глибокий аналіз: шаблони, які ви будете використовувати щотижня
### Сумісність з OpenAI як контракт інтерфейсу
- Вважайте API OpenAI контрактом вашого застосунку. Усі запити проходять через `/v1/*` точки проксі LiteLLM.
- Заміна моделей (наприклад, `gpt-4o` → `claude-3-5`) за конфігурацією, а не кодом.
### Маршрутизація моделей за випадками використання
- Шлях із низькою затримкою: маршрутизувати до швидких, дешевших моделей.
- Шлях для логіки: складніші моделі для генерації з доповненням даних (RAG) чи використання інструментів.
- Приватний шлях: маршрутизувати до локальних/Ollama для сегментів з персональними даними.
### Обмеження витрат
- Маркуйте запити за `user_id`/`team`.
- Встановлюйте бюджети по команді/моделі.
- Логовуйте використання токенів в центральне сховище та налаштовуйте оповіщення про аномалії.
### Стійкість
- Включайте повторні спроби з випадковою затримкою (jitter).
- Конфігуруйте тайм-аути для кожного провайдера та захисні механізми (circuit breakers) при повторних помилках.
- Визначайте пріоритети провайдерів і явні резервні варіанти.
### Моніторинг
- Фіксуйте метадані запитів і відповідей, гістограми затримок, модель/версію.
- Редагуйте секрети та персональні дані в логах.
- Корелюйте трасування між сервісами для швидкого знаходження повільних викликів.
—
## Приклад конфігурації LiteLLM Proxy (готовий до промислового використання)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Практична стаття з прикладами.
- Офіційна документація LiteLLM для початку роботи та найкращих практик проксі.
—
## План дій: ваші наступні 7 днів
День 1–2: пройдіть crash course і quickstart; зробіть перший проксійований запит.
День 3–4: додайте другого провайдера і потокову трансляцію; налаштуйте тайм-аути, повторні спроби.
День 5: розгорніть проксі з конфігурацією; маршрутизувати за випадками використання (низька затримка vs логіка).
День 6: додайте логування, облік витрат і редагування.
День 7: навантажувальне тестування; симулюйте збої провайдерів; перевірте резервні варіанти.
—
## Основні висновки
- LiteLLM — найшвидший шлях до застосунків із кількома LLM без прив’язки до постачальника.
- Починайте з сумісного з OpenAI інтерфейсу, потім переходьте до проксі для управління.
- Інвестуйте зранку в маршрутизацію, стійкість та моніторинг — вони знадобляться вам на другому тижні, а не через шість місяців.
- Навчальні матеріали вище охоплюють 80% того, що ви будете використовувати щодня; решта — секрет вашого продукту.
### FAQ
Q1: Який найкращий навчальний матеріал LiteLLM для початківців?
Почніть з LiteLLM Crash Course на YouTube для швидкого візуального огляду, потім прочитайте офіційний посібник Getting Started для проксі. Навчальний матеріал DataCamp надає практичні приклади для копіювання.
Q2: Як використовувати LiteLLM як сумісний з OpenAI проксі?
Запустіть LiteLLM проксі і спрямовуйте базову URL вашого SDK на `/v1` ендпоінти проксі. Зберігайте дані про провайдерів у конфігурації LiteLLM, щоб код застосунку залишався переносним.
Q3: Чи може LiteLLM автоматично маршрутизувати між OpenAI, Anthropic і Gemini?
Так. Визначте моделі та стратегії маршрутизації в конфігурації LiteLLM, щоб переключатися між провайдерами за затримкою, вартістю чи якістю. Також можна встановити резервні варіанти для підвищення надійності.
Q4: Як увімкнути потокову передачу та виклики функцій/інструментів у LiteLLM?
Використовуйте сумісний з OpenAI API через LiteLLM і встановіть `stream=True` (або SSE у вашому SDK). Для виклику інструментів дотримуйтесь формату OpenAI function-calling — LiteLLM перенаправляє його до цільового провайдера.
Q5: Який найшвидший спосіб контролювати витрати з LiteLLM?
Централізуйте запити через проксі, увімкніть логування використання і впровадьте ліміти швидкості та бюджети за ключем. Маршрутуйте різні робочі навантаження на оптимізовані за вартістю моделі і фіксуйте версії, щоб уникнути сюрпризів.