from litellm import completion
resp = completion(
model="gpt-4o", # ou "azure/gpt-4o", "anthropic/claude-3-5-sonnet", "gemini/gemini-1.5-pro"
messages=.
- Exécutez le code quickstart ci-dessus.
- Objectif : Faire votre première requête compatible OpenAI via LiteLLM.
- Pour les développeurs pratiques
- Lisez le tutoriel DataCamp et étendez les exemples avec streaming et retries.
- Ajoutez deux fournisseurs et testez les repliements.
- Pour les responsables d’équipe/production
- Étudiez le guide officiel Démarrage.
- Déployez le proxy, ajoutez observabilité et suivi des coûts.
- Appliquez limites de débit et règles de masquage PII.
—
## Approfondissement : Modèles à Utiliser Hebdomadairement
### Compatibilité OpenAI comme Contrat d’Interface
- Considérez l’API OpenAI comme le contrat de votre app. Toutes les requêtes passent par les endpoints `/v1/*` du proxy LiteLLM.
- Changez les modèles (ex. `gpt-4o` → `claude-3-5`) via configuration, pas par code.
### Routage des Modèles selon le Cas d’Usage
- Chemin sensible à la latence : routage vers des modèles rapides et moins coûteux.
- Chemin de raisonnement : routage vers des modèles de haute qualité pour génération augmentée par récupération (RAG) ou usage d’outils.
- Chemin vie privée : routage vers local/Ollama pour segments contenant des PII.
### Garde-fous de Coût
- Étiquetez les requêtes avec `user_id`/`team`.
- Définissez des budgets par équipe/modèle.
- Enregistrez l’utilisation des tokens dans une base centralisée et alertez en cas d’anomalie.
### Résilience
- Activez les retries avec variation aléatoire (jitter).
- Configurez les timeouts par fournisseur et des coupe-circuits en cas d’échecs répétitifs.
- Définissez les priorités des fournisseurs et les repliements explicites.
### Observabilité
- Capturez les métadonnées des requêtes/réponses, histogrammes de latence, modèle/version.
- Masquez secrets/PII dans les logs.
- Correlation des traces entre services pour détecter rapidement les appels lents.
—
## Exemple de Configuration LiteLLM Proxy (Prêt pour la Production)
```yaml
# config.yaml
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: ${OPENAI_API_KEY}
- model_name: claude-3-5-sonnet
litellm_params:
model: anthropic/claude-3-5-sonnet
api_key: ${ANTHROPIC_API_KEY}
- model_name: gemini-1.5-pro
litellm_params:
model: google/gemini-1.5-pro
api_key: ${GOOGLE_API_KEY}
defaults:
timeout: 30s
max_tokens: 1024
routing:
- name: low-latency
models: .
- Un article pratique et orienté exemples.
- La documentation officielle LiteLLM pour démarrer et bonnes pratiques proxy.
—
## Plan d’Action : Vos Prochaines 7 Journées
Jour 1–2 : Faites le cours intensif et le quickstart ; effectuez votre première requête via proxy.
Jour 3–4 : Ajoutez un second fournisseur et le streaming ; définissez timeouts et retries.
Jour 5 : Déployez le proxy avec la config ; routez selon cas d’usage (latence vs raisonnement).
Jour 6 : Ajoutez la journalisation, le suivi des coûts et la mascarade des données.
Jour 7 : Testez la charge ; simulez des pannes fournisseurs ; vérifiez les repliements.
—
## Points Clés à Retenir
- LiteLLM est la voie la plus rapide vers des apps LLM multi-fournisseurs sans dépendance rigide au fournisseur.
- Commencez avec une interface compatible OpenAI, puis montez en régime avec le proxy pour la gouvernance.
- Investissez tôt dans le routage, la résilience et l’observabilité — vous en aurez besoin à la semaine deux, pas au sixième mois.
- Les tutoriels ci-dessus couvrent 80 % de l’usage quotidien ; le reste est la touche secrète de votre produit.
### FAQ
Q1 : Quel est le meilleur tutoriel LiteLLM pour débutants ?
Commencez par le Cours Intensif LiteLLM sur YouTube pour une présentation visuelle rapide, puis lisez le guide officiel Démarrage pour le proxy. Le tutoriel DataCamp offre des exemples pratiques à copier.
Q2 : Comment utiliser LiteLLM comme proxy compatible OpenAI ?
Lancez le proxy LiteLLM et orientez l’URL de base de votre SDK vers les endpoints `/v1` du proxy. Gardez les détails des fournisseurs dans la config LiteLLM pour que votre code reste portable.
Q3 : LiteLLM peut-il router automatiquement entre OpenAI, Anthropic, et Gemini ?
Oui. Définissez les modèles et stratégies de routage dans la configuration LiteLLM pour basculer entre fournisseurs selon la latence, le coût ou la qualité. Vous pouvez aussi paramétrer des repliements pour plus de fiabilité.
Q4 : Comment activer le streaming et l’appel d’outils/fonctions avec LiteLLM ?
Utilisez l’API compatible OpenAI via LiteLLM avec `stream=True` (ou SSE dans votre SDK). Pour l’appel de fonctions, suivez le format OpenAI — LiteLLM le transmet vers le fournisseur ciblé.
Q5 : Quelle est la manière la plus rapide de contrôler les coûts avec LiteLLM ?
Centralisez les requêtes via le proxy, activez la journalisation d’utilisation, et appliquez des limites de débit et budgets par clé. Orientez les charges de travail vers des modèles optimisés coûts et figez les versions pour éviter les surprises.