Avez-vous déjà essayé d'héberger un grand modèle de langage sur votre propre GPU et eu l'impression d'avoir adopté un Tamagotchi très gourmand ? Vous le nourrissez de VRAM, vous dorlotez les kernels, et quand vous demandez enfin une réponse… il cligne des yeux pendant cinq secondes et s'en va. C'était mon week-end avec un serveur LLM "vanille". Puis j'ai installé vLLM.
Spoiler : vLLM est le moteur open source qui donne l'impression que l'inférence LLM, c'est comme si vous aviez troqué votre tricycle contre une Tesla. Cette revue de vLLM se penche sur ce que c'est, comment il extrait plus de tokens de votre budget matériel, où il brille, où il trébuche, et qui devrait le mettre dans le panier, le cluster, ou la pile "peut-être plus tard".
Qu'est-ce que vLLM, en français clair (et avec moins de larmes de GPU) ?
vLLM est un moteur d'inférence et de service open source pour les grands modèles de langage. Considérez-le comme le contrôleur aérien, le bagagiste et la compagnie aérienne à bas prix, le tout en un : ce qui planifie les requêtes, emballe les tokens dans la mémoire du GPU et décolle efficacement sans laisser de sièges (VRAM) vides. Il encapsule les modèles que vous connaissez (Llama, Mistral, Mixtral, Phi, Qwen, Gemma) derrière des API familières (de style OpenAI, compatibles avec OpenAI), puis les booste avec des astuces de mémoire et de planification intelligentes.
Si vous avez essayé d'exécuter des LLM avec des boucles naïves ou même des frameworks de service à usage général, vous avez probablement rencontré le plus grand tueur de vitesse : le gaspillage de mémoire. La signature de vLLM est PagedAttention, un gestionnaire de mémoire dynamique qui traite les caches d'attention clé/valeur comme des pages dans un système d'exploitation. Traduction : au lieu de donner à chaque conversation un penthouse privé en VRAM, il transforme le penthouse en un espace de co-working. Plus de personnes (requêtes) peuvent s'y insérer. Tout le monde tape plus vite.
À qui s'adresse cette revue de vLLM ?
- Aux équipes qui développent des applications d'IA et qui souhaitent un chat à faible latence et des tâches par lots à haut débit.
- Aux spécialistes de l'infrastructure à la recherche d'une alternative open source aux endpoints LLM commerciaux.
- Aux chercheurs qui ont besoin d'échanges de modèles rapides sans sacrifier les performances.
- Aux pragmatiques des startups qui essaient de réduire les coûts des tokens en s'auto-hébergeant.
Si vous êtes dans le "Je veux juste une boîte d'invite et des ambiances", vous préférerez peut-être les API gérées. Si vous êtes dans le "Je veux un débit 10x sans budget 10x", continuez à lire.
Les principales fonctionnalités de vLLM (et pourquoi vous devriez vous en soucier)
- PagedAttention : Pagination de la mémoire pour les caches KV d'attention. C'est la raison pour laquelle vLLM peut jongler avec de nombreuses requêtes sans laisser tomber d'images.
- Batch continu : Les nouvelles requêtes rejoignent les lots en cours de traitement, de sorte que les GPU restent occupés et la latence reste raisonnable.
- API compatibles avec OpenAI : Branchez-le sur des outils et des SDK conçus pour OpenAI avec un minimum de modifications de code.
- Prise en charge des tenseurs/quantifications : FP16, BF16 et poids quantifiés populaires (comme AWQ, GPTQ le cas échéant), afin que vous puissiez faire rentrer de plus gros cerveaux dans des GPU plus petits.
- Service multi-GPU et distribué : Augmentez la capacité lorsque votre A100 unique commence à chauffer.
- Tokens en streaming : Les utilisateurs voient les mots s'écrire comme dans une scène de piratage hollywoodienne, ce qui donne l'impression que tout est plus rapide.
- Prise en charge de LoRA/adapters (dépend du modèle) : Utile si vous servez des variantes affinées sur le même modèle de base.
L'histoire de la configuration rapide (aka : à quelle vitesse puis-je obtenir le premier token ?)
- Installez vLLM via pip. Pas besoin de cercle d'invocation :
pip install vllm
- Pointez-le vers un modèle sur Hugging Face ou vos poids locaux.
- Démarrez le serveur avec un endpoint compatible OpenAI.
- Utilisez Curl ou branchez-le sur votre client OpenAI existant.
Dans mes tests sur un GPU grand public et un poste de travail avec une carte de centre de données, le délai avant le premier token m'a semblé sensiblement plus rapide qu'avec les configurations de serveur de transformateurs standard, en particulier en cas de charge. La magie opère lorsque plusieurs utilisateurs (ou vos propres tâches par lots) se ruent sur le serveur : vLLM maintient le GPU alimenté.
Benchmarks, latence et ambiance réelle
Voici ce qui a ressorti de la revue de vLLM :
- Débit : Avec le batch continu, vLLM peut servir de nombreuses requêtes par seconde sans transformer votre GPU en un radiateur d'appoint qui n'imprime que des points de suspension. Plus vous lui lancez de requêtes simultanées (dans des limites raisonnables), plus il se montre performant.
- Latence : Le délai avant le premier token est compétitif, et parfois meilleur, que celui d'autres serveurs open source que j'ai essayés, surtout lorsque le streaming est activé et que les invites sont courtes à moyennes.
- Longues sorties : La génération soutenue est stable. Pour les générations très longues, vous voudrez régler max_tokens, les paramètres de beam (si vous devez) et la température pour que la VRAM reste confortable.
- Charges de travail mixtes : Il est étonnamment bon pour gérer simultanément le chat, les invites d'utilisation d'outils et le scoring léger par lots. Comme un restaurant qui sert des crêpes et des pad thaï sans empoisonner personne.
Vos chiffres dépendront de la classe du GPU, de la quantification, de la longueur des séquences et du choix du modèle. Mais la tendance est constante : vLLM prend de l'avance lorsque la concurrence augmente.
Où vLLM brille par rapport aux autres serveurs LLM
- Si votre priorité est de servir de nombreux utilisateurs interactifs avec des baisses de latence minimales, le planificateur de vLLM et PagedAttention sont exceptionnels.
- Si vous avez besoin d'endpoints compatibles avec OpenAI pour vous insérer dans des applications existantes, il est facile à brancher et à utiliser.
- Si vous optimisez les coûts, vous pouvez souvent passer à une classe de GPU légèrement inférieure ou extraire plus de req/sec du même matériel. Les directeurs financiers du monde entier viennent de se réveiller.
Où vLLM peut vous frustrer (ce n'est pas de la poudre de perlimpinpin)
- La compatibilité des modèles n'est pas universelle. La plupart des poids ouverts populaires fonctionnent très bien, mais les architectures exotiques ou les formats quantiques de pointe peuvent nécessiter des ajustements ou ne pas être encore pris en charge.
- La mémoire est toujours de la physique. PagedAttention aide, mais un modèle 7B sur un GPU de 6 Go avec 100 utilisateurs simultanés, c'est toujours une sitcom, pas un serveur.
- La multitenancy avancée et les garde-fous peuvent nécessiter un couplage avec d'autres outils ou l'écriture de code de liaison.
- Les mises à jour évoluent rapidement. C'est un avantage pour les fonctionnalités, un inconvénient si vous voulez une stabilité stagnante.
vLLM vs. les suspects habituels (un face-à-face amical)
- Text Generation Inference (TGI) : TGI est soigné et populaire auprès des entreprises. vLLM le dépasse souvent en termes de débit grâce au batch dynamique et à PagedAttention, en particulier pour les charges de travail bavardes. TGI a une forte intégration Hugging Face et une ergonomie de production solide. Choisissez vLLM pour la vitesse de service brute et les API de type OpenAI ; choisissez TGI si vous êtes plongé dans les outils HF et que vous voulez leurs modèles d'opérations.
- OpenLLM/FastChat/Autres : Beaucoup sont excellents pour l'expérimentation. vLLM gagne généralement en matière de concurrence et d'efficacité de la mémoire. Si vous créez une application grand public avec un trafic irrégulier, la planification de vLLM aide à raccourcir les délais.
- Piles Triton/Transformers personnalisées : Vous pouvez fabriquer à la main un serveur performant, mais vLLM emballe les astuces que vous construiriez de toute façon, et vous n'avez pas à entretenir l'équivalent d'une petite ville de kernels.
Plongée en profondeur : pourquoi PagedAttention est important
Imaginez l'espace de réflexion de l'attention de votre modèle comme un tableau blanc géant. Chaque conversation s'en inspire. La plupart des serveurs attribuent une section entière, même si la conversation se limite à deux gribouillis et un smiley. PagedAttention divise ce tableau blanc en notes autocollantes et les fait entrer et sortir. Plus de personnes peuvent dessiner en même temps, moins d'espaces vides, moins de gaspillage d'espace. C'est pourquoi vLLM maintient les performances lorsque le monde réel (c'est-à-dire de nombreux utilisateurs posant des questions aléatoires) se présente.
L'expérience du développeur : confortable ou croustillante ?
- Confort de l'API : Vous obtenez des endpoints REST qui imitent OpenAI. Apportez vos clients, modèles d'invite et loggers existants.
- Configurations : Des valeurs par défaut judicieuses, avec de nombreux flags pour la taille des lots, le parallélisme des tenseurs, la quantification et les boutons du planificateur.
- Observabilité : Les endpoints de métriques, les logs et les hooks Prometheus sont là, mais vous ajouterez probablement votre propre traçage.
- Extensibilité : La prise en charge de type plugin pour les tokenizers, les adaptateurs et les backends s'améliore. Si vous aimez lire du code à minuit, le dépôt est actif et accessible.
Calcul des coûts : comment vLLM modifie la facture du GPU
- Meilleure utilisation = moins de cycles d'inactivité. Si vous payez à l'heure (cloud) ou amortissez (sur site), l'augmentation du débit de vLLM se traduit par plus de tokens par dollar.
- Gains de quantification : L'exécution d'AWQ/GPTQ/INT8 lorsque cela est pris en charge peut réduire l'empreinte de la VRAM et vous permettre de descendre d'un niveau de GPU, ou d'adapter plus de tâches simultanées par carte.
- Échelle horizontale : Lorsque vous avez besoin de plus de puissance, vLLM fonctionne sur plusieurs GPU et nœuds. Vous pouvez croître linéairement sans jeter votre architecture dans un mixeur.
Règle générale : si votre service a plus d'une poignée d'utilisateurs simultanés ou si vous exécutez des tâches par lots par vagues, l'efficacité de vLLM est rapidement rentable. Si vous ne faites que tester des invites, c'est un plus.
Scénarios réels : où vLLM gagne sa place
- Assistants de chat avec de nombreux utilisateurs simultanés : Service client, aide informatique interne ou cette application qui aide les étudiants à brainstormer des essais cinq minutes avant minuit.
- Pipelines de génération de contenu : Plans de blogs, brouillons d'e-mails, commentaires de code, générés en parallèle sans une file d'attente qui ressemble au DMV.
- Agents alimentés par des outils : Lorsque votre modèle s'interrompt pour les appels d'outils, le batch de vLLM maintient le GPU occupé avec d'autres requêtes.
- Systèmes RAG : vLLM joue bien le rôle de couche de génération pendant que votre retriever fait le travail de rat de bibliothèque ailleurs.
Conseils de configuration de vLLM (appris de manière amusante)
- Commencez avec le modèle que vous prévoyez réellement de servir. Ne benchmarkez pas un minuscule 3B, puis déployez un 70B et vous vous demanderez pourquoi votre GPU hurle.
- Réglez la longueur maximale du contexte. Le surdimensionnement du contexte fait exploser la VRAM ; le dimensionnement correct maintient la concurrence élevée.
- Activez le streaming. Les utilisateurs ressentent des réponses plus rapides et vous pouvez vider les tokens de l'interface utilisateur plus tôt.
- Testez avec de vrais modèles de trafic. Irrégulier ? Constant ? Mixte ? Le planificateur de vLLM brille différemment selon la forme.
- Enregistrez tout. La latence p50, p95, le débit de tokens et les événements OOM vous indiquent où vous devez optimiser.
Sécurité et gouvernance : apportez vos propres pantalons de grand
vLLM est un moteur de service, pas une boussole morale. Si vous avez besoin de modération, de suppression des informations personnelles, de limites de débit, d'isolation des tenants ou de pistes d'audit, ajoutez-les au niveau de la passerelle ou de la couche applicative. La bonne nouvelle : l'interface compatible avec OpenAI facilite l'échange de vos politiques et middleware préférés.
Les petits caractères : compatibilité et mises en garde dans cette revue de vLLM
- Toutes les architectures de modèles ou les poids quantifiés ne seront pas plug-and-go. Consultez la documentation et les problèmes de la communauté. Le rythme du support est rapide, mais la nouveauté dépasse toujours la stabilité.
- Repli sur le CPU ? vLLM est plus heureux sur les GPU. Vous pouvez expérimenter sur le CPU, mais c'est comme essayer de courir un marathon avec des chaussures de ski.
- Le sharding multi-GPU est puissant, mais nécessite une configuration soignée. Testez le basculement et les démarrages à chaud, en particulier pour les SLA de production.
Démarrage rapide : une liste de contrôle mentale
- Matériel : des GPU avec suffisamment de VRAM pour votre modèle cible + de la marge pour la concurrence.
- Modèle : choisissez une famille bien prise en charge (Llama, Mistral, Mixtral, Qwen, Gemma) et confirmez la compatibilité tokenizer/quantification.
- Service : exécutez vLLM avec l'API OpenAI activée, diffusez les réponses, définissez le contexte et max_tokens de manière sensée.
- Échelle : Ajoutez des GPU ou des nœuds. Utilisez une passerelle pour le routage, les limites de débit et l'authentification. Envisagez l'autoscaling si vous êtes dans le cloud.
- Coûts : Mesurez les tokens par seconde, la concurrence et la longueur moyenne des sorties. Réexécutez après chaque changement.
Il est intéressant de noter : où Sider.AI s'inscrit dans ce tableau
Constructeurs, soyez attentifs : si vous essayez de choisir des modèles, de comparer la vitesse entre les invites et, en général, de ne pas perdre la tête pendant l'itération, Sider.AI peut être une excellente vérification de votre santé mentale. Vous pouvez rédiger, tester et affiner les invites sur différents backends, puis passer à vLLM lorsqu'il est temps de vous auto-héberger pour des raisons de coût ou de contrôle. Considérez Sider.AI comme votre équipe de stand, puis vLLM comme la voiture de course que vous conduisez lorsque la piste s'ouvre. Qui devrait choisir vLLM dès maintenant ?
- Oui : les startups avec une base d'utilisateurs croissante, les plateformes internes servant de nombreuses équipes, les équipes de produits passant d'une API payante à l'auto-hébergement.
- Peut-être : Développeurs solo explorant les options. Si votre trafic est faible, les API gérées pourraient être plus simples (et moins chères) pour le moment.
- Pas encore : Les organisations fortement réglementées ayant besoin d'une conformité clé en main et d'une isolation dans la couche de service. Vous aurez d'abord besoin de plus de garde-fous autour de lui.
Avantages et inconvénients de vLLM (sans enjoliver)
Avantages
- Excellent débit en cas de concurrence
- L'API compatible avec OpenAI simplifie les migrations
- Forte efficacité de la mémoire avec PagedAttention
- Bon support pour les modèles ouverts populaires et la quantification
- Communauté active et cadence de développement rapide
Inconvénients
- Prise en charge non universelle des modèles/quantifications ; quelques ajustements nécessaires
- Meilleur sur les GPU ; l'utilisation du CPU est surtout pour les expériences scientifiques
- La multitenancy et la gouvernance de niveau production nécessitent des extras
- Des changements rapides peuvent entraîner des mises à niveau occasionnelles
Le verdict de cette revue de vLLM
vLLM est le rare projet open source qui semble à la fois intelligent sur le plan académique et pratique pour la production. Si vous êtes sérieux au sujet de l'exécution de LLM à l'échelle sans créer une ferme de GPU qui sert également de sauna, il doit figurer sur votre liste restreinte, probablement en tête de liste. Ce n'est pas la seule façon de servir des modèles, mais à l'heure actuelle, c'est l'une des plus rapides, des plus flexibles et des plus conviviales pour les développeurs.
Pour le dire autrement : si votre configuration actuelle fait attendre les utilisateurs assez longtemps pour qu'ils reconsidèrent leurs choix de vie, vLLM vous aidera à livrer les réponses avant qu'ils ne le puissent. Et c'est bien là tout l'intérêt, n'est-ce pas ?
Plan d'action : rendez votre LLM plus rapide cette semaine
- Jour 1 : Mettez en place vLLM avec votre modèle cible. Activez le streaming. Testez-le avec vos vraies invites.
- Jour 2 : Réglez la fenêtre de contexte et les paramètres de batch. Essayez une quantification prise en charge pour adapter plus de requêtes.
- Jour 3 : Ajoutez une passerelle et des logs. Mesurez la latence p95 et les tokens par dollar.
- Jours 4 à 5 : Poussez un canary vers de vrais utilisateurs. Augmentez la capacité si nécessaire. Célébrez avec quelque chose de pétillant (le seltz compte).
Et lorsque votre patron vous demandera comment vous avez doublé le débit sans doubler les coûts, dites simplement deux mots : "attention paginée". Puis remettez-lui cette revue de vLLM et profitez des approbations comme si vous aviez tout prévu.
FAQ
Q1 : vLLM est-il bon pour les petites équipes ou seulement pour les grandes entreprises ?
Les deux. Si vous passez d'API gérées à l'auto-hébergement pour réduire les coûts, les endpoints compatibles avec OpenAI de vLLM facilitent la transition. Pour les grandes équipes, les gains de débit et de concurrence brillent lorsque le trafic augmente.
Q2 : Quels modèles fonctionnent le mieux sur vLLM ?
Les modèles ouverts populaires comme Llama, Mistral, Mixtral, Qwen, Gemma et Phi sont des chemins bien balisés. Vérifiez les notes de compatibilité pour les variantes quantifiées. La plupart des formats courants fonctionnent, mais les combinaisons exotiques peuvent nécessiter des ajustements.
Q3 : De combien de GPU ai-je besoin pour exécuter vLLM ?
Faites correspondre la VRAM à la taille de votre modèle et à la fenêtre de contexte, puis ajoutez de la marge pour la concurrence. Un seul GPU à haute mémoire peut bien servir un modèle 7B-13B ; les modèles plus grands ou le trafic important bénéficient de configurations multi-GPU.
Q4 : vLLM réduit-il la latence ou augmente-t-il simplement le débit ?
Les deux, selon la charge de travail. Le batch continu améliore l'utilisation du GPU pour un meilleur débit, tandis que le streaming et la planification efficace aident le délai avant le premier token et la latence de queue dans les applications bavardes.
Q5 : Comment vLLM se compare-t-il à Text Generation Inference (TGI) ?
vLLM dépasse souvent TGI en termes de débit grâce à PagedAttention et au batch dynamique, en particulier pour le chat interactif. TGI s'appuie sur les intégrations Hugging Face et le niveau de qualité des entreprises : votre pile et vos priorités devraient décider.
