vLLM 0.33 : CUDA 13 devient obligatoire, plusieurs fonctions disparaissent

Quand une entreprise veut servir un modèle d'IA à toute une équipe depuis son propre serveur à cartes graphiques, vLLM est l'un des logiciels libres les plus utilisés pour cela. Là où un outil de bureau sert une personne, vLLM est conçu pour répondre à de nombreuses requêtes en parallèle. Sa version 0.33.0 est sortie début novembre, deux semaines après la 0.32.0 du 18 octobre et moins d'un mois après la 0.31.0 du 5 octobre.

Les notes de version revendiquent 927 contributions de code venant de 389 personnes, dont 122 nouvelles. Derrière ce volume, trois sujets concernent directement ceux qui exploitent un serveur.

Le socle technique change

• CUDA 13.0 est désormais la seule option. Les paquets et les images pour CUDA 12.9 ne sont plus publiés. CUDA est la couche logicielle de NVIDIA qui fait le lien entre le programme et la carte graphique : un serveur resté sur l'ancienne version ne pourra pas suivre sans mise à niveau.
• PyTorch passe en 2.14.0, avec torchvision 0.29.0 et Triton 3.8.0.
• Côté AMD, l'image par défaut passe à ROCm 10.0. Une image ROCm 7.2 reste publiée.
• Les images Docker sont aussi diffusées sous un nom plus court, vllm/vllm. Une image spécifique, v0.33.0-efa, vise les instances AWS équipées du réseau EFA pour répartir un modèle sur plusieurs machines.

Ce qui est retiré ou change de comportement

• Les méthodes d'accélération Medusa et « MLP speculator » sont supprimées, de même que l'ancien exécuteur fondé sur les graphes compilés de Ray.
• L'option --mamba-cache-mode et la bibliothèque LM Format Enforcer, qui sert à contraindre le format des réponses, sont dépréciées.
• Une requête envoyée pendant que la génération est en pause reçoit maintenant une erreur HTTP 503. Une application qui ne prévoit pas ce cas affichera une panne au lieu d'attendre.
• Le connecteur NIXL exige la version 1.5 ou supérieure.

Ce qui est ajouté

• De nouveaux modèles, parmi lesquels Reflection Beam-1.0, Muse Spark Open, Step-5 Preview, Nemotron Parse 3.5 de NVIDIA ou MiniCPM-OCR 1.0.
• Un point d'accès /v1/decisions et, sur /v1/embeddings, des représentations par token avec un découpage tardif optionnel, utile pour la recherche documentaire.
• Des optimisations ciblées pour les matériels NVIDIA récents (GB300, Blackwell) et pour les cartes AMD, dont un cache compressé sur 3 à 4 bits.
• Du décodage spéculatif enrichi, la technique qui consiste à faire proposer la suite par un petit modèle avant validation par le grand. L'une des nouvelles politiques de vérification est décrite comme « avec perte » et doit être activée volontairement.
• Un chien de garde qui enregistre l'état des processus bloqués, pour faciliter le diagnostic.

Les limites de cette lecture

Les notes de version sont longues et nous n'en avons lu que la partie consacrée à la 0.33.0 sur la page des versions du projet. Elles ne donnent pas de mesures de performance chiffrées pour les optimisations annoncées. Aucun test indépendant n'est cité à ce stade.

Notre lecture

Pour la plupart des PME, vLLM n'est pas le premier outil à installer : il demande un serveur à cartes graphiques et quelqu'un pour l'administrer. Mais si vous en exploitez un, ou si un prestataire le fait pour vous, cette version ne se met pas à jour à l'aveugle.

Quatre contrôles avant de toucher à la production :

1. La version de CUDA et des pilotes sur le serveur. Sans CUDA 13.0, la mise à jour s'arrête là.
2. Vos scripts de lancement : cherchez-y --mamba-cache-mode, Medusa ou LM Format Enforcer.
3. Vos applications clientes : savent-elles réessayer après une erreur 503 ?
4. Un essai sur une machine de test avec votre modèle habituel, avant de basculer.

Le rythme d'une version toutes les deux semaines a un coût : rester à jour demande du temps. Sur un serveur qui fonctionne et n'a besoin d'aucun des nouveaux modèles, rien ne presse.