IA localeActualité ·
vLLM 0.33 : CUDA 13 devient obligatoire, plusieurs fonctions disparaissent
La nouvelle version du serveur d'inférence libre vLLM ajoute une dizaine de modèles et des optimisations pour les dernières cartes NVIDIA et AMD. Elle abandonne aussi CUDA 12.9 et retire d'anciens composants. Ce qu'il faut contrôler avant de mettre à jour un serveur en service.