LeRobot 0.7.0 : parler à son robot pendant qu'il travaille, et s'entraîner sans télécharger les données

LeRobot est la bibliothèque libre de Hugging Face pour entraîner et piloter des robots avec des modèles d'IA. Sa version 0.7.0, présentée le 5 novembre 2026, s'attaque aux deux extrémités du problème : entraîner sur des volumes de données très importants, et donner des consignes au robot pendant qu'il agit.

Donner des consignes en cours de route

La commande lerobot-rollout accepte désormais l'option --interactive=true. Le robot, le modèle et ses réglages restent chargés entre deux consignes, et l'opérateur tape des commandes courtes :

/subtask pick up the red cube
/vqa how many cubes are left on the table?
/autosteer clear the table

La première change la tâche en cours, la deuxième interroge le modèle sur ce qu'il voit, la troisième lui fixe un objectif et le laisse choisir ses étapes. Limite à connaître : les deux dernières exigent un modèle capable de produire du texte, ou un modèle de vision et de langage externe servant de planificateur, branché par une API compatible OpenAI.

Le calcul ailleurs que sur le robot

Le nouveau lerobot-policy-server fait tourner le modèle sur une machine à GPU, tandis que caméras, moteurs et enregistrement restent sur l'ordinateur du robot, qui peut être un simple portable. Le robot exécute les actions déjà reçues pendant que les suivantes sont calculées, ce qui masque le délai réseau. Les échanges peuvent être chiffrés en TLS.

Des données lues en flux

Hugging Face indique héberger près de 300 To de données de robotique ouvertes au format LeRobot. Les télécharger devient irréaliste pour une petite structure. Deux réponses :

• l'option --dataset.streaming=true ne récupère que les portions de vidéo nécessaires ; avec quatre processus de chargement, le débit annoncé est 2,1 à 2,5 fois supérieur ;
• les augmentations d'images peuvent passer sur le GPU : selon l'équipe, l'entraînement du modèle ACT est 2,8 fois plus rapide sur une carte H100.

Ces gains sont mesurés par les auteurs, sur leur matériel.

Nouveaux modèles et matériel

La version ajoute quatre « modèles monde-action », qui prédisent à la fois les images à venir et les gestes, dont Cosmos 3 de NVIDIA et FLUX 3 Action de Black Forest Labs, ainsi que quatre modèles vision-langage-action. Les taux de réussite cités, souvent supérieurs à 97 %, portent sur LIBERO, un banc d'essai en simulation : ils ne disent rien du comportement sur un vrai poste de travail.

Côté matériel, trois ajouts : le bras I2RT YAM, le bras reBot B601 de Seeed Studio et une variante à 23 articulations de l'humanoïde Unitree G1.

Ce qui casse

• Le module lerobot.async_inference et l'extra lerobot[async] disparaissent, remplacés par l'extra remote.
• Le suivi d'expériences passe à Trackio ; Weights & Biases n'est plus pris en charge.
• L'ancien mode d'entraînement réparti FSDP1 est remplacé.

Attention aussi aux licences : le modèle G0.5 est publié sous une licence non commerciale, pas sous Apache 2.0.

Notre lecture

Pour un atelier, un laboratoire ou une école qui expérimente avec un bras robotisé d'entrée de gamme, cette version abaisse deux barrières concrètes : plus besoin de disques de plusieurs téraoctets pour s'entraîner, ni d'un GPU embarqué sur le robot. Le mode interactif est utile pour mettre au point une tâche sans relancer le programme à chaque essai.

Cela reste un outil de recherche et de prototypage. Rien, dans l'annonce, ne traite de sécurité des machines ou de certification pour un usage en production. Si vous avez du code en 0.6, vérifiez les trois ruptures ci-dessus avant de mettre à jour, et contrôlez la licence de chaque modèle avant tout usage commercial.