inferd : faire tourner seize agents IA en local sur un Mac mini

La plupart des outils pour faire tourner un modèle sur son Mac sont optimisés pour un cas : une personne, une conversation. inferd vise autre chose. Ce moteur sous licence Apache 2.0, publié par la société Incept5, est conçu pour servir plusieurs agents IA en parallèle sur une seule machine à puce Apple.

À quoi ça sert

Un agent de code ou d'automatisation ne discute pas : il enchaîne des dizaines d'appels au modèle. Dès qu'on en lance plusieurs, un moteur classique les fait attendre à la queue. inferd regroupe les demandes, partage ce qui peut l'être entre agents et, quand la mémoire manque, range les contextes inactifs sur le disque pour les reprendre plus tard.

Le projet le dit lui-même sans détour : il est en tête quand les agents s'accumulent sur un Mac, mais d'autres moteurs restent plus rapides pour un flux unique.

Ce qu'il faut

• un Mac à puce Apple, sous macOS 26 ou 27 (un fichier différent pour chaque version) ;
• 32 Go de mémoire au minimum pour le modèle principal, Qwen3.8-27B ;
• environ 17 Go d'espace disque pour les poids.

Les machines testées vont du Mac mini M4 Pro au Mac Studio M5 Ultra. Les puces M3 et M4 sont peu testées, les M1 et M2 pas du tout.

Installation

Après avoir téléchargé et décompressé l'archive de la version 0.4.1 depuis GitHub :

./install.sh --model 27b
./run.sh start --model 27b

Le serveur écoute alors sur le port 8300 et parle le même langage que l'API d'OpenAI. Il suffit de pointer vos outils vers http://localhost:8300/v1. Bon point : l'installation réutilise les poids déjà téléchargés par LM Studio ou Hugging Face si elle les trouve.

Les chiffres annoncés

Ils viennent du projet lui-même, pas d'un test indépendant :

• sur un Mac Studio M5 Ultra (256 Go), 64 agents simultanés atteignent 849 tokens par seconde au total avec Qwen3.8-27B ;
• sur un Mac mini M6 de 32 Go, une flotte d'agents sur le même modèle boucle 13 à 14 tours par minute.

Côté fiabilité, le README indique que 100 réponses sur 100 demandées en JSON strict étaient valides du premier coup.

Les limites

Le projet se décrit comme un logiciel « jeune et expérimental » : écrit en octobre et novembre 2026, 31 étoiles sur GitHub au moment où nous écrivons. Le catalogue de modèles est court. Et une incompatibilité est signalée en gras : la version pour macOS 26 ne doit jamais être lancée sur macOS 27.

Notre lecture

Pour une petite équipe qui veut faire travailler des agents sur des données qui ne doivent pas sortir des murs, l'idée est séduisante : un Mac mini, pas d'abonnement, pas d'envoi vers un service extérieur. C'est à essayer sur un projet pilote, pas encore à mettre au cœur d'une production.