llama.cpp en deux commandes : installer « llama » et lancer un serveur local

llama.cpp est le moteur libre, sous licence MIT, sur lequel reposent de nombreux outils d'IA locale. Il avait la réputation d'un logiciel pour initiés, à compiler soi-même. Son README actuel propose une tout autre entrée : un script d'installation et une commande unique, llama. Voici le parcours tel que la documentation le décrit.

Étape 1 : installer

Sous macOS ou Linux, dans un terminal :

curl -LsSf https://llama.app/install.sh | sh

Sous Windows, dans PowerShell :

irm https://llama.app/install.ps1 | iex

Sur Mac, le site llama.app indique aussi une installation par Homebrew :

brew install --cask llama-app

D'après ce site, l'application est proposée par l'équipe de llama.cpp et Hugging Face. Elle se loge dans la barre de menus sur Mac et dans la zone de notification sous Windows 11. Sous Linux, seule la version en ligne de commande existe. Docker, les binaires précompilés et la compilation depuis les sources restent possibles.

Étape 2 : discuter avec un modèle

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

L'option -hf télécharge le modèle depuis Hugging Face puis ouvre la discussion dans le terminal. Ce modèle d'exemple est tout petit : il sert à vérifier que l'installation fonctionne, pas à juger de la qualité des réponses. Pour un usage réel, le site suggère Gemma 4 à partir de 16 Go de mémoire, GPT-OSS à partir de 24 Go et Qwen 3.8 à partir de 32 Go.

Étape 3 : lancer un serveur

llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Le serveur écoute sur 127.0.0.1:9931. Deux usages en découlent :

• Une interface de discussion dans le navigateur, à cette même adresse.
• Une API compatible avec celle d'OpenAI, à l'adresse http://localhost:9931/v1. La documentation du serveur cite notamment /v1/chat/completions, /v1/completions et /v1/embeddings. Vos outils existants s'y branchent en changeant l'adresse de base.

Le site mentionne aussi des points d'accès compatibles avec l'API d'Anthropic, les appels d'outils, les sorties structurées et l'analyse d'images.

Ce que l'application règle à votre place

Selon llama.app, l'outil choisit lui-même le niveau de compression du modèle, la taille du contexte et d'autres paramètres en fonction de la machine. Les modèles se chargent à la demande et sont déchargés après cinq minutes d'inactivité. Ils sont rangés dans le cache Hugging Face, partagé avec d'autres outils : un modèle déjà téléchargé ailleurs n'est pas téléchargé deux fois.

Les points à vérifier

• Aucune clé par défaut. Le serveur n'en demande pas. Tant qu'il n'écoute que sur 127.0.0.1, seul votre ordinateur y accède. Si vous l'ouvrez au réseau, la documentation prévoit l'option --api-key (ou la variable LLAMA_API_KEY).
• Deux vocabulaires cohabitent. Le README parle de llama serve, alors que la documentation détaillée du serveur emploie encore l'ancien nom llama-server. Les options citées ici viennent de cette seconde page. Vérifiez avec l'aide intégrée qu'elles s'appliquent à votre version.
• Les réglages utiles. -c (ou --ctx-size) fixe la taille du contexte, -np (ou --parallel) le nombre de requêtes servies en même temps.
• Un script lancé depuis Internet. Enchaîner curl et sh exécute du code sans l'avoir lu. Sur un poste d'entreprise, téléchargez d'abord le script pour le relire, ou passez par Homebrew ou les binaires publiés sur GitHub.

Notre lecture

Jusqu'ici, on conseillait Ollama ou LM Studio à qui voulait essayer l'IA locale sans compiler quoi que ce soit, en sachant que llama.cpp travaillait souvent en dessous. Avec ce parcours en deux commandes, le moteur d'origine devient une option directe, sous licence libre.

Pour une petite entreprise, c'est un bon candidat pour un poste de test ou un petit serveur interne : une commande pour installer, une pour servir, et une API que les outils du marché savent déjà utiliser. Avant de le partager entre collègues, deux réglages s'imposent : une clé d'accès, et un nombre de requêtes parallèles adapté à la machine.