Cohere Rerank 5 : améliorer une recherche documentaire sans tout réindexer

Dans un assistant qui répond à partir de vos documents (ce qu'on appelle le RAG), la qualité dépend d'abord de la recherche : si les bons passages ne remontent pas, le modèle répond à côté. Un « reranker » intervient en seconde étape. Votre moteur actuel ramène des candidats ; le reranker les relit avec la question et les reclasse du plus au moins pertinent.

Un appel en Python

L'API Rerank de Cohere prend une question, une liste de documents et renvoie un classement :

import cohere

co = cohere.ClientV2()

results = co.rerank(
    model="rerank-v5.0-pro", query=query, documents=docs, top_n=5
)

Chaque résultat contient un index, la position du document dans la liste envoyée (en partant de zéro), et un relevance_score compris entre 0 et 1. Le paramètre top_n limite le nombre de résultats renvoyés.

Deux modèles composent la version 5 : rerank-v5.0-pro, que Cohere présente comme son meilleur niveau de qualité, et rerank-v5.0-fast, conçu pour la faible latence et les gros débits. Les deux acceptent un contexte de 32 000 jetons et, selon l'éditeur, plus de 100 langues.

Pas de réindexation

C'est l'intérêt pratique de l'approche : le reranker lit le texte brut au moment de la requête. Contrairement à un changement de modèle d'embeddings, il n'y a pas à recalculer les vecteurs de tout le fonds documentaire. Passer d'une version précédente à la version 5 revient, d'après Cohere, à modifier le paramètre model.

La nouveauté : Context Focus

Désactivée par défaut, cette option renvoie, dans le même appel, les passages les plus pertinents à l'intérieur de chaque document. Elle s'active avec un bloc relevant_spans :

"relevant_spans": {
  "mode": "enabled",
  "threshold": 0.3,
  "max_spans": 10
}

threshold fixe le score minimal d'un passage, max_spans le nombre maximal de passages par document. La réponse donne pour chacun les positions de début et de fin (start, end), en caractères, dans le document d'origine, ainsi qu'un score. On peut alors n'envoyer que ces extraits au modèle de langage, pour réduire les jetons facturés, ou les surligner à l'écran.

Réglages à connaître

• Longueur des documents. Sur la version 5, max_tokens_per_doc vaut 4 096 par défaut : un document plus long est tronqué. Augmentez la valeur ou découpez vos documents vous-même.
• Volume. Jusqu'à 10 000 documents par requête ; au-delà, l'API renvoie une erreur.
• Données structurées. Pour des fiches produits ou des enregistrements, Cohere recommande de les convertir en chaînes YAML, en conservant l'ordre des champs (yaml.dump(doc, sort_keys=False) en Python), car la fin d'une chaîne trop longue peut être coupée. Mettez les champs importants en premier.

Fixer un seuil de pertinence

Écarter les résultats faibles évite d'envoyer du bruit au modèle. La documentation propose une méthode : réunir 30 à 50 questions représentatives, associer à chacune un document tout juste pertinent, passer ces paires dans l'API et prendre la moyenne des scores comme repère. Elle rappelle que les écarts de score ne sont pas proportionnels : les scores servent à classer, pas à mesurer.

Cohere affirme que les scores de la version 5 sont « calibrés », c'est-à-dire cohérents d'une question et d'un domaine à l'autre, de sorte qu'un seuil unique suffirait. La page n'explique pas comment, et ne fournit pas les données derrière ses comparaisons de qualité. À vérifier sur vos propres questions.

Notre lecture

Ajouter un reranker est souvent le moyen le moins coûteux d'améliorer un assistant documentaire qui « ne trouve pas » : quelques lignes de code, aucune migration de base. Trois réserves pour une petite entreprise. Le journal des changements ne donne ni date de sortie ni prix, il faut consulter la grille tarifaire de Cohere. Chaque recherche envoie vos documents candidats à un service extérieur ; pour des contenus sensibles, Cohere mentionne des déploiements privés, sur devis. Enfin, les gains annoncés sont ceux de l'éditeur : comparez avant et après sur une trentaine de vraies questions de vos utilisateurs avant de généraliser.