RAG : Apple entraîne de petits réseaux pour trouver plus vite le bon passage

Un assistant qui répond à partir de vos documents (ce qu'on appelle le RAG, pour génération augmentée par la recherche) commence toujours par la même étape : retrouver, parmi des millions de passages, ceux qui correspondent à la question. Dans un billet du 5 novembre 2026, l'équipe de recherche en apprentissage automatique d'Apple décrit une façon d'accélérer cette étape. Le travail s'appuie sur un article présenté à la conférence ICML 2026.

Le problème

Chaque passage et chaque question sont transformés en une liste de nombres, un vecteur. Chercher le meilleur passage revient à comparer le vecteur de la question à tous les autres. À grande échelle, c'est trop lent : on range donc les passages en groupes, et on ne fouille que les groupes dont le « centre » ressemble à la question.

Ce raccourci suppose que les questions ressemblent aux documents. Or, relèvent les auteurs, c'est rarement le cas en RAG : une question est courte, un passage est long et rédigé. Le bon passage peut se trouver dans un groupe que l'on n'ouvre pas.

L'idée : payer une fois, à l'avance

Les chercheurs entraînent de petits réseaux de neurones pour une base de documents fixée. On leur montre des exemples de questions et, pour chacune, le meilleur passage trouvé par une recherche exhaustive. Le coût est payé une fois, hors ligne ; la recherche est ensuite plus rapide. Deux variantes sont proposées :

• SupportNet attribue à chaque groupe un score estimant son meilleur passage pour la question posée. Il remplace l'orientation par les centres.
• KeyNet réécrit le vecteur de la question pour le rapprocher de celui du passage attendu, avant de le confier à un index classique.

Les chiffres annoncés

Ils viennent d'Apple et portent sur Natural Questions, un jeu de questions-réponses d'environ 2,6 millions de passages :

• avec SupportNet, un petit modèle atteint 95 % de bonne orientation en 1,74 ms, contre 3,36 ms pour la méthode par centres ;
• avec KeyNet et un index FAISS, le plus grand modèle atteint 99 % de rappel en 0,23 ms contre 1,8 ms pour la question brute, soit environ huit fois plus vite, temps de réécriture inclus ;
• à ce même niveau de rappel, KeyNet examine environ onze fois moins de passages.

Les réseaux représentent de 1 % à 20 % de la taille de la base, selon la version.

Les limites

• Le réseau est entraîné pour une base donnée. Le billet ne dit ni ce que coûte cet entraînement, ni ce qu'il faut refaire quand les documents changent.
• La méthode suppose de connaître à l'avance le type de questions posées. Les auteurs la disent raisonnablement robuste à un léger écart, sans chiffre à l'appui.
• Les résultats détaillés portent sur un seul jeu de données. D'autres sont évoqués sans chiffres.
• Le matériel utilisé pour mesurer les temps n'est pas décrit.
• Le billet renvoie à l'article scientifique, mais ne mentionne aucun code publié.

Notre lecture

Pour une base de quelques milliers de documents, la recherche vectorielle n'est pas le goulot d'étranglement : quelques millisecondes gagnées ne changeront rien, et le temps de réponse du modèle de langage domine largement. Ce travail concerne les bases de plusieurs millions de passages, interrogées en continu par des questions de même nature : support client, moteur interne d'un grand site, catalogue.

Deux enseignements valent pourtant pour tout le monde. D'abord, une question et un document ne se ressemblent pas, et un index réglé par défaut peut manquer le bon passage : mesurez le rappel de votre propre système sur de vraies questions avant de mettre en cause le modèle. Ensuite, vos journaux de questions ont de la valeur : c'est exactement la matière qui permet ce genre d'optimisation. Conservez-les, dans le respect du RGPD.