Avant le RAG : vérifier la recherche des preuves
Six documents fictifs et six questions pour vérifier recherche, identifiants et absence de réponse avec notre exemple Node.js hors ligne, sans modèle.
Modèle à vérifier
Nemotron-3.5-Embed-1B-BF16
Nemotron-3.5-Rerank-8B-BF16
Les modèles génèrent du contenu et raisonnent. Les agents utilisent des outils pour accomplir des tâches. Un Harness gère l’environnement d’un agent. MCP relie les outils et les données. Les Skills sont des consignes de travail réutilisables.
Avant de commencer
Prérequis
Node.js 22+, extraction ZIP, nouveau dossier ; sans GPU, Python, compte, clé ou modèle. Corpus anglais, pas de test multilingue.
Modèle / service
Aucun modèle au départ : mots et métriques seulement.
Agent / environnement d’exécution
Sans agent, MCP ni serveur ; les documents restent des données.
Durée estimée
20–30 min
Étapes de mise en œuvre
Extraire les quatre fichiers, lire README et MIT ; exclure documents privés et secrets.
Vérifier Node.js 22 ou plus puis lancer node retrieval.mjs ; sans paquet npm, modèle ni base.
Comparer les ID à relevantIds et lire le texte ; le score lexical ne garantit pas une preuve fiable.
Comparer k=1 et k=2 : deux documents pertinents pour la sauvegarde, donc un seul bon résultat donne Recall@1=0.5.
Observer les deux cas sans réponse : aucun résultat pour l’un, faux positif pour l’autre. Les candidats ne sont pas des réponses certifiées.
Copier le fichier, remplacer un ID par missing-id, observer l’erreur et le code non nul ; restaurer puis relancer.
Annoter ensuite un corpus autorisé ; garder corpus, labels et k fixes pour comparer des modèles, avec droits et coûts vérifiés séparément.
Commandes et exemples
Non testé par AQI AI
# In the extracted example folder; original synthetic English data only.
node --version
node retrieval.mjs
node retrieval.mjs fixture.json 1
node retrieval.mjs fixture.json 2
# Back up fixture.json, change one relevant ID to missing-id, and rerun.
# Expect a nonzero input error, then restore the original file and rerun.Vérifications
Seul l’exercice lexical original a tourné sous Windows/Node.js : original, référence invalide, restauration et k=1 vérifiés. Aucun modèle ou RAG testé ; un faux positif sans réponse est volontaire.
Problèmes courants
Fichier absent : lancer depuis le dossier extrait. Restaurer après missing-id. Le rappel n’est pas l’exactitude des réponses ; conserver les cas négatifs.
Coût
Logiciel gratuit ; vérifiez la licence et les coûts de calcul
Exemple MIT sans frais ni API ; ordinateur et énergie à fournir. Modèles/hébergement à vérifier séparément.
Limites et périmètre
Autorisations et risques
Lecture du fichier choisi et sortie console seules ; aucun réseau, téléversement, port ou secret. Revoir les flux avec un vrai service.
Alternatives et prochaines étapes
Les solutions à code source ouvert peuvent nécessiter du matériel payant ou des appels de modèles facturés.
Un tableau manuel de questions, ID pertinents et résultats suffit aussi, sans code. Vérifier séparément coûts, licences et matériel des vrais modèles.
Sources originales
- Sentence Transformers · Retrieve & Re-Rank ↗
www.sbert.net · · Documentation officielle
- Sentence Transformers · InformationRetrievalEvaluator ↗
www.sbert.net · · Documentation officielle
- Nemotron 3.5 : distinguer extraction, recherche et reclassement ↗
huggingface.co · · Documentation officielle