Vor RAG: passende Belege finden und prüfen
Sechs fiktive Dokumente und Fragen für Suche, Quellen-IDs und unbeantwortbare Fälle; eigenes Offline-Node.js-Beispiel ohne Modell.
Zu prüfendes Modell
Nemotron-3.5-Embed-1B-BF16
Nemotron-3.5-Rerank-8B-BF16
Modelle erzeugen Inhalte und ziehen Schlussfolgerungen. Agenten erledigen Aufgaben mithilfe von Werkzeugen. Ein Harness verwaltet die Umgebung eines Agenten. MCP verbindet Werkzeuge und Daten. Skills sind wiederverwendbare Arbeitsanweisungen.
Vor dem Start
Voraussetzungen
Node.js 22+, ZIP-Entpacker, neuer Ordner; ohne GPU, Python, Konto, Schlüssel oder Modell. Englisches Beispiel, kein Achtsprachenbenchmark.
Modell / Dienst
Zunächst kein Modell: nur Wortabgleich und Kennzahlen.
Agent / Laufzeitumgebung
Ohne Agent, MCP oder Server; Dokumenttext bleibt Daten.
Geschätzter Zeitaufwand
20–30 min
Umsetzungsschritte
Vier Dateien entpacken, README und MIT lesen; keine privaten Dokumente oder Geheimnisse.
Node.js 22 oder neuer prüfen, dann node retrieval.mjs ausführen; ohne npm-Pakete, Modell oder Datenbank.
Kandidaten-IDs mit relevantIds und Originaltext vergleichen; hoher Wortabgleich ist kein Wahrheitsbeleg.
k=1 und k=2 vergleichen: zwei relevante Backup-Dokumente, daher ergibt ein richtiger erster Treffer Recall@1=0.5.
Beide unbeantwortbaren Fragen prüfen: leerer Abruf und Fehlabruf. Kandidaten sind keine geprüften KI-Antworten oder Sicherheitszertifikate.
Kopie sichern, eine Referenz auf missing-id setzen, Eingabefehler und Fehlercode prüfen; wiederherstellen und erneut ausführen.
Eigenes erlaubtes Korpus unabhängig markieren; bei Modellvergleich Korpus, Labels und k festhalten, Lizenz, Backend und Kosten separat prüfen.
Befehle und Beispiele
Nicht von AQI AI getestet
# In the extracted example folder; original synthetic English data only.
node --version
node retrieval.mjs
node retrieval.mjs fixture.json 1
node retrieval.mjs fixture.json 2
# Back up fixture.json, change one relevant ID to missing-id, and rerun.
# Expect a nonzero input error, then restore the original file and rerun.Prüfpunkte
Nur eigene Wortabgleich-Übung unter Windows/Node.js: Original, ungültige Referenz, Wiederherstellung und k=1 geprüft. Keine Modelle/RAG-Antworten getestet; ein Fehlabruf ist beabsichtigt.
Häufige Probleme
Datei fehlt: im entpackten Ordner starten. Nach missing-id wiederherstellen. Recall ist keine Antwortgenauigkeit; Negativfälle nicht zur Kennzahlverschönerung löschen.
Kosten
Kostenlose Software; Lizenz und Rechenkosten gesondert prüfen
MIT-Beispiel ohne Gebühr oder API; eigener Rechner/Strom. Spätere Modell-/Hostingkosten separat prüfen.
Grenzen und Einschränkungen
Berechtigungen und Risiken
Nur gewählte Beispieldatei und Konsolenausgabe; kein Netzwerk, Upload, Port oder Zugangsdatenzugriff. Bei echtem Dienst Datenfluss erneut prüfen.
Alternativen und nächste Schritte
Auch quelloffene Alternativen können kostenpflichtige Hardware oder Modellaufrufe benötigen.
Auch manuelle Tabelle mit Fragen, richtigen IDs und Treffern möglich, ohne Code. Echte Modell-/Dienstkosten, Lizenzen und Hardware separat prüfen.
Originalquellen
- Sentence Transformers · Retrieve & Re-Rank ↗
www.sbert.net · · Offizielle Dokumentation
- Sentence Transformers · InformationRetrievalEvaluator ↗
www.sbert.net · · Offizielle Dokumentation
- Nemotron 3.5: Parsen, Suche und Reranking trennen ↗
huggingface.co · · Offizielle Dokumentation