RAGの前に：正しい資料を探せるか検証
架空資料6件と質問6件で検索・資料ID・回答不能例を確認。モデル不要の独自オフラインNode.js例付き。
確認するモデル
Nemotron-3.5-Embed-1B-BF16
Nemotron-3.5-Rerank-8B-BF16
Nemotron-3.5-Parse
モデルは生成と推論を行います。エージェントはツールで作業します。Harness は実行環境を管理し、MCP はツールとデータを接続します。Skill は再利用できる作業ガイドです。
始める前の準備
前提条件
Node.js 22以降・展開機能・新規書込フォルダー。GPU・Python・アカウント・モデル不要。英語例で8言語評価はしません。
モデル / サービス
最初はモデル不要。語句一致と指標計算のみ。
エージェント / 実行環境
Agent・MCP・サーバー不要。文書は常にデータ。
所要時間の目安
20–30 min
実施手順
4ファイルを展開しREADME・MITを確認。秘密や個人資料は入れない。
その場所でNode.js 22以降を確認しnode retrieval.mjsを実行。npm・モデル・DBは不要。
候補IDとrelevantIdsを比べ、原文へ戻る。高得点は語句一致で、正しさの保証ではありません。
k=1とk=2で比較。バックアップ質問は正解資料2件のため、先頭が正しくてもRecall@1は0.5。
回答不能2件を確認。一方は空、他方は誤検索。候補をAI回答や安全証明にしない。
コピー保存後、参照IDをmissing-idへ。非ゼロの入力エラーを確認し、元へ戻して再実行。
許可済み小資料に独立した正解を付与。モデル比較では資料・正解・kを固定し、許諾・実行環境・費用は別確認。
コマンドと例
当サイトでは未実測
# In the extracted example folder; original synthetic English data only.
node --version
node retrieval.mjs
node retrieval.mjs fixture.json 1
node retrieval.mjs fixture.json 2
# Back up fixture.json, change one relevant ID to missing-id, and rerun.
# Expect a nonzero input error, then restore the original file and rerun.確認項目
Windows/Node.jsで独自の語句一致演習のみ実行。元データ・不正参照失敗・復元・k=1を確認。実モデルやRAG回答は未検証で、回答不能例の誤検索1件を意図的に表示。
よくある問題
ファイル不明なら展開先で実行。missing-id失敗後は復元。再現率は回答正解率ではなく、負例を消して改善したように見せない。
費用
無料ソフト。ライセンスと資源費用は別途確認
MIT例は無料・API呼出なし。機器と電力は自己負担。実モデル・ホスト費は別確認。
制限と境界
権限とリスク
指定の例ファイルを読み表示するだけ。通信・送信・ポート・認証情報アクセスなし。実サービス追加時は送信先を再確認。
代替案と次の手順
オープンソースでもハードウェアやモデル利用に費用がかかる場合があります。
プログラムなしの表でも質問・正解ID・検索件数を記録できます。実モデル・サービスの料金、許諾、機器は別確認。
元の出典
- Sentence Transformers · Retrieve & Re-Rank ↗
www.sbert.net · · 公式ドキュメント
- Sentence Transformers · InformationRetrievalEvaluator ↗
www.sbert.net · · 公式ドキュメント
- Nemotron 3.5：解析・検索・再順位付けを分ける ↗
huggingface.co · · 公式ドキュメント