業務責任者と正解の根拠を決める

検索拡張生成（RAG）は取得した資料を使って回答を作ります。資料が曖昧なら、検索の候補が多くても正解は決まりません。配送規定の案内を試すなら、一般規定だけで合格か、例外の説明も要るかを決めます。担当者が適用文書、効力発生日、条項、例外と出典を確認します。要件と試験根拠の版管理は要件とテストのトレーサビリティを参照できます。

質問、期待結果、文書版を一つの試験ケースにまとめます。回答できる、追加条件を尋ねる、根拠不足で保留する、文書が競合して担当者に渡すといった結果があります。「急ぎなら翌日届きますか」という質問には地域や製品種別が必要なことがあります。質問が具体的でも責任者が適用規定を決められないなら、資料や評価基準の問題を先に記録します。

質問者の役割や適用日時も正解に影響します。制限資料を参照できない人には、許可済みの情報と案内経路を提供します。当時の役割と有効な文書版を残し、過去の注文を試す場合は当時の方針と現在の方針のどちらを適用するか記載します。

回答ができるまでの証拠をたどる

一つの実行IDで、原文、検索候補、モデルへの入力、表示した回答と出典を結びつけます。検索結果にあった文書がモデルに届いていないことがあります。文書版と段落の範囲を記録し、本文を広く記録できない場合は架空データや制限付きの参照情報を使います。実行経路はAIエージェントのオブザーバビリティも参考になります。

失敗した工程確認する証拠判断・次の対策
原文・正解基準承認版、効力、例外、評価用正解欠落・競合は文書責任者が確認し、保留も試す
索引・検索索引版、検索語の変換、フィルター、候補ID、順位、段落索引の欠落、フィルター、ランキングの原因を確認
文脈構成再順位付けの前後、モデル入力、切り詰め・除外の理由段落の結合、再順位付け、入力への配分を調整
生成・判定実入力、回答の主張と出典、保留の有無根拠が十分なら回答への適用と検証を改善
結果表示出典リンクと実際に開く文書・版参照の対応関係と表示を修正

表は最初の失敗を見つける手がかりです。検索を直しても、根拠がないときに断定する問題が残る場合は両方を回帰試験に足します。RAGASの研究[1]とGoogle Cloudの評価指標ガイド[2]は検索と回答の根拠への忠実性を別の指標で扱っています。自社の方針に対し何を測れるかを決めてから適用します。

サービスの仕組み

正常系の先にある例外も検証 — 実装された動作から要件を復元し、入力、権限、外部呼出しの例外経路を実行して確認します。

配送案内で同じ誤答を二通り再現する

架空の販売会社に「営業日午後2時までの一般商品注文は当日出荷」「設置が必要な商品は設置日程に応じて出荷」という規定があるとします。「午前11時に買った設置商品も今日出荷しますか」と尋ねたところ、二つの実行で「午後2時より前なら今日出荷する」と返りました。見かけは同じですが調べる工程が異なります。

最初の実行では一般規定だけが検索されました。設置の例外は索引にありましたが、順位が低く候補に入りませんでした。該当文が実際に索引にあるか、検索語を「今日出荷の基準」に短くする際に設置という条件が消えたかを調べます。必要なら製品種別や検索フィールドを使い、一般商品で通常規定を引き続き見つけられるか試します。見ていない例外を、表現の修正だけで正確に案内し続けるのは困難です。

二番目の実行は上位候補に例外を含んでいました。モデル入力に例外文が最後まで入ったかを確認します。制限長で切れていたなら、一般規定と該当例外を文脈に残せるようにし、候補が多いケースでも試します。例外文が届いていれば生成側の優先順位を調べます。評価では「設置」の一語より、当日出荷を確約せず日程確認が必要と案内したかを見ます。

モデルと検索設定を固定した小さな比較では、運用時の文脈と承認済みの完全な文脈をそれぞれ使います。完全な文脈だけで正答するなら根拠の伝達を直す手がかりになります。両方が誤答なら、方針の解釈や断定を避ける基準を確認します。不完全な文脈で正答しても推測で合った可能性があるため、出典が結論を支えるかを確かめます。

根拠の不足と資料の競合も再現する

必要な規定を一つ外す、または二つを競合させます。設置商品と分かっても、出荷日が予約システムにあり閲覧できない場合は次の確認が必要です。効力発生日や文書の権限で競合を解消できなければ、内容を整理して責任者へ渡します。検索サービスの異常と、正常に検索して根拠が見つからなかった状態も区別します。

検索指標を質問と分母に結びつける

関連性は上位候補と質問が合っているかを測ります。段落単位の再現率@5は、関連すると分かっている段落が上位5件に入った割合です。関連段落3件中2件なら約66.7%です。分母は評価で把握した範囲に限られます。そもそも根拠のない質問は、保留の指標で見る必要があります。

一般規定と重要な例外の両方が必要なら、すべての必須根拠が候補に含まれた質問の割合を測ります。平均再現率の向上だけでは、例外段落が一つずつ欠ける失敗を見落とします。候補を5件から20件に増やすと無関係な文も増え、入力制限のため必要な箇所が失われる場合があります。検索した証拠と実際に渡した証拠を分けます。

忠実性は提示された文脈が主張を裏づけるかを見ます。業務上の正しさは現在の承認規定や質問条件に合うかを見ます。古い規定を正確に引用しても業務上は誤答です。回答が正しくても別の条項にリンクすれば、出典の検証で見つけます。金額や状態は原本と機械で照合し、解釈は責任者や検証済みの評価で判断します。 Anthropic — Demystifying evals for AI agents[3]

前後比較分母や判断基準記録する失敗
必須根拠の検索承認済みの根拠がある同一ケース段落や版の欠落
モデルに渡す根拠検索で根拠を見つけたケース再順位付け、切り詰め、メタデータの欠落
業務上の正答と出典回答できるケースと必須の主張例外の欠落、誤った確約、出典違い
保留と引き継ぎ根拠不足、競合、権限などで保留すべきケース根拠のない確定、引き継ぎの失敗
実行計画したケースや受付の全体未実行、エラー、判定不能

順位とモデルとプロンプトを同時に変えると改善の理由が分かりにくくなります。仮説を記録し、同じ原文、質問、権限で比較します。文脈変更なら必須条項がモデルに届いたか、生成の変更なら同じ入力で仕事の判定が変わったかを見ます。応答が変動する重要ケースを繰り返し、根拠や期待結果に変更があれば残します。 NIST AI 600-1[4]