回答が生成されるかを確認するだけでは、法律チャットボットを評価できませんでした。法務チャットボット C社の応答を質問の類型と根拠に沿って検討し、どの領域をさらに改善すべきかを記録として残した事例です。
質問を入力すると文が返ってきます。表現も自然で、質問の意図を理解したように見えます。しかし、その文が信頼できる答えかどうかは別の問題です。
法務チャットボット C社の検証課題は、この違いから始まりました。大規模言語モデルを使って法律質問に答えるサービスでしたが、同じ質問でも結果が変わり得ました。答えが出るかと答えが正しいかを区別する基準が必要でした。
2025年に進めたこのプロジェクトでは、ボタンや画面の動作にとどまらず、応答の内容を検証対象としました。自然な文かどうかではなく、合意した基準と根拠に合う答えかどうかを確かめることが中心でした。
答えを読む前に、何を答えと認めるかを決めました
評価基準なしに応答から読み始めると、レビュアーの印象によって結果が変わりかねません。長く詳しいという理由で良い答えだと思い込んだり、確信に満ちた表現を正確さとして受け取ったりしがちです。
プロジェクトでは、正確性、事実のように作り出された内容の有無、提示された根拠と回答の一致を判定基準として合意しました。応答を見るときに何を確認し記録すべきかから整理したのです。
根拠があるという事実と、その根拠が答えを裏づけているという事実も区別しなければなりません。何らかの出典に触れたというだけでは十分ではありません。その出典の内容と応答が同じことを言っているかまで確かめる必要があります。
評価基準は、モデルへの漠然とした期待を検討可能な問いに変えます。「賢く答える」ではなく「この質問でこの内容を述べる根拠があるか」を問えなければなりませんでした。
答えるべき質問と、答えを止めるべき質問を一緒に入れました
質問を多く用意することと同じくらい重要なのが、質問の種類です。答えられるケースだけを集めると、根拠が足りない状況でも答えを作り出してしまう問題を見落としかねません。
法律質問シナリオは類型別に構成しました。答えを提示すべき質問と、答えてはならない質問を一緒に検証範囲へ入れました。
後者の目的は、チャットボットの口数を減らすことではありません。知っている範囲と確認できない範囲を区別する力も、応答品質の一部と見るからです。すべての質問に自信をもって答えるサービスと、答えてよい条件を区別するサービスは、別々に評価しなければなりません。
この区別はリリース判断にも影響します。うまく答える質問が多いという事実だけでは、特定の類型で繰り返される危険な回答を相殺できません。全体の平均だけでなく、質問類型ごとの結果が必要な理由です。
表現を変えても同じ判断が保たれるかを確かめました
同じ内容を尋ねる場合でも、利用者は毎回同じ文を入力するわけではありません。質問の順序を変えたり、同じ意味を別の言葉で表現したりします。
プロジェクトでは、質問の意味を保ったまま表現を変えて再実行しました。一度うまく出た応答だけを見るのではなく、表現の違いによって答えの内容と根拠が揺れるかを確かめたのです。
表現が変わったからといって、文まで同じである必要はありません。確かめたいのは決まった文言の再現ではなく、判断の一貫性です。同じ前提に対して相反する答えを出すか、再度尋ねたときに根拠が変わるかを見分けなければなりません。
こう取り組むと、成功した会話を一件披露することと、実際の質問に対応する備えを評価することの違いが浮かび上がります。
応答ごとに判定と理由を一緒に残しました
検証結果は合格と不合格だけでは残しませんでした。質問の類型に沿って応答の判定と根拠を記録し、確認できなかった領域も分けました。
記録の目的は、誰かの評価を固定することではありません。別のレビュアーが何を見てその判断に至ったかを理解し、モデルやプロンプトを変えた後でもあらためて見返せるようにすることです。
たとえば、不正確な回答と根拠が足りない回答は、見た目が似ていても検討すべき理由が異なることがあります。問題が現れた質問と判定理由がそろって初めて、改善の方向を議論できます。失敗の件数だけでは、何から直すかを決めにくいのです。
最終結果には、検証した質問類型とともに、まだ判断できていない範囲も残しました。試していない領域を、問題のない領域のように扱わないためです。
成果物は一つの正確度の数字ではなく、改善すべき箇所の地図でした
このプロジェクトでは、質問類型別の応答評価と幻覚が生じた箇所を整理しました。どの質問で答えが揺れるかが見えたことで、リリースの検討とモデル・プロンプト改善の優先順位を議論する根拠が整いました。
この結果は、検証に使ったシナリオと条件の範囲内で解釈しなければなりません。その後モデルやプロンプトが変われば該当する質問をあらためて確認し、実際の利用で新たに現れた質問類型も評価範囲に加える必要があります。
法律チャットボットの品質は、回答欄を埋める力だけでは説明できません。どの質問に何を根拠に答え、どのような状況では答えを保留すべきかを確かめる過程が必要です。 C社のプロジェクトは、その判断を繰り返し見直せる記録として残しました。
