プロンプトの改善を比較する方法｜同じ入力で試すAI出力テストの作り方

生成AIへの指示を直して良い回答が出ても、「指示が改善したのか、たまたまうまくいったのか」は一度の結果だけでは分かりません。仕事で同じ指示を繰り返し使うなら、入力例と確認基準を固定して比較すると、変更の影響を見つけやすくなります。

この記事では、問い合わせの分類を例に、小さなテストセットを作ってプロンプトを見直す方法を紹介します。AIの回答案同士を選ぶ比較ではなく、繰り返し使う指示文の品質を確認するための手順です。

最初に決めるのは「良い文章」ではなく合格条件

読みやすさだけで判定すると、情報の抜けや誤った補完を見逃します。まず「入力にない期限を書かない」「指定した列を出す」など、見て判断できる条件を決めましょう。

目的や制約を指示へ落とす考え方は、仕事で使えるプロンプトの整え方も参考になります。

現在の指示を「版1」として残します。作業目的、使用したサービス名、画面で確認できるモデル名、実行日も記録します。分からない項目は推測で埋めず「不明」とします。元の指示を上書きしなければ、結果が悪くなったときに戻せます。

最初から大量に用意せず、よくある入力と失敗しやすい入力を混ぜます。顧客の実データではなく、短い架空例から始めると共有や再利用がしやすくなります。

AIの出力を見てから基準を作ると、もっともらしい回答へ判定が引っ張られます。各入力について、必要な情報と禁止事項を先に書きます。完全に同じ文章である必要はなく、満たすべき条件を記録します。

「昨日の件」の期待条件：問い合わせ対象は未確認。過去の案件を推測しない。確認質問を一つ提示する。担当者や期限を作らない。

版1に「不足情報は未確認とする」という一文を加えて版2を作るなど、一回の変更を小さくします。形式、文体、判断ルールを同時に変えると、何が効いたか切り分けにくくなります。

版1と版2に同じ入力を渡します。前の回答が影響しないよう、それぞれ新しい会話で試し、確認できる設定はそろえます。実行の途中でサービスやモデルが変わった場合は、その結果を別の比較として記録します。

同じ指示でも結果が変わることがあるため、重要な入力は複数回試します。数件の成功だけで、すべての入力へ対応できるとは判断しません。

合格件数だけでなく、どの条件に違反したかを残します。「情報不足には強くなったが、複数質問を一つにまとめてしまった」のような変化が分かれば、次に直す箇所が明確になります。

以下の入力を「質問」「確認済み情報」「未確認事項」に分けてください。入力にない事実を補わないでください。複数の質問は分け、対象や期限が不明な場合は「未確認」と記載してください。回答方針の提案は別欄へ置き、事実と混ぜないでください。

この指示を基準に、短文化の指定を加える、列を変えるなど、目的に合う変更を一つずつ試します。表の形式に課題がある場合は、生成AIで表やリストを整える方法も確認してください。

何度も同じ例で直すと、その例では良くても別の言い方で失敗することがあります。採用前には、調整に使わなかった新しい入力も試しましょう。新たに見つかった失敗は、次回以降の確認例へ追加します。

出力が事実と合っているかは人が元資料へ戻って確認します。具体的な照合方法は、生成AIの回答を確認する手順で紹介しています。

実データを使う必要がある場合も、まず仕事の情報を匿名化する手順と所属先の利用ルールを確認します。

プロンプトの改善は、変更前を保存し、入力例と合格条件を固定し、変更点を一つずつ比較すると進めやすくなります。通常例だけでなく、情報不足や否定を含む例も用意しましょう。

良くなった点と悪くなった点を記録し、未使用の例でも確かめてから採用します。繰り返し使える確認例を少しずつ育てることが、安定した運用への第一歩です。