生成AIの精度評価では、一般的な正答率ではなく、対象業務ごとに「正しさ・根拠・安全性・時間短縮」を測ります。まず実務に近い50〜200件程度の評価セットを作り、人による判定と自動評価を組み合わせ、合格基準を満たしてから対象範囲を広げるのが基本です。
生成AIの精度評価で最初に決めること
生成AIを評価する前に決めるべきなのは、「何％なら高精度か」ではなく、「どの業務で、どの誤りまで許容できるか」です。生成AIは同じ仕組みでも、要約、文書検索、問い合わせ回答、データ抽出など、用途によって評価方法が変わります。
発注のご相談を受ける開発会社の立場から見ると、「AIの正答率を上げたい」という依頼だけでは、評価範囲も見積もりも決められません。まずは利用者、入力情報、期待する出力、誤回答時の対応まで整理する必要があります。
一般的な正答率だけでは判断できない理由
生成AIには、ハルシネーション（＝事実ではない内容を、もっともらしく回答する現象）が発生する可能性があります。ただし、事実が合っていれば十分とも限りません。根拠を示さない回答、指定形式を守らない回答、長すぎて使えない回答も、業務では不合格になるからです。
たとえば、社内規程に関する質問へ回答するAIでは、次の状態を分けて評価します。
- 規程の内容と回答が一致しているか
- 回答の根拠となる規程やページを示しているか
- 規程に記載がない場合に、推測せず「確認が必要」と回答できるか
- 閲覧権限のない文書を参照していないか
- 担当者がそのまま使える文章になっているか
このように、生成AIの精度は複数の観点へ分解して測ります。
業務別に確認したい評価項目
| 評価項目 | 確認する内容 | 主な対象業務 |
|---|---|---|
| 事実の正確性 | 数値、日付、固有名詞、手順などが正しいか | 問い合わせ回答、調査、報告書作成 |
| 根拠との一致 | 回答が参照文書の内容に基づいているか | 社内文書検索、規程回答、RAG |
| タスク達成度 | 利用者が依頼した作業を完了できているか | 要約、分類、メール作成、データ抽出 |
| 網羅性 | 必要な情報や項目に抜けがないか | 議事録、審査補助、チェック業務 |
| 形式遵守 | 表、項目数、文字数などの指定を守っているか | システム連携、帳票作成、構造化出力 |
| 安全性 | 機密情報、不適切表現、権限外情報を出力しないか | 社内外のすべての利用 |
| 応答速度 | 利用者が許容できる時間で回答するか | チャット、オペレーター支援 |
| 費用 | 1件または月間の処理費用が予算内か | 利用量の多い業務 |
RAG（＝社内文書などを検索し、その内容を基に生成AIが回答する仕組み）では、回答文章だけでなく、回答に必要な文書を正しく検索できたかも分けて確認します。検索に失敗しているのに、回答モデルだけを変更しても改善しないためです。
誤回答の影響に応じて合格基準を変える
生成AIに求める水準は、業務上のリスクによって変えるべきです。
| リスク区分 | 用途の例 | 評価・運用の考え方 |
|---|---|---|
| 低 | アイデア出し、文章のたたき台 | 利用者が確認する前提で、使いやすさと時間短縮を重視 |
| 中 | 社内問い合わせ、議事録、文書要約 | 根拠表示、回答保留、定期的な抜き取り確認を実施 |
| 高 | 契約、金融、医療、人事評価、対外的な正式回答 | 専門家の確認を必須とし、AIだけで判断・送信させない |
高リスクな業務ほど、平均点よりも「重大な誤りが何件あったか」を重視します。全体の95％が正しくても、残り5％に重大な誤案内が含まれるなら、そのまま本番運用へ移すべきではありません。
対象業務と対象外業務を先に決める方法は、開発スコープの決め方｜要件定義前の整理手順でも詳しく解説しています。
精度評価の方法と進め方5ステップ
生成AIの精度評価は、用途の限定、評価基準の作成、評価データの準備、テスト、改善後の再評価という順序で進めます。最初から全社の全業務を対象にせず、判断基準を作りやすい1業務から始めることが重要です。
1．利用場面と責任範囲を決める
まず、生成AIが行う作業と、人が行う判断を分けます。少なくとも次の項目を整理してください。
- 誰が利用するか
- 何を入力するか
- どのデータや文書を参照するか
- 何を出力するか
- 出力後に誰が確認するか
- AIが回答できない場合にどう処理するか
- 誤回答が顧客、売上、法務、業務へ与える影響
- 回答を自動送信するか、下書きとして提示するだけか
特に重要なのが、AIの出力をそのまま実行するのか、人が確認してから使うのかという違いです。下書き作成であれば一定の誤りを人が修正できますが、自動送信や自動登録では、より厳しい評価と制御が必要です。
2．評価基準と採点ルールを作る
次に、評価者によって判定が変わらないように採点ルールを作ります。単純な正解・不正解だけではなく、3段階程度に分ける方法が実務的です。
| 点数例 | 判定 | 状態 |
|---|---|---|
| 2点 | 合格 | 正確で、必要な根拠や形式も満たしている |
| 1点 | 要修正 | 大筋は正しいが、人による軽微な修正が必要 |
| 0点 | 不合格 | 事実誤認、重要な欠落、指示違反がある |
| 重大エラー | 即時対応 | 機密情報の出力、危険な案内、権限違反など |
点数とは別に「重大エラー」を定義しておくことがポイントです。平均点だけで集計すると、少数の重大な問題が埋もれる可能性があります。
また、評価者が迷いやすい事例については、合格例と不合格例を一緒に記載します。専門知識が必要な業務では、業務担当者と開発会社が共同で基準を作ると認識違いを減らせます。
3．評価セットを作る
評価セット（＝AIへ入力する問題と、期待する回答・判定条件をまとめたテストデータ）を用意します。初期評価では50〜200件程度、本番導入前には業務の幅に応じて200〜1,000件程度まで増やすのが一般的な目安です。
ただし、件数よりも内容の偏りを防ぐことが重要です。次のケースを含めてください。
- 日常的に発生する頻出ケース
- 発生頻度は低いが影響の大きいケース
- 情報が不足していて回答できないケース
- 複数の文書や条件を確認するケース
- 表現は異なるが意味は同じ質問
- 誤字、略語、曖昧な指示を含む入力
- 古い情報と新しい情報が混在するケース
- 閲覧権限が異なる利用者からの質問
- AIが推測せず、回答を保留すべきケース
本番データを評価へ使う場合は、個人情報や機密情報をそのまま外部サービスへ送らないようにします。匿名化、利用するAIサービスのデータ処理条件、保存期間、学習利用の有無を確認してください。詳しい検討項目は、生成AIセキュリティ対策｜費用・選び方も参考になります。
4．人による評価と自動評価を組み合わせる
評価のすべてを人が行うと時間がかかり、すべてを自動化すると業務上の妥当性を見落としやすくなります。次のように役割を分けます。
| 評価方法 | 向いている項目 | 注意点 |
|---|---|---|
| ルールによる自動評価 | 必須項目、文字数、形式、数値一致、禁止語 | 意味や文脈の妥当性は判断しにくい |
| AIによる自動採点 | 大量の回答の一次評価、比較、分類 | 採点用AIの偏りや見落としがある |
| 業務担当者による評価 | 有用性、正確性、現場での使いやすさ | 評価者間で判断がずれる可能性がある |
| 専門家による評価 | 法務、会計、医療などの専門判断 | 費用と確認期間が増える |
LLM-as-a-Judge（＝別の生成AIに回答品質を採点させる方法）は、大量の結果を比較する際に役立ちます。ただし、採点用AIも誤るため、その点数だけで本番公開を判断してはいけません。一定件数を人が確認し、自動採点と人の評価がどの程度一致するかを検証します。
5．改善前後を同じ条件で比較する
モデル、指示文、検索方法、参照文書を変更したら、同じ評価セットで再テストします。この確認を回帰テスト（＝変更によって以前できていたことが壊れていないか調べるテスト）といいます。
改善案ごとに、次の情報を記録してください。
- 使用したAIモデルとバージョン
- 指示文や設定
- 参照したデータの範囲と更新日
- テスト日時
- 正答・要修正・不合格・重大エラーの件数
- 回答時間
- 1件当たりの概算費用
- 前回から改善・悪化した項目
精度だけを上げようとすると、回答時間や利用料金が増えることがあります。そのため、「精度・速度・費用」の3点を同時に比較する必要があります。
本番導入後も、問い合わせ履歴や利用者からの低評価を新しい評価セットへ追加します。生成AIのモデル更新、社内文書の更新、利用者の増加によって結果が変化するため、一度合格したら終了ではありません。
精度評価の費用相場と期間
生成AIの精度評価を外注する場合、一般的な費用目安は30万〜600万円程度、期間は2週間〜4か月程度です。評価設計だけを依頼するのか、テストデータ作成、システム改修、継続監視まで含めるのかで金額が大きく変わります。
依頼範囲別の費用・期間目安
| 依頼範囲 | 費用の一般的な目安 | 期間の目安 | 主な内容 |
|---|---|---|---|
| 評価方針の整理・診断 | 30万〜80万円 | 2〜4週間 | 対象業務整理、評価項目、リスク分類、改善方針 |
| 評価セット作成・初期テスト | 50万〜150万円 | 3〜8週間 | 50〜200件程度のデータ整備、採点基準、結果分析 |
| PoCを含む精度評価 | 80万〜300万円 | 1〜3か月 | 試作、モデル比較、検索・指示文の改善、再評価 |
| 本番導入前の総合評価 | 200万〜600万円 | 2〜4か月 | 大規模テスト、権限・安全性・負荷確認、運用設計 |
| 導入後の継続評価 | 月額20万〜100万円程度 | 継続 | 利用ログ分析、問題回答の確認、回帰テスト、改善 |
上記は一般的な目安であり、AIサービスの利用料、社内システムとの連携開発、データ整備、専門家レビューなどが別途必要になる場合があります。金融、医療、法務など、誤回答の影響が大きい分野では、確認工程が増えて相場を超えることもあります。
費用を左右する主な要因
費用が変動する要因は、モデルの種類だけではありません。特に次の条件を見積もり前に確認してください。
- 対象業務と利用者の数
- 評価する機能や質問パターンの数
- テストデータがすでに整理されているか
- 正解を判断できる社内担当者がいるか
- 法務・会計などの専門家確認が必要か
- 複数のAIモデルを比較するか
- 社内文書検索や外部システム連携を含むか
- 権限、個人情報、攻撃的な入力まで評価するか
- 自動評価用の管理画面や仕組みを開発するか
- 本番導入後の監視・再評価を依頼するか
発注者が見落としやすいのが、社内担当者による正解作成とレビューの工数です。開発会社だけでは、社内ルールに照らして回答が正しいか判断できません。評価期間中は、業務責任者が週数時間程度レビューできる体制を確保することが望ましいです。
予算を抑えるなら評価範囲を狭くする
費用を抑えるためにテストを省略するのではなく、対象業務を狭くしてください。たとえば「人事に関する質問すべて」ではなく、「有給休暇の申請方法に関する質問」のように限定します。
最初の対象としては、次の条件を満たす業務が向いています。
- 入力と期待する出力を定義しやすい
- 参照すべき情報源が整理されている
- 利用頻度が一定以上ある
- 効果を時間や件数で測りやすい
- 誤回答しても人の確認で止められる
- 業務担当者が評価へ参加できる
狭い範囲で評価方法を確立してから、隣接業務へ展開する方が、結果的に手戻りと総費用を抑えやすくなります。
見積もりと外注先を見極めるポイント
外注先は「高精度なAIを作れる」という説明ではなく、評価条件、成果物、改善の手順を具体的に提示できる会社を選びます。モデル名やデモの印象だけで比較せず、実務データを使った検証計画を確認してください。
見積もりに含めたい成果物
見積書や提案書には、少なくとも次の成果物を明記してもらいます。
- 評価計画書
- 対象業務と対象外の一覧
- 評価項目と合格基準
- 評価セットと期待結果
- テスト条件と使用モデルの記録
- 評価結果の集計表
- 不合格・重大エラーの一覧
- 改善内容と再評価結果
- 本番導入後の監視方法
- データ、指示文、評価結果の納品条件
「精度改善一式」とだけ書かれた見積もりでは、何をもって完了とするのか判断できません。評価セットの件数、テスト回数、人によるレビュー範囲、修正回数まで確認します。
| 比較項目 | 確認したい内容 |
|---|---|
| 評価対象 | 対象業務、利用者、データ、機能が明記されているか |
| 評価方法 | 人、自動ツール、AIによる採点の役割が分かれているか |
| データ作成 | 誰が正解を作り、誰が承認するか |
| 改善回数 | テストと修正を何回行うか |
| 安全性 | 機密情報、権限、回答拒否も評価するか |
| 費用条件 | AI利用料、専門家確認、追加テストが別料金か |
| 納品物 | 評価データや設定を発注者が再利用できるか |
| 導入後対応 | モデル更新時の再評価を依頼できるか |
外注先への質問チェックリスト
商談では、次の質問をすると評価能力を見極めやすくなります。
- 当社の業務では、何を精度として測りますか
- 重大エラーをどのように定義しますか
- 評価セットは何件を想定し、その根拠は何ですか
- 頻出ケースと例外ケースをどう選びますか
- 社内担当者に必要な作業と時間はどの程度ですか
- AIによる自動採点を人がどう検証しますか
- モデル変更以外に、どのような改善策を検討しますか
- 精度が合格基準へ届かない場合はどう判断しますか
- 本番導入後に品質低下をどう検知しますか
- 評価データや結果を当社へ納品できますか
良い提案は、「必ず高精度にできる」と断言するのではなく、現時点で不明な点と検証方法を示します。逆に、母数や評価条件を示さず「精度95％」などの数値だけを提示する場合は、何を正解とした数値なのか確認が必要です。
生成AIの精度評価や導入範囲の整理を外部へ依頼したい場合は、開発のご相談はこちらからご相談ください。
よくある失敗と回避策
デモでうまく回答できたため、そのまま導入する
数件のデモは、成功しやすい質問だけが選ばれている可能性があります。実際の問い合わせ履歴や文書から評価セットを作り、回答できないケースも含めて検証してください。
評価基準が「自然な回答」だけになっている
読みやすくても、内容が誤っていれば業務では使えません。事実、根拠、網羅性、安全性、形式、速度、費用に分けて採点します。
AIによる自動採点だけで判断する
自動採点は効率化に役立ちますが、人間には明らかな誤りを見逃す場合があります。業務担当者が一定件数を確認し、自動採点とのずれを記録してください。
テストデータが実務と離れている
理想的な質問文だけで評価すると、略語、誤字、情報不足、複雑な条件を含む本番入力に対応できません。過去の問い合わせや利用ログから、実際の表現を取り入れます。
平均点だけを見て導入を決める
全体の平均が高くても、個人情報の漏えいや重大な誤案内が1件あれば見過ごせません。重大エラーは平均点と分け、原則として個別に原因と対策を確認します。
一度の評価で終了する
モデルや参照データが更新されると、以前の品質を維持できない場合があります。本番導入後も、問題回答の収集、定期テスト、変更前後の比較を続けます。
まとめ
- 生成AIの精度は、一般的な正答率ではなく、対象業務ごとの正確性、根拠、安全性、実用性で評価します
- 最初にAIの担当範囲、人の確認範囲、誤回答時の影響を明確にします
- 初期評価は50〜200件程度を目安に、頻出・例外・回答不能ケースを含む評価セットを作ります
- 人による評価、自動ルール、AIによる自動採点を組み合わせ、どれか1つに依存しないことが重要です
- 外注費用の目安は30万〜600万円程度、期間は2週間〜4か月程度ですが、対象業務や安全性要件によって変動します
- 見積もりでは、評価件数、採点方法、改善回数、成果物、導入後の再評価まで確認します
- 最初から全社展開せず、範囲の狭い業務で評価方法を確立してから段階的に広げましょう
よくある質問
生成AIの精度評価には何件のテストデータが必要ですか？
初期評価は50〜200件程度、本番導入前は200〜1,000件程度が一般的な目安です。ただし、質問や文書の種類、誤回答時の影響によって必要件数は変わります。件数だけを増やすのではなく、頻出ケース、例外、判断が難しいケースを含めることが重要です。
生成AIの評価は人とツールのどちらで行うべきですか？
人による評価と自動評価を組み合わせるのが基本です。正規表現や計算で確認できる項目は自動化し、回答の妥当性や業務上の有用性は担当者が判断します。AIによる自動採点だけでリリースを決めるのは避けましょう。
生成AIの回答精度を100％にできますか？
原則として、あらゆる入力に対する正答率を100％にすることは困難です。そのため、重大な誤りを防ぐ仕組み、回答できない場合の処理、人による確認、利用範囲の制限を組み合わせて、業務上許容できる状態を作ります。
評価に使える社内データがない場合はどうすればよいですか？
マニュアル、問い合わせ履歴、議事録、申請書などから代表例を抽出し、不足分は想定ケースとして作成します。想定ケースだけでは実態とずれるため、業務担当者のレビューを受け、導入後の利用履歴から評価データを継続的に追加してください。