生成AIやAIエージェントのPoCでは、利用人数、生成回数、ログイン回数を集計しやすい一方、それだけでは本番化を判断できません。使われていても業務時間が減っていない、処理は速くても修正が増えている、確認負荷が高い、といった状態があり得るためです。

Antaresのevidence packetが参照するPwC Japanグループの調査は、主に大企業・管理職層を対象とした公開調査です。その回答者群では、生成AIの活用・推進が広がる一方で、効果創出や成果還元が課題として整理されています。IPAのDX動向2025も、企業のDX、AI・生成AIの利活用、成果把握を調査対象に含めています。

ただし、これらは日本企業一般や中小企業一般の状況を示すものではありません。また、本記事の具体的なしきい値や判断順序を裏付ける資料でもありません。以下は、公開資料が示す論点をPoCの意思決定へ翻訳した、MASTER key株式会社 AX事業部の未検証の実務提案例です。

最初に、評価する業務を1つに絞る

全社のAI活用をまとめて評価せず、入力、処理、完了条件がそろう業務を1つ選びます。たとえば営業メール作成と議事録作成を同じPoCとして測ると、どちらが時間削減に寄与し、どちらで修正が増えたのかを区別できません。

項目 記入内容
対象業務 例：問い合わせメールの一次返信案作成
開始条件 例：問い合わせが共有受信箱へ到着する
完了条件 例：担当者が確認し、返信可能な案が完成する
対象範囲 例：製品仕様に関する定型問い合わせのみ
対象外 例：返金、契約変更、苦情、個人情報を含む問い合わせ
業務責任者
PoC運用責任者

開始条件と完了条件が曖昧なままでは、時間も件数も比較できません。AIを使う前に、何をもって1件の完了とするかを決めます。

成果・品質・運用負荷を同じ表で確認する

改善を期待する指標だけでなく、超えてはいけない品質・負荷の上限も、PoCの開始前に記入します。

評価面 指標 AI利用前の基準値 継続条件 縮小条件 停止条件 測定方法・頻度
成果 例：1件当たりの完了時間
成果 例：期間内の完了件数
品質 例：重大な修正・差し戻し率
品質 例：誤送信・顧客影響件数
運用負荷 例：1件当たりの人間確認時間
運用負荷 例：週当たりの例外対応・保守時間

観測条件も固定します。

観測項目 記入内容
観測開始日
観測終了日
必要な対象件数
判定日
判定者
使用する記録 例：業務システムの時刻、修正記録、問い合わせ管理表
継続時の次の範囲
縮小時に残す範囲
停止時の戻し先 例：従来手順へ戻す

利用人数や生成回数は、PoCが実際に使われたかを知る補助指標にはなります。しかし、業務成果そのものとは分けて記録します。利用量だけを理由に本番化すると、品質低下や確認負荷を見落とす可能性があります。

継続・縮小・停止を判定する順序

1. 観測条件を満たしたか

予定した期間や対象件数に達していなければ、良し悪しの判定ではなく測定不足です。延長する場合は、新しい判定日と延長理由を残します。

2. 重大と事前定義した品質・顧客影響条件に該当しないか

重大な誤処理や顧客影響など、PoC開始前に該当した場合は止めると定義した条件を先に確認します。明確に該当する場合は、成果が改善していても対象範囲を広げず、当該PoCを停止することを提案します。これは普遍的な規則ではなく、重大条件を事前定義した場合の推奨例です。該当性が曖昧なら判定を保留し、業務責任者が記録を確認して再評価します。

3. 成果が基準値から改善したか

AI導入前と同じ定義、同じ単位で比較します。処理時間を見るなら、AIの生成時間だけでなく、人間による確認と修正を含めた完了時間を測ります。

4. 運用負荷を含めても改善が残るか

確認、例外対応、データ整備、設定変更などの負荷を差し引きます。

実質的な改善量 = 削減できた業務負荷 − 追加された確認・例外対応・保守負荷

この式は、時間なら時間、金額なら金額のように同じ単位へそろえて比較する場合の目安です。金額換算する場合は、自社で確認できる人件費、利用料、開発・保守費だけを使います。確認できない将来効果を便益に足さない方が、後から判定を追跡できます。

5. 三択と保留の優先順位を事前に決める

指標が食い違う場合の優先順位も、PoC開始前に定義します。たとえば、次の順序です。

  • 停止：事前定義した重大条件に明確に該当した場合
  • 縮小：重大条件には該当しないが、いずれかの縮小条件に該当した場合
  • 継続：すべての継続条件を満たした場合
  • 保留：観測不足、記録不備、または条件の該当性を判断できない場合

縮小は失敗ではありません。対象を定型業務だけに戻す、AIの役割を自動送信から下書き作成へ戻すなど、効果が確認できた範囲だけを残す判断です。

仮想例：問い合わせ返信案のPoCを判定する

以下はテンプレートの使い方を示す仮想例です。MASTER keyまたは顧客企業の実績ではなく、数値も説明用です。

対象業務を、定型的な製品問い合わせに対する一次返信案の作成とします。観測期間は4週間、判定日は観測終了の翌営業日です。

評価面 指標 基準値 継続条件 縮小条件 停止条件
成果 1件当たりの完了時間 18分 12分以下 12分超15分以下 15分超
品質 重大な修正・差し戻し率 3% 3%以下 3%超5%以下 5%超
品質 誤送信・顧客影響件数 0件 0件 0件 1件以上
運用負荷 1件当たりの確認時間 2分 4分以下 4分超6分以下 6分超
運用負荷 週当たりの例外対応時間 0時間 2時間以下 2時間超4時間以下 4時間超

仮に完了時間だけが継続条件を満たしても、確認時間が停止条件を超えたとします。その場合はそのまま本番化せず、原因と影響範囲を人間が再評価します。定型質問だけに対象を絞る、参照資料を整える、AIを返信案の骨子作成までに戻す、といった縮小案か、PoC停止を選びます。

判定会議で残す記録

記録項目 記入内容
判定 継続・縮小・停止・保留
成果の結果
品質の結果
運用負荷の結果
条件未達・例外
判定理由
次回変更するもの 対象範囲、データ、手順、権限、確認方法など
次回判定日
承認者

この記録があれば、PoCを続ける理由を期待や雰囲気ではなく、観測した業務条件に結びつけられます。停止した場合も、AI全般が使えないと結論づけるのではなく、どの業務条件で成立しなかったかを次の検討へ残せます。

AI活用の成果測定は、業務を選び直すために行う

AI活用のPoCで重要なのは、成功という結論を作ることではありません。どの業務を、どの品質と運用負荷なら任せられるかを明らかにすることです。

MASTER key株式会社 AX事業部では、AI活用をツール導入だけでなく、対象業務、評価方法、運用条件を一緒に設計する業務変革として捉えます。まずは対象業務を1つ選び、成果・品質・運用負荷の基準値、観測期間、判定日、継続・縮小・停止条件を1枚に記入してみてください。

本記事の3面KPI、具体的なしきい値、判断順序は、複数企業での再現性や成果が検証されたものではありません。PwC JapanグループとIPAの資料は、対象範囲に制約のある公開調査として、AI活用、成果把握、評価・運用準備が論点になる背景を示すものです。実際の条件は、自社の業務影響、利用できる記録、許容できる品質と負荷に合わせて設定してください。

参照元