AIで申請内容を分類し、数字を読み取り、文章を作成できるようにした。それでも担当者がすべての結果を元資料と見比べ、以前より確認作業が増えることがあります。
この状態では、AIの処理時間が短くても業務全体は速くなりません。担当者には、自分で処理する作業に加えて「AIが間違えていないかを疑う作業」が増えています。
この記事では、AIへの信頼を精神論で求めず、任せる範囲と人が介入する条件を設計する方法を解説します。
自動化率と確認削減率は違う
たとえば1,000件をAIが分類しても、人が1,000件を再確認するなら、処理を自動化しただけで確認は自動化されていません。
見るべき数字は次のように分かれます。
- AIが候補を出した割合
- 人が全件確認した割合
- 例外として確認した割合
- 人が修正した割合
- 修正が必要だった項目
- 誤りが業務へ与えた影響
- AI導入前後の総作業時間
「AI利用件数」だけでは、現場の負担が減ったか分かりません。
一度の誤りが信頼を大きく下げる
Dietvorstらは5つの研究で、人がアルゴリズムの誤りを観察すると、そのアルゴリズムが人間より良い成績でも選ばれにくくなることを示し、この現象をアルゴリズム忌避として整理しました。Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err
実務では、AIが100件中99件を正しく処理しても、重要な1件を間違えると「結局全部見なければ危険」という判断になりやすくなります。
これは非合理だと切り捨てられません。業務担当者は、平均精度ではなく、間違えたときの責任や顧客への影響を負うからです。
精度表示だけでは安心できない
「精度95%」と示しても、次が分からなければ任せられません。
- 残り5%はどのように間違うのか
- 高額案件でも同じ精度なのか
- 誤りを事前に見つけられるのか
- 間違えた結果は取り消せるのか
- 誰が修正するのか
- 修正内容は次回へ反映されるのか
全体精度より、誤りの種類と影響を分ける必要があります。
AIへ任せる範囲を3段階に分ける
| 段階 |
AIの役割 |
人の役割 |
向く業務 |
| 提案 |
候補を出す |
選択・修正する |
文案、分類候補 |
| 例外確認 |
通常処理を進める |
条件に該当したものだけ確認 |
照合、項目抽出 |
| 自動確定 |
処理を完了する |
事後監査する |
低リスクの定型処理 |
最初から全面自動化するのではなく、業務リスクに応じて段階を変えます。
人が少し直せることが利用を支える
Dietvorstらの別の研究では、不完全なアルゴリズムの予測を利用者がわずかでも修正できると、アルゴリズムを選ぶ割合が高まりました。Overcoming Algorithm Aversion: People Will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them
業務システムでも、AIの結果を採用するか拒否するかの二択だけにせず、次の余地を残します。
- 分類結果を変更できる
- 根拠となった箇所を確認できる
- 修正理由を記録できる
- 特定条件ではAI処理を使わない
- 誤りを元へ戻せる
- 重要案件だけ人の承認へ回せる
人の介入は自動化の失敗ではありません。適切な責任分担を作るための機能です。
全件確認から例外確認へ移す6ステップ
- 誤りの種類を記録する
- 金額・顧客・期限など影響の大きさを分類する
- 要確認にする条件を定義する
- 通常案件はAI結果と正解を標本確認する
- 問題がなければ確認対象を段階的に減らす
- 誤りが増えたときの停止条件を決める
確認を一気になくすのではなく、どの条件で減らせるかを合意します。
AI導入の成果を処理件数だけで測らない
- 全件確認から例外確認へ移った割合
- 1件あたりの確認時間
- AI結果の修正率
- 修正理由の上位項目
- 誤りによる手戻りや対外影響
- 自動処理を停止した回数と理由
- 現場が追加したルールの数
AIの利用率が高くても、確認時間と手戻りが増えていれば業務改善とは言えません。
まとめ
AI導入後に確認作業が増えるのは、現場がAIを理解していないからだけではありません。一度の誤りが責任問題につながり、誤りの条件や訂正方法が分からなければ、全件を見る方が安全だからです。
精度を上げるだけでなく、提案、例外確認、自動確定のどこまで任せるかを決めます。AIの結果を人が修正でき、停止でき、修正理由を次の改善へ使える設計が必要です。
利用者本人のメリットを設計する方法は業務改善で現場メリットをどう作るか、システム導入全体の心理はシステム導入が現場で使われない理由で解説しています。
