ダッシュボード・精度検証レポート
企画書ステップ 1「システム接続なし・サンプルデータでの精度検証」に対応する集計です。
対象問い合わせ
60件
検証セット 8 件＋同一ルールで生成した拡張サンプル 52 件
不整合の検出
46件
全体の 77%。型番・納期・数量・発注番号のいずれかに相違を検出
自動回答可
43%
26 件。SAP 登録値のみで回答が完結し、下書きをそのまま送信できるケース
処理時間の削減
67%
推定値。1 件あたり 12.4 分 → 4.1 分。この母数では週 8.3 時間相当
日次の受信件数と自動回答可件数
実線＝受信件数、破線＝自動回答可と判定された件数
判定内訳
AI が回答をどこまで引き受けられるかの内訳
- 自動回答可26 件（43%）
SAP の登録値のみで回答が完結するため、下書きをそのまま送信できます
- 要確認30 件（50%）
AI は候補を提示しますが、確定にはオペレーターまたは顧客の確認が必要です
- エスカレーション4 件（7%）
AI は自動回答せず、担当者への引き継ぎを提案します
検出パターンの分布
突合パターン一覧（サンプルデータ シート 3）の 6 分類に対応
- 納期・日付相違16 件
- 型番相違14 件
- 不整合なし（単純確認）10 件
- 数量相違9 件
- 発注番号相違（誤記）7 件
- エスカレーション対象4 件
得意先別の不整合発生率
不整合の発生源に偏りがあるかを見るための集計。是正依頼の優先度づけに使えます
- 〇〇空調サービス（大阪）14/19 件（74%）
- △△電機商会（名古屋）11/15 件（73%）
- □□サービス（福岡）12/14 件（86%）
- ◇◇冷熱工業（札幌）9/12 件（75%）
精度検証レポート（検証セット 8 件）
サンプルデータの「想定される不整合パターン」列を正解ラベルとして、AI の判定を採点した結果です
正答率
100%
正解数
8/8
平均確信度
0.91
| 問い合わせ | 正解ラベル | AI の判定 | 確信度 | 対応区分 | 採点 |
|---|---|---|---|---|---|
| INQ-3001 | 型番相違 | 型番相違 | 0.95 | 要確認 | 正解 |
| INQ-3002 | 納期・日付相違 | 納期・日付相違 | 0.92 | 自動回答可 | 正解 |
| INQ-3003 | 数量相違 | 数量相違 | 0.89 | 要確認 | 正解 |
| INQ-3004 | 不整合なし（単純確認） | 不整合なし（単純確認） | 0.94 | 自動回答可 | 正解 |
| INQ-3005 | 発注番号相違（誤記） | 発注番号相違（誤記） | 0.87 | 要確認 | 正解 |
| INQ-3006 | 不整合なし（単純確認） | 不整合なし（単純確認） | 0.94 | 自動回答可 | 正解 |
| INQ-3007 | エスカレーション対象 | エスカレーション対象 | 0.92 | エスカレーション | 正解 |
| INQ-3008 | 型番相違 | 型番相違 | 0.83 | 要確認 | 正解 |
拡張サンプル 52 件の正答率
100%52/52 件
平均確信度
0.92
拡張サンプルは同じ生成ルールで作成した架空データです。正解ラベルは生成時に付与しているため、 検証セットとは性質が異なります。ここでは表記揺れを含むデータで突合が崩れないことの確認に使っています。
本レポートは架空のサンプル 8 件に対する結果であり、統計的な有意性を主張するものではありません。 実データ受領後、同じ列構成でデータを差し替えて再計測することを前提としています。
集計はすべて実データから計算しています。事前計算 2026-08-21／ SAP スナップショット 4936f89a3722864b／ プロンプト版数 v3