Image Analyst ライセンスで利用できます。
[オブジェクト検出精度の計算 (Compute Accuracy For Object Detection)] ツールは、[ディープ ラーニングを使用したオブジェクトの検出 (Detect Objects Using Deep Learning)] から検出されたオブジェクトをグラウンド参照データと比較することで、ディープ ラーニング モデルの精度を計算します。モデルの精度は、平均精度 (AP)、F1 スコア、COCO 平均 AP (mAP)、および精度 x 再現率曲線の 4 つのメトリクスを使用して評価されます。
モデルの結果の解釈
[オブジェクト検出精度の計算 (Compute Accuracy For Object Detection)] ツールの出力を理解するには、初めに検出モデルの結果を少しでも理解しておく必要があります。
オブジェクトの検出と分類では、モデルは正クラスまたは負クラスを予測することができ、予測は true または false になります。たとえば、画像内の樹木の有無を検出する場合、正クラスは「Tree」であり、負のクラスは「NoTree」です。予測が正しい場合は true 予測、予測が誤っている場合は false 予測になります。
下の画像では、赤いバウンディング ボックスは正の予測を示しており、モデルは樹木が存在すると予測しました。濃い青色のバウンディング ボックスは負の予測を示しており、モデルは樹木が存在しないと予測しました。
各バウンディング ボックスの解釈を以下の表に示します。
| 数値 | 説明 |
|---|---|
 | 真陽性 - モデルは樹木が存在することを予測し、樹木が存在する。 |
 | 偽陽性 - モデルは樹木が存在することを予測し、樹木は存在しない。 |
 | 偽陰性 - モデルは樹木が存在しないことを予測し、樹木は存在する。 |
 | 真陰性 - モデルは樹木が存在しないことを予測し、樹木は存在しない。 |
正解率
オブジェクト検出モデルの正解率は、トレーニング サンプルの質と量、入力画像、モデル パラメーター、正解率の要件の閾値に依存します。
IoU (Intersection over Union) 比率は、予測された結果が真陽性か偽陽性かを判断する閾値として使用されます。IoU は、予測されたオブジェクトの周囲の境界四角形と地上参照データの周囲の境界四角形との間のオーバーラップの量を表します。
| 予測された境界四角形と地上参照境界四角形の交差面積 |
| 予測された境界四角形と地上参照境界四角形を結合した総面積 |
[オブジェクト検出精度の計算 (Compute Accuracy For Object Detection)] ツールが生成した正解率出力テーブルおよび正解率レポートには、それぞれ、IoU 閾値およびモデルのパフォーマンスに応じた正解率メトリクス セットが含まれています。正解率のメトリクスを以下に説明します。
- 精度 - 精度は、負の予測の合計数に対する真陽性の割合です。たとえば、モデルが 100 本の樹木を検出し、90 本に対する予測が正しかった場合、精度は 90 パーセントになります。
Precision = (True Positive)/(True Positive + False Positive) - 再現率 - 再現率は、実際の (関連する) オブジェクトの合計数に対する真陽性の割合です。たとえば、モデルが画像内の 75 本の樹木を正しく検出し、画像内の実際の樹木は 100 本だった場合、再現率は 75 パーセントになります。
Recall = (True Positive)/(True Positive + False Negative) - F1 スコア - F1 スコアは、精度と再現率の加重平均です。値の範囲は 0 ～ 1 で、1 が最も高い正解率です。
F1 score = (Precision × Recall)/[(Precision + Recall)/2] - 精度-再現率曲線 - これは、精度 (Y 軸) と再現率 (X 軸) のプロットです。オブジェクト検出モデルのパフォーマンスの評価として機能します。再現率が増加しても精度が高いままの場合、モデルは優れた予測モデルと見なされます。
精度-再現率曲線 (Padilla 他著、2020) を示します。 - 平均精度 - 平均精度は、さまざまな IoU 閾値での 0 ～ 1 のすべての再現率の値に対する平均の精度です。すべてのポイントに内挿することにより、精度-再現率曲線のカーブの下の領域として AP を解釈できます。
- 平均 AP - 平均 AP (mAP) は、複数の IoU 閾値を超えた平均精度の平均です。たとえば、mAP@[0.5:0.05:0.95] は、0.5 ～ 0.95 の範囲で 0.05 刻みの IoU の各比率に対する AP の、全クラスの平均です。
参考文献
Hui, Jonathan. "mAP (mean Average Precision) for Object Detection." Posted March 6, 2018 on Medium. https://medium.com/@jonathan_hui/map-mean-average-precision-for-object-detection-45c121a31173.
Padilla, Rafael, Sergio L. Netto, and Eduardo A. B. da Silva. "A Survey on Performance Metrics for Object-Detection Algorithms." 2020 International Conference on Systems, Signals and Image Processing (IWSSIP), 237-242 (2000).
"Detection Evaluation." COCO Common Objects in Context, accessed October 15, 2020, https://cocodataset.org/#detection-eval.