Доступно с лицензией Image Analyst.
Инструмент Вычислить точность для выявления объектов оценивает точность модели глубокого обучения путем сравнения объектов, обнаруженных инструментом Выявить объекты при помощи глубокого обучения, с базовыми данными поверхности земли. Точность модели оценивается с использованием четырех измерений точности: Усредненная точность (AP), Оценка F1, Среднее COCO усредненной точности (mAP), Точность кривой полноты x.
Интерпретация результатов модели
Чтобы ориентироваться в выходных данных инструмента Вычислить точность для выявления объектов, необходимо понимать результаты в модели выявления.
При выявлении и классификации объектов модель может прогнозировать положительный или отрицательный класс, при этом сами прогнозы могут быть истинными или ложными. Например, при выявлении присутствия деревьев на изображении положительным классом может быть "Дерево", а отрицательным классом - "Нет дерева". Истинный прогноз выявляется там, где прогнозирование корректно, а ложный - там где прогнозирование ошибочно.
На изображении ниже красные ограничивающие рамки указывают на положительный прогноз, то есть, модель предсказала наличие дерева. Темно-синие ограничивающие рамки указывают на отрицательный прогноз, то есть, модель предсказала отсутствие дерева.
Интерпретация каждой ограничивающей рамки объяснена в таблице ниже.
| Число | Описание |
|---|---|
 | Истинно положительный — модель прогнозирует наличие дерева, и это верно. |
 | Ложно положительный — модель прогнозирует наличие дерева, но это неверно. |
 | Ложно отрицательный — модель прогнозирует отсутствие дерева, но это неверно. |
 | Истинно отрицательный — модель прогнозирует отсутствие дерева, и это верно. |
Точность выходных данных
Точность модели выявления объектов зависит от качества и количества обучающих выборок, входного изображения, параметров модели и обязательный порог для точности.
Пересечение выше порога объединения (IoU) используется как пороговое значение того, является ли прогнозируемый выброс истинно положительным или ложно положительным. Отношение IoU является величиной наложения между ограничивающим прямоугольником вокруг прогнозируемого объекта и ограничивающим прямоугольником вокруг базовых данных о привязке на земле.
| Число | Описание |
|---|---|
| Пересекающаяся область прогнозируемого ограничивающего прямоугольника и ограничивающего прямоугольника базовых данных поверхности |
| Объединение общих областей прогнозируемого ограничивающего прямоугольника и ограничивающего прямоугольника базовых данных поверхности земли |
Выходная таблица точности и отчет о точности, создаваемый инструментом Вычислить точность для выявления объектов содержат набор измерений точности, зависящий от порога IoU и производительности модели. Измерения точности описаны ниже:
- Precision — Precision (точность) выражает отношение числа истинно положительных к числу прогнозов. Например, если модель выявила 100 деревьев, из них 90 верно, точность будет равна 90 процентам.
Precision = (True Positive)/(True Positive + False Positive) - Recall — Recall (Полнота) выражает отношение числа истинно положительных к общему числу актуальных (релевантных) объектов. Например, если модель правильно выявила 75 деревьев на изображении, а всего на изображении 100 деревьев, полнота будет равна 75 процентам.
Recall = (True Positive)/(True Positive + False Negative) - F1-Score — F1-Score (Оценка F1) выражает взвешенное среднее между точностью и полнотой. Значения варьируют от 0 до 1, при этом 1 означает максимальную точность.
F1 score = (Precision × Recall)/[(Precision + Recall)/2] - Кривая точность-полнота — это график точности (ось y) и полноты (ось x), который используется для оценки производительности модели выявления объектов. Модель считается хорошей моделью прогнозирования, если точность остается высокой при увеличении полноты.
Показана кривая точность-полнота (Padilla et al, 2020). - Средняя точность — средняя точность (AP) - это точность, усредненная по всем значениям полноты между 0 и 1. AP интерпретируется как нахождение площади области ниже кривой точность-полнота. При интерполяции по всем точкам AP интерпретируется как площадь области ниже кривой точность-полнота.
- Среднее усредненной точности — среднее усредненной точности (mAP) средняя AP по нескольким порогам IoU. Например, mAP@[0.5:0.05:0.95] соответствует значениям отношения AP для IoU в диапазоне от 0.5 до 0.95, с интервалом 0.05, усредненное по всем классам.
Список литературы
Hui, Jonathan. "mAP (mean Average Precision) for Object Detection." Posted March 6, 2018 on Medium. https://medium.com/@jonathan_hui/map-mean-average-precision-for-object-detection-45c121a31173.
Padilla, Rafael, Sergio L. Netto, and Eduardo A. B. da Silva. "A Survey on Performance Metrics for Object-Detection Algorithms." 2020 International Conference on Systems, Signals and Image Processing (IWSSIP), 237-242 (2000).
"Detection Evaluation." COCO Common Objects in Context, accessed October 15, 2020, https://cocodataset.org/#detection-eval.