Оценка точности

Доступно с лицензией Spatial Analyst.

Доступно с лицензией Image Analyst.

Ниже обсуждаются вопросы оценки точности классификации и интерпретации результатов.

Оценка точности классификации

Для определения точности результатов классификации инструмент Оценка точности использует базовый набор данных. Значения этого базового набора данных должны соответствовать схеме. Базовые данные должны быть представлены в следующих форматах:

• Набор растровых данных, являющийся классифицированным изображением.
• Класс полигональных объектов или шейп-файл. Формат атрибутивной таблицы класса объектов должен соответствовать обучающим выборкам. Чтобы обеспечить это, можно создать базовый (эталонный) набор данных, который для чтения и написания этого набора данных будет использовать страницу Менеджер обучающих выборок.
• Класс точечных объектов или шейп-файл. Этот формат должен соответствовать выходным данным инструмента Создать точки оценки точности. Если вы используете имеющийся файл и хотите конвертировать его в соответствующий формат, используйте инструмент Создать точки оценки точности.

Для выполнения оценки точности необходимо указать два параметра: Количество случайных точек и Стратегию выборки.

Количество случайных точек

Параметр Количество случайных точек показывает общее количество случайных точек, которые будут созданы. Фактическое число может быть выше, но оно не может быть ниже этого числа, которое будет зависеть от стратегии выборки и количества классов. Число произвольно созданных точек по умолчанию равно 500.

Стратегия выборки

Укажите используемый метод выборки:

• Стратифицированная случайная – создание точек, которые будут произвольно распределены в каждом классе. Количество точек в каждом классе пропорционально его площади. Этот метод производит выборку изображения так, чтобы количество точек выборки на класс пропорционально площади каждого класса на изображении. Окончательный результат оценки точности репрезентативен для изображения. Используется по умолчанию.
• Выровненная стратифицированная случайная – создание точек, которые будут произвольно распределены в каждом классе. Каждый класс содержит равное количество точек. Этот метод назначает одинаковое количество точек выборки каждому классу, независимо от того, какую площадь каждый класс занимает на изображении. Итоговый результат оценки точности не является репрезентативным для изображения, а измеряет точность, присваивая одинаковый вес всем классам. Это альтернативный метод стратифицированной случайной выборки для оценки точности.
• Произвольно - создание точек, которые произвольно распределены по всему изображению. Этот метод случайным образом выбирает точки на изображении. Никакой стратификации не требуется, поэтому окончательный результат оценки точности будет репрезентативным для изображения. Но при использовании небольшого числа точек выборки некоторые классы, отображающие небольшие территории, могут быть пропущены или недостаточно представлены.

Изучение результатов

Когда вы запустите этот инструмент, будет показано графическое представление матрицы неточностей. Удерживайте курсор над ячейкой, чтобы просмотреть значения Количество, Пользовательская точность, Точность построителя и FScore. В нижней части панели также отображается значение Kappa. Выходная таблица будет добавлена к панели Содержание.

Анализ диагонали

Точность представлена значениями от 0 до 1, при этом 1 означает 100-процентную точность. Значения Точность построителя и Пользовательская точность для всех классов указываются вдоль диагональной оси. Цвет по диагонали варьируется от светло-синего до темно-синего, причем более темный синий цвет указывает на более высокую точность. При наведении курсора на любую ячейку для каждой из них будут отображаться значения точности и показатель F.

В отличие от диагонали, цветные ячейки вне диагонали указывают количество значений класса несоответствий, присутствующих в матрице неточностей. При наведении курсора мыши на ячейки отображаются результаты матрицы неточностей для каждой пары классов.

Просмотр выходной матрицы неточностей

Для просмотра подробных сведений об отчете об ошибках вы можете загрузить этот отчет на панель Содержание и открыть его. Это будет файл .dbf, который находится в проекте или в указанной вами выходной папке. В таблице матрицы неточностей указаны точность пользователя (столбец U_Accuracy) и точность производителя (столбец P_Accuracy) для каждого класса, а также суммарный статистический индекс согласия kappa. Эти значения точности варьируются в диапазоне от 0 до 1, при этом 1 означает 100% точность. Ниже приведен пример матрицы неточностей:

Пример матрицы несоответствий

	c_1	c_2	c_3	Всего	U_Accuracy	Kappa
c_1	49	4	4	57	0.8594	0
c_2	2	40	2	44	0.9091	0
c_3	3	3	59	65	0.9077	0
Всего	54	47	65	166	0	0
P_Accuracy	0.9074	0.8511	0.9077	0	0.8916	0
Kappa	0	0	0	0	0	0.8357

В столбце Точность пользователя отображаются ложные срабатывания, или ошибки выполнения, при которых пикселы неправильно классифицируются как известный класс, в то время как они должны были быть классифицированы как нечто другое. Пользовательскую точность называют также ошибкой типа 1. Данные для расчета коэффициента ошибок считываются со строк таблицы. Пользовательская точность рассчитывается путем деления общего количества классифицированных точек, которое соответствует базовым данным, на общее количество классифицированных точек для данного класса. Строка Всего показывает число точек, которые, согласно базовым данным, должны были определиться как заданный класс. Примером может служить случай, когда классифицированное изображение определяет пиксел как асфальт, но базовые данные указывают на него как на лес. Класс асфальт содержит дополнительные пикселы, которых у него не должно быть, согласно базовым данным.

В столбце Точность построителя отображаются ложноотрицательные результаты или ошибки пропусков. Точность построителя показывает, насколько точно результаты классификации соответствуют ожиданиям создателя. Точность построителя также называют ошибкой типа 2. Данные для расчета этого коэффициента ошибок считываются со столбцов таблицы. Точность построителя рассчитывается путем деления общего количества классифицированных точек, которые соответствуют базовым данным, на общее количество базовых точек для этого класса. Эти значения являются ложноотрицательными среди классифицированных результатов. Столбец Всего показывает число точек, которые, согласно классифицированной карте, определились как заданный класс. Примером может служить случай, когда базовые данные идентифицируют пиксел как асфальт, а классифицированное изображение идентифицирует его как лес. Согласно базовым данным, класс асфальт не содержит достаточного количества пикселов.

Статистика соответствия Kappa обеспечивает общую оценку точности классификации.

Пересечение по объединению (IoU) - это область перекрытия между прогнозируемой сегментацией и данными наземного контроля, деленная на область слияния между прогнозируемой сегментацией и данными наземного контроля. Среднее значение IoU вычисляется для каждого класса.