Когда процесс обучения с использованием Обучение модели классификации облака точек завершен, вы захотите оценить результаты. Цель состоит в том, чтобы создать модель, которая может выполнять точную классификацию тех данных, для которых она предназначена. Это не означает что нужно просто хорошо работать с данными, используемыми для обучения, но нужно хорошо работать с данными, которые не использовались при обучении.
Инструмент Обучение модели классификации облака точек выводит несколько вещей, которые помогут вам выполнить эту оценку. Один из *.csv - это текстовый файл с именем model_name_Statistics.csv, который помещается в папку выходной модели. Он содержит Precision, Recall, и F1-Scores для каждого класса эпохи.
Инструмент также сообщает краткую информацию за эпоху во время работы инструмента. Также выводится время, затраченное на эпоху, что поможет вам определить, сколько времени займет процесс, если будут выполнены все эпохи. Вы можете увидеть показатели, указанные в сообщениях инструмента. Precision, Recall и F1-Scores усредняются для всех классов с использованием одинакового веса для каждого класса, макро-среднего.
Чтобы интерпретировать эти показатели, вам потребуется некоторое понимание их значения. Информация начального уровня представлена ниже, но рекомендуется более глубоко изучить эти статистические данные, а также способы их использования и интерпретации самостоятельно с помощью множества ресурсов, доступных по этой теме.
Корректность (Accuracy) - процент правильно спрогнозированных точек по отношению к общему количеству. Обратите внимание: это бесполезная метрика, если точки для важных классов существуют в небольшом количестве по сравнению с другими классами. Это связано с тем, что вы можете получить высокий процент правильных прогнозов в целом при неправильном прогнозе нескольких, но важных точек.
Точность (Precision) - доля правильных прогнозов для класса по отношению ко всем прогнозируемым точкам в этом классе, как правильным, так и неправильным.
Полнота (Recall) - доля правильных прогнозов для класса по отношению ко всем точкам, которые действительно принадлежат классу.
F1-Score - гармоническое среднее между Precision и Recall.
Инструмент обучения также выводит график кривых обучения. Его можно увидеть в сообщениях инструмента, кроме того, он записывается в выходную папку модели, в файл с именем model_metrics.html. График включает кривые потерь как для обучения, так и для проверки. Чем меньше потери, тем лучше, поэтому вы хотите видеть кривые, которые со временем уменьшаются и выравниваются. Потеря обучения показывает, насколько хорошо модель усвоила, а потеря проверки показывает, насколько обобщенным было обучение.
Вы можете проверить соответствие модели, просмотрев кривые потерь. Модель с недостаточной подгонкой либо не может изучить набор обучающих данных, либо требует дополнительного обучения. Неполноценно обученную модель можно определить по кривой потерь обучения, которая является плоской или шумной от начала до конца или уменьшается до конца без выравнивания. Модели с переобучением слишком хорошо усвоили тренировочные данные, но не будут обобщать, чтобы хорошо работать с другими данными. Вы можете идентифицировать переобученные модели по кривой потерь проверки, которая уменьшается до определенного значения, но затем начинает расти или выравниваться по сравнению с потерей при обучении. Хорошая подгонка обычно определяется кривыми потерь при обучении и проверке, которые уменьшаются до точки стабильности с минимальным разрывом между двумя окончательными значениями потерь.
Помимо просмотра показателей и кривых обучения, вы можете попробовать использовать полученную модель на данных, которые отличаются как от данных обучения, так и от данных проверки. Просмотрите результаты, исследуя облако точек в 3D-сцене с точками, обозначенными кодом класса.