Wenn ein Trainingsvorgang mit Punktwolken-Klassifizierungsmodell trainieren abgeschlossen wurde, können Sie die Ergebnisse auswerten. Das Ziel bestand darin, ein Modell zu erstellen, das genaue Klassifizierungen für die zu klassifizierenden Daten ausführen kann. Das bedeutet nicht nur, dass eine gute Leistung für die für das Training verwendeten Daten erzielt wird, sondern auch für die Daten, die nicht mit dem Training in Zusammenhang stehen.
Die Ausgabe des Werkzeugs Punktwolken-Klassifizierungsmodell trainieren umfasst mehrere Komponenten, die Sie bei dieser Bewertung unterstützen.
Dabei werden auch Zusammenfassungsinformationen pro Epoche angegeben, während das Werkzeug ausgeführt wird. Auch die benötigte Zeit pro Epoche wird ausgegeben, sodass Sie besser einschätzen können, wie lange der Vorgang dauern wird, wenn alle Epochen ausgeführt werden. Die angegebenen Kennwerte werden in den Werkzeugmeldungen angezeigt. Precision, Recall und F1-Maß werden für alle Klassen mit der gleichen Gewichtung pro Klasse zu einem Makrodurchschnitt gemittelt.
Um diese Kennzahlen interpretieren zu können, ist ein gewisses Verständnis seiner Bedeutung erforderlich. Im Folgenden erhalten Sie einige einführende Informationen zu diesem Thema. Es empfiehlt sich jedoch, sich ausführlicher mit diesen Statistiken zu beschäftigen, um sie besser verwenden und interpretieren zu können. Zu diesem Thema stehen zahlreiche Ressourcen zur Verfügung.
Accuracy: Der Prozentsatz der richtig vorausgesagten Punkte relativ zur Gesamtsumme. Beachten Sie, das dieser Kennwert nicht hilfreich ist, wenn die Punkte von wichtigen Klassen nur in geringer Anzahl im Verhältnis zu anderen Klassen vorhanden sind. Das liegt daran, dass ein hoher Prozentsatz von richtigen Vorhersagen insgesamt erzielt werden kann, während einige wenige, dafür aber wichtige Punkte falsch vorhergesagt werden.
Precision: Der Anteil der richtigen Vorhersagen für eine Klasse im Vergleich zu allen vorhergesagten Punkten in dieser Klasse, den richtigen und den falschen.
Recall: Der Anteil der richtigen Vorhersagen für eine Klasse im Vergleich zu allen Punkten, die tatsächlich in die Klasse gehören.
F1-Maß: Das harmonische Mittel zwischen Precision und Recall.
Vom Trainingswerkzeug wird außerdem ein Diagramm der Lernkurven ausgegeben. Es kann in den Werkzeugmeldungen angezeigt werden und wird ebenfalls in der Datei model_metrics.html in den Ausgabemodellordner geschrieben. Das Diagramm enthält Verlustkurven für Training und Validierung. Geringere Verluste sind besser, deshalb werden Kurven angestrebt, die mit der Zeit abnehmen und abflachen. Der Trainingsverlust zeigt, wie gut das Modell gelernt hat, während der Validierungsverlust angibt, wie generalisiert das Lernen war.
Anhand der Verlustkurven können Sie feststellen, ob eine Unter- oder Überanpassung des Modells vorliegt. Ein unterangepasstes Modell ist entweder nicht zum Lernen des Trainings-Datasets geeignet oder benötigt mehr Training. Unterangepasste Modelle sind daran erkennbar, dass der Trainingsverlust von Anfang bis Ende flach oder verrauscht verläuft oder bis zum Ende immer weiter abnimmt, ohne abzuflachen. Bei überangepassten Modellen wurden die Trainingsdaten zu gut gelernt, sie können jedoch nicht generalisiert werden und schneiden mit anderen Daten schlecht ab. Überangepasste Modelle erkennen Sie daran, dass der Validierungsverlust bis zu einem gewissen Punkt abnimmt, dann jedoch wieder zunimmt oder relativ zum Trainingsverlust abflacht. Bei einer guten Eignung nehmen der Trainings- und Validierungsverlust generell bis zu einem stabilen Punkt ab, wobei zwischen den zwei endgültigen Verlustwerten nur eine minimale Differenz besteht.
Dazu zählt eine *.csv-Textdatei mit dem Namen model_name_Statistics.csv, die im Ausgabemodellordner abgelegt wird. Sie enthält Angaben zu Precision, Recall und F1-Maß für jede Klasse pro Epoche.
Zusätzlich zur Prüfung der Kennwerte und Lernkurven können Sie versuchen, das Ergebnismodell auf Daten anzuwenden, die sich von den Trainings- und Validierungsdaten unterscheiden. Prüfen Sie die Ergebnisse, indem Sie die Punktwolke in einer 3D-Szene mit Punkten untersuchen, die durch den Klassencode symbolisiert sind.