Genauigkeitsbewertung

Mit der Spatial Analyst-Lizenz verfügbar.

Mit der Image Analyst-Lizenz verfügbar.

Im Folgenden wird erläutert, wie die Genauigkeit einer Klassifizierung bewertet und die Ergebnisse ausgewertet werden.

Bewerten der Genauigkeit einer Klassifizierung

Das Werkzeug Genauigkeitsbewertung verwendet ein Referenz-Dataset, um die Genauigkeit eines klassifizierten Ergebnisses zu bestimmen. Die Werte des Referenz-Datasets müssen mit dem Schema übereinstimmen. Referenzdaten können die folgenden Formate aufweisen:

• Ein Raster-Dataset, das ein klassifiziertes Bild ist.
• Eine Polygon-Feature-Class oder ein Shapefile. Das Format der Feature-Class-Attributtabelle muss mit den Trainingsgebieten übereinstimmen. Um dies sicherzustellen, können Sie das Referenz-Dataset über die Seite Trainingsgebiet-Manager erstellen, um das Dataset zu lesen und zu schreiben.
• Eine Punkt-Feature-Class oder ein Shapefile. Das Format muss mit der Ausgabe des Werkzeugs Punkte für Genauigkeitsbewertung erstellen übereinstimmen. Wenn Sie eine vorhandene Datei verwenden und in das entsprechende Format konvertieren möchten, verwenden Sie das Werkzeug Punkte für Genauigkeitsbewertung erstellen.

Für die Genauigkeitsbewertung müssen zwei Parameter angegeben werden: Anzahl der zufälligen Punkte und Referenzdatenstrategie.

Anzahl der zufälligen Punkte

Der Parameter Anzahl der zufälligen Punkte zeigt die Gesamtzahl der generierten zufälligen Punkte an. Die tatsächliche Anzahl kann je nach Referenzdatenstrategie und Anzahl der Klassen höher, jedoch nicht niedriger sein als diese Zahl. Die Standardanzahl der zu erstellenden zufälligen Punkte ist 500.

Referenzdatenstrategie

Geben Sie an, welche Methode für die Referenzpunkterfassung verwendet werden soll.

• Stratifizierte Zufallsstichprobe: Erstellen Sie Punkte, die in jeder Klasse zufällig verteilt sind, wobei jede Klasse über eine Anzahl von Punkten proportional zur relativen Fläche verfügt. Bei dieser Methode werden Stichproben des Bildes so erstellt, dass die Anzahl der Referenzpunkte pro Klasse proportional zur Fläche pro Klasse im Bild ist. Das finale Ergebnis der Genauigkeitsbewertung ist repräsentativ für das Bild. Dies ist die Standardeinstellung.
• Abgeglichene stratifizierte Zufallsstichprobe: Erstellen Sie die zufällig verteilten Punkte in jeder Klasse, wobei jede Klasse über dieselbe Anzahl von Punkten verfügt. Bei dieser Methode wird jeder Klasse unabhängig von ihrer Fläche im Bild die gleiche Anzahl an Referenzpunkten zugewiesen. Das finale Ergebnis der Genauigkeitsbewertung ist nicht repräsentativ für das Bild. Die Genauigkeit wird gemessen, indem jede Klasse dieselbe Gewichtung erhält. Dies ist eine alternative Methode zur Erstellung einer stratifizierten Zufallsstichprobe für die Genauigkeitsbewertung.
• Zufallsprinzip: Erstellen Sie Punkte, die im gesamten Bild zufällig verteilt sind. Bei dieser Methode werden die Stichproben der Punkte zufällig über das Bild verteilt erstellt. Es erfolgt keine Stratifizierung. Das finale Ergebnis der Genauigkeitsbewertung ist also repräsentativ für das Bild. Wenn jedoch eine kleine Anzahl an Referenzpunkten verwendet wird, können Klassen, die kleine Bereiche repräsentieren, übersehen werden oder unterrepräsentiert sein.

Interpretieren der Ergebnisse

Nachdem Sie das Werkzeug ausgeführt haben, wird eine grafische Darstellung der Konfusionsmatrix angezeigt. Zeigen Sie mit der Maus auf eine Zelle, um die Anzahl, die Nutzergenauigkeit, die Produzentengenauigkeit und die FScore-Werte anzuzeigen. Die Kappa-Punktzahl wird ebenfalls am unteren Rand des Bereichs angezeigt. Die Tabelle wird dem Bereich Inhalt hinzugefügt.

Analysieren der Diagonale

Die Genauigkeit wird von 0 bis 1 dargestellt, wobei 1 einer Genauigkeit von 100 Prozent entspricht. Die Werte für die Produzentengenauigkeit und die Nutzergenauigkeit werden für alle dieser Klassen längs der diagonalen Achse angegeben. Die Farbe entlang der Diagonalen reicht von Hell- bis Dunkelblau, wobei ein dunkleres Blau eine höhere Genauigkeit anzeigt. Wenn Sie mit der Maus auf die einzelnen Zellen zeigen, werden die Werte für jede Genauigkeit sowie eine F-Punktzahl angezeigt.

Anders als an der Diagonalen zeigen die farbigen Zellen abseits der Diagonalen die Anzahl der verwechselten Klassenwerte in der Konfusionsmatrix an. Wenn Sie mit der Maus auf die Zellen zeigen, werden die Ergebnisse der Konfusionsmatrix für jedes Klassenpaar angezeigt.

Anzeigen der Ausgabe-Konfusionsmatrix

Um die Details des Fehlerberichts anzuzeigen, können Sie den Bericht im Bereich Inhalt laden und öffnen. Es handelt sich dabei um eine .dbf-Datei, die sich im Projekt oder in dem von Ihnen angegebenen Ausgabeordner befindet. Die Tabelle der Konfusionsmatrix enthält die Nutzergenauigkeit (Spalte U_Accuracy) und die Produzentengenauigkeit (Spalte P_Accuracy) für jede Klasse sowie einen statistischen Kappa-Index der Übereinstimmung (Kappa). Diese Genauigkeitsraten reichen von 0 bis 1, wobei 1 eine Genauigkeit von 100 Prozent darstellt. Nachfolgend finden Sie ein Beispiel für eine Konfusionsmatrix:

Beispiel für Konfusionsmatrix

	c_1	c_2	c_3	Gesamt	U_Accuracy	Kappa
c_1	49	4	4	57	0,8594	0
c_2	2	40	2	44	0,9091	0
c_3	3	3	59	65	0,9077	0
Gesamt	54	47	65	166	0	0
P_Accuracy	0,9074	0,8511	0,9077	0	0,8916	0
Kappa	0	0	0	0	0	0,8357

In der Genauigkeitsspalte des Benutzers werden falsch positive Ergebnisse bzw. Commission-Fehler angezeigt, bei denen Pixel als bekannte Klasse falsch klassifiziert werden, wenn sie als etwas anderes hätten klassifiziert werden sollen. Die Benutzergenauigkeit wird auch als Fehler vom Typ 1 bezeichnet. Die Daten zum Berechnen dieser Fehlerrate werden aus den Zeilen der Tabelle gelesen. Die Benutzergenauigkeit wird berechnet, indem die Gesamtzahl der klassifizierten Punkte, die mit den Referenzdaten übereinstimmen, durch die Gesamtzahl der klassifizierten Punkte für diese Klasse geteilt wird. Die Zeile "Gesamt" zeigt die Anzahl der Punkte an, die den Referenzdaten entsprechend als angegebene Klasse hätten identifiziert werden müssen. Ein Beispiel hierfür ist, wenn das klassifizierte Bild ein Pixel als asphaltierte Fläche identifiziert, die Referenzdaten es jedoch als Wald identifizieren. Die Asphalt-Klasse verfügt über zusätzliche Pixel, die sie gemäß Referenzdaten nicht aufweisen sollte.

Die Spalte für die Produzentengenauigkeit zeigt falsche negative Ergebnisse oder Auslassungsfehler an. Die Produzentengenauigkeit gibt an, wie genau die Klassifizierungsergebnisse den Erwartungen des Erstellers entsprechen. Die Produzentengenauigkeit wird auch als Fehler vom Typ 2 bezeichnet. Die Daten zum Berechnen dieser Fehlerrate werden in den Spalten der Tabelle gelesen. Die Produzentengenauigkeit wird berechnet, indem die Gesamtzahl der klassifizierten Punkte, die mit den Referenzdaten übereinstimmen, durch die Gesamtzahl der Referenzpunkte für diese Klasse geteilt wird. Diese Werte sind falsche negative Werte in den klassifizierten Ergebnissen. Die Spalte "Gesamt" zeigt die Anzahl der Punkte an, die entsprechend der klassifizierten Karte als angegebene Klasse identifiziert wurden. Ein Beispiel hierfür ist, wenn die Referenzdaten ein Pixel als asphaltierte Fläche, das klassifizierte Bild jedoch als Wald ausweisen. Die Asphalt-Klasse enthält gemäß den Referenzdaten nicht genügend Pixel.

Die Kappa-Übereinstimmungsstatistik liefert eine Gesamtbewertung der Genauigkeit der Klassifizierung.

Intersection Over Union (IoU) ist die Überlappungsfläche zwischen der vorausgesagten Segmentierung und dem Feldvergleich geteilt durch die Vereinigungsfläche zwischen der vorausgesagten Segmentierung und dem Feldvergleich. Für jede Klasse wird der IoU-Mittelwert berechnet.