Genauigkeitsbewertung

Mit der Spatial Analyst-Lizenz verfügbar.

Mit der Image Analyst-Lizenz verfügbar.

In diesem Thema werden die Genauigkeitsbewertung der Klassifizierung und die Auswertung der Ergebnisse erläutert.

Bewerten der Genauigkeit Ihrer Klassifizierung

Bei der Genauigkeitsbewertung wird die Genauigkeit des klassifizierten Ergebnisses anhand eines Referenz-Datasets bestimmt. Die Werte Ihres Referenz-Datasets müssen mit dem Schema übereinstimmen. Referenzdaten können in verschiedenen Formaten vorliegen:

• Ein Raster-Dataset, das ein klassifiziertes Bild ist.
• Eine Polygon-Feature-Class oder ein Shapefile. Das Format der Feature-Class-Attributtabelle muss mit den Trainingsgebieten übereinstimmen. Um dies sicherzustellen, können Sie das Referenz-Dataset auf der Seite Trainingsgebiet-Manager erstellen,um das Dataset zu lesen und zu schreiben.
• Eine Punkt-Feature-Class oder ein Shapefile Das Format muss zur Ausgabe des Werkzeugs Genauigkeitsbewertung erstellen passen. Wenn Sie eine vorhandene Datei verwenden und in das entsprechende Format konvertieren möchten, verwenden Sie das Geoverarbeitungswerkzeug Punkte für Genauigkeitsbewertung erstellen.

Für die Genauigkeitsbewertung müssen zwei Parameter angegeben werden: die Anzahl der zufälligen Punkte und die Referenzdatenstrategie.

Anzahl der zufälligen Punkte

Der Parameter Anzahl der zufälligen Punkte zeigt die Gesamtzahl der generierten zufälligen Punkte an. Die tatsächliche Anzahl kann je nach Referenzdatenstrategie und Anzahl der Klassen höher, jedoch niemals niedriger sein als diese Zahl. Die Standardanzahl der zu erstellenden zufälligen Punkte ist 500.

Referenzdatenstrategie

Geben Sie an, welche Referenzdatenstrategie verwendet werden soll:

• Stratifizierte Zufallsstichprobe: Erstellen Sie Punkte, die in jeder Klasse zufällig verteilt sind, wobei jede Klasse über eine Anzahl von Punkten proportional zum relativen Bereich verfügt. Dies ist die Standardeinstellung.
• Abgeglichene stratifizierte Zufallsstichprobe: Erstellen Sie die zufällig verteilten Punkte in jeder Klasse, wobei jede Klasse über dieselbe Anzahl von Punkten verfügt.
• Zufallsprinzip: Erstellen Sie Punkte, die im gesamten Bild zufällig verteilt sind.

Interpretieren der Ergebnisse

Nachdem Sie das Werkzeug ausgeführt haben, wird eine grafische Darstellung Ihrer Konfusionsmatrix angezeigt. Zeigen Sie mit der Maus auf eine Zelle, um die Anzahl, die Nutzergenauigkeit, die Produzentengenauigkeit und die FScore-Werte anzuzeigen. Die Kappa-Punktzahl wird ebenfalls am unteren Rand des Bereichs angezeigt. Die Tabelle wird dem Bereich Inhalt hinzugefügt.

Analysieren der Diagonale

Die Genauigkeit wird von 0 bis 1 dargestellt, wobei 1 einer Genauigkeit von 100 Prozent entspricht. Die Werte für die Produzentengenauigkeit und die Nutzergenauigkeit werden für alle dieser Klassen längs der diagonalen Achse angegeben. Die Farbe entlang der Diagonalen reicht von Hell- bis Dunkelblau, wobei ein dunkleres Blau eine höhere Genauigkeit anzeigt. Wenn Sie mit der Maus auf die einzelnen Zellen zeigen, werden die Werte für jede Genauigkeit sowie eine F-Punktzahl angezeigt.

Anders als an der Diagonalen zeigen die farbigen Zellen abseits der Diagonalen die Anzahl der verwechselten Klassenwerte in der Konfusionsmatrix an. Wenn Sie mit der Maus auf die Zellen zeigen, können Sie die Ergebnisse der Konfusionsmatrix für jedes Klassenpaar sehen.

Anzeigen der Ausgabe-Konfusionsmatrix

Wenn Sie die Details des Fehlerberichts anzeigen möchten, können Sie den Bericht im Bereich Inhalt laden und öffnen. Es handelt sich dabei um eine .dbf-Datei, die sich in Ihrem Projekt oder in dem von Ihnen angegebenen Ausgabeordner befindet. Die Tabelle der Konfusionsmatrix enthält die Nutzergenauigkeit (Spalte U_Accuracy) und die Produzentengenauigkeit (Spalte P_Accuracy) für jede Klasse sowie einen statistischen Kappa-Index der Übereinstimmung (Kappa). Diese Genauigkeitsraten reichen von 0 bis 1, wobei 1 eine Genauigkeit von 100 Prozent darstellt. Nachfolgend finden Sie ein Beispiel für eine Konfusionsmatrix:

Beispiel für Konfusionsmatrix

	c_1	c_2	c_3	Gesamt	U_Accuracy	Kappa
c_1	49	4	4	57	0,8594	0
c_2	2	40	2	44	0,9091	0
c_3	3	3	59	65	0,9077	0
Gesamt	54	47	65	166	0	0
P_Accuracy	0,9074	0,8511	0,9077	0	0,8916	0
Kappa	0	0	0	0	0	0,8357

Die Spalte für die Nutzergenauigkeit zeigt falsche positive Ergebnisse oder Comission-Fehler an, wenn Pixel, die als etwas anderes klassifiziert werden sollten, fälschlicherweise als eine bekannte Klasse klassifiziert werden. Die Nutzergenauigkeit wird auch als Fehler vom Typ 1 bezeichnet. Die Daten zum Berechnen dieser Fehlerrate werden aus den Zeilen der Tabelle gelesen. Die Nutzergenauigkeit wird berechnet, indem die Gesamtzahl der klassifizierten Punkte, die mit den Referenzdaten übereinstimmen, durch die Gesamtzahl der klassifizierten Punkte für diese Klasse geteilt wird. Die Zeile Gesamt zeigt die Anzahl der Punkte an, die den Referenzdaten entsprechend als angegebene Klasse hätten identifiziert werden müssen. Ein Beispiel hierfür ist, wenn das klassifizierte Bild ein Pixel als asphaltierte Fläche identifiziert, die Referenzdaten es jedoch als Wald identifizieren. Die Asphalt-Klasse verfügt über zusätzliche Pixel, die sie gemäß Referenzdaten nicht aufweisen sollte.

Die Spalte für die Produzentengenauigkeit zeigt falsche negative Ergebnisse oder Auslassungsfehler an. Die Produzentengenauigkeit gibt an, wie genau die Klassifizierungsergebnisse den Erwartungen des Erstellers entsprechen. Die Produzentengenauigkeit wird auch als Fehler vom Typ 2 bezeichnet. Die Daten zum Berechnen dieser Fehlerrate werden in den Spalten der Tabelle gelesen. Die Produzentengenauigkeit wird berechnet, indem die Gesamtzahl der klassifizierten Punkte, die mit Referenzdaten übereinstimmen, durch die Gesamtzahl der Referenzpunkte für diese Klasse geteilt wird. Diese Werte sind falsche negative Werte innerhalb der klassifizierten Ergebnisse. Die Spalte Gesamt zeigt die Anzahl der Punkte an, die entsprechend der klassifizierten Karte als angegebene Klasse identifiziert wurden. Ein Beispiel hierfür ist, wenn die Referenzdaten ein Pixel als asphaltierte Fläche, das klassifizierte Bild jedoch als Wald ausweisen. Die Asphalt-Klasse enthält gemäß den Referenzdaten nicht genügend Pixel.

Die Kappa-Übereinstimmungsstatistik liefert eine Gesamtbewertung der Genauigkeit der Klassifizierung.

Intersection Over Union (IoU) ist die Überlappungsfläche zwischen der vorausgesagten Segmentierung und dem Feldvergleich geteilt durch die Vereinigungsfläche zwischen der vorausgesagten Segmentierung und dem Feldvergleich. Für jede Klasse wird der IoU-Mittelwert berechnet.