Evaluation de la précision

Disponible avec une licence Spatial Analyst.

Disponible avec une licence Image Analyst.

L’évaluation de la précision de votre classification et l’interprétation des résultats sont présentées ci-après.

Évaluer la précision de la classification

L’outil Accuracy Assessment (Évaluer la précision) utilise le jeu de données de référence pour déterminer la précision d’une classification. Les valeurs du jeu de données de référence doivent correspondre à la structure. Les données de référence peuvent se présenter aux formats suivants :

• Jeu de données raster qui est une image classée.
• Classe d'entités surfaciques ou fichier de formes. Le format de la table attributaire de la classe d’entités doit correspondre aux échantillons d’entraînement. Pour ce faire, vous pouvez créer le jeu de données de référence à l’aide de la page Liste des échantillons d’entraînement pour lire et écrire le jeu de données.
• Classe d'entités points ou fichier de formes. Le format doit correspondre à la sortie de l’outil Create Accuracy Assessment Points (Créer des points d'évaluation de la précision). Si vous utilisez un fichier existant et souhaitez le convertir dans le format approprié, utilisez l’outil Create Accuracy Assessment Points (Créer des points d'évaluation de la précision).

Pour procéder à l’évaluation de la précision, vous devez définir deux paramètres : Number of Random Points (Nombre de points aléatoires) et Sampling Strategy (Stratégie d’échantillonnage).

Nombre de points aléatoires

Le paramètre Number of Random Points (Nombre de points aléatoires) indique le nombre total de points aléatoires qui vont être générés. Le nombre réel peut être supérieur, mais ne pas être inférieur à ce nombre, selon la stratégie d’échantillonnage et le nombre de classes. Le nombre pas défaut de points générés de façon aléatoire est de 500.

Stratégie d'échantillonnage

Spécifiez la méthode d’échantillonnage à utiliser :

• Stratified Randoms (Aléatoire stratifié) : créez des points qui sont répartis de manière aléatoire au sein de chaque classe, chacune d’elles disposant d’un nombre de points proportionnel à cette zone relative. Cette méthode permet d’échantillonner l’image de sorte que le nombre de points d’échantillon par classe soit proportionnel à la zone par classe dans l’image. Le résultat final d’évaluation de la précision est représentatif de l’image. Il s’agit de l’option par défaut.
• Equalized Stratified Random (Aléatoire stratifié égalisé) : créez des points qui sont répartis de manière aléatoire au sein de chaque classe, chacune d’elles disposant du même nombre de points. Cette méthode permet d’attribuer le même nombre de points d’échantillon à chaque classe, quel que soit le nombre de zones dont dispose chaque classe dans l’image. Le résultat final d’évaluation de la précision est représentatif de l’image, mais il mesure la précision en donnant la même pondération à chaque classe. Il s’agit d’une méthode alternative à l’échantillonnage aléatoire stratifié pour évaluer la précision.
• Random (Aléatoire) - Créez des points qui sont répartis de manière aléatoire dans toute l’image. Cette méthode permet d’échantillonner les points de manière aléatoire sur l’image. Comme elle ne fait l’objet d’aucune stratification, le résultat final d’évaluation de la précision est représentatif de l’image. Toutefois, si un petit nombre de points d’échantillonnage est utilisé, certaines classes représentant de petites zones peuvent manquer ou être sous-représentées.

Comprendre les résultats

Une fois l’outil exécuté, une représentation graphique de la matrice de confusion s’affiche. Survolez une cellule pour voir les valeurs Count (Total), User Accuracy (Précision des utilisateurs), Producer Accuracy (Précision des producteurs) et FScore. Le score kappa est affiché également au bas de la fenêtre. La table en sortie est ajoutée à la fenêtre Contents (Contenu).

Analyser la diagonale

La précision est représentée de 0 à 1, 1 représentant une précision de 100 pour cent. Les valeurs de la précision des utilisateurs et de la précision des producteurs pour toutes les classes sont indiquées sur l’axe diagonal. Les couleurs sur l’axe diagonal vont du bleu clair au bleu foncé, un bleu plus foncé indiquant une précision plus élevée. Lorsque vous survolez chaque cellule, les valeurs de chaque précision et un score F s’affichent.

Contrairement à la diagonale, les cellules colorées situées en dehors de la diagonale indiquent le nombre des valeurs de classe confondue qui se trouvent dans la matrice de confusion. Lorsque vous survolez les cellules, les résultats de la matrice de confusion de chaque appariement de classes s’affichent.

Afficher la matrice de confusion en sortie

Pour examiner les détails du rapport d’erreur, vous pouvez charger le rapport dans la fenêtre Contents (Contenu) et l’ouvrir. Il s’agit d’un fichier .dbf situé dans le projet ou dans le dossier en sortie que vous avez défini. La table de la matrice de confusion répertorie la précision de l’utilisateur (colonne U_Accuracy) et la précision du producteur (colonne P_Accuracy) de chaque classe, ainsi qu’un indice statistique d’accord kappa global. Ces taux de précision sont compris entre 0 et 1, la valeur 1 représentant une précision de 100 pour cent. Voici un exemple de matrice de confusion :

Exemple de matrice de confusion

	c_1	c_2	c_3	Total	U_Accuracy	Kappa
c_1	49	4	4	57	0.8594	0
c_2	2	40	2	44	0.9091	0
c_3	3	3	59	65	0.9077	0
Total	54	47	65	166	0	0
P_Accuracy	0.9074	0.8511	0.9077	0	0.8916	0
Kappa	0	0	0	0	0	0.8357

La colonne de précision des utilisateurs montre les faux positifs ou les erreurs de commission, où les pixels sont incorrectement classés comme une classe connue alors qu'ils devraient être classés autrement. La précision de l’utilisateur est également désignée sous le terme d’erreur de type 1. Les données qui permettent de calculer ce taux d'erreur sont lues à partir des lignes de la table. Le calcul de la précision de l’utilisateur consiste à diviser le nombre total de points classés correspondant aux données de référence par le nombre total de points classés pour cette classe. La ligne Total montre le nombre de points qui auraient dû être identifiés comme une classe donnée d’après les données de référence. Cela est le cas, par exemple, lorsque l’image classée identifie un pixel comme de l’asphalte alors que les données de référence l’identifient comme une forêt. La classe asphalte comporte des pixels supplémentaires qui ne devraient pas être présents d’après les données de référence.

La colonne de la précision du producteur montre les faux négatifs, ou erreurs d’omission. La précision du producteur indique dans quelle mesure les résultats de classification répondent exactement aux attentes de l’auteur. La précision du producteur est également désignée sous le terme d’erreur de type 2. Les données qui permettent de calculer ce taux d'erreur sont lues dans les colonnes de la table. Le calcul de la précision du producteur consiste à diviser le nombre total de points classés correspondant aux données de référence par le nombre total de points de référence pour cette classe. Ces valeurs sont des faux négatifs dans les résultats classés. La colonne Total montre le nombre de points qui ont été identifiés comme une classe donnée d’après la carte classée. Cela est le cas, par exemple, lorsque les données de référence identifient un pixel comme de l’asphalte alors que l’image classée l’identifie comme une forêt. La classe asphalte ne contient pas suffisamment de pixels d’après les données de référence.

La statistique d’accord Kappa donne une évaluation globale de la précision de la classification.

L’intersection sur union (IoU) est la surface de superposition entre la segmentation prévue et la réalité de terrain divisée par la surface d’union entre la segmentation prévue et la réalité de terrain. La valeur IoU est calculée pour chaque classe.