Evaluation de la précision

Disponible avec une licence Spatial Analyst.

Disponible avec une licence Image Analyst.

Cette rubrique traite de l’évaluation de la précision de la classification, et explique comment en interpréter les résultats.

Evaluer la précision de votre classification

L’outil Évaluation de la précision utilise un jeu de données de référence pour déterminer la précision de votre résultat classé. Les valeurs de votre jeu de données de référence doivent correspondre à la structure. Les données de référence peuvent se présenter dans plusieurs formats :

• Jeu de données raster qui est une image classée.
• Classe d'entités surfaciques ou fichier de formes. Le format de la table attributaire de la classe d'entités doit correspondre à celui des échantillons d'apprentissage. Pour ce faire, vous pouvez créer le jeu de données de référence sur la page Training Samples Manager (Gestionnaire d’échantillons d’apprentissage)pour avoir accès au jeu de données en lecture et en écriture.
• Classe d'entités points ou fichier de formes. Le format doit correspondre à celui de la sortie de l’outil Créer des points d’évaluation de la précision. Si vous utilisez un fichier existant et souhaitez le convertir dans le format approprié, utilisez l'outil de géotraitement Créer des points d'évaluation de la précision.

Pour procéder à l’évaluation de la précision, vous devez définir deux paramètres : le nombre de points aléatoires et la stratégie d’échantillonnage.

Nombre de points aléatoires

Le paramètre Number of Random Points (Nombre de points aléatoires) indique le nombre total de points aléatoires qui vont être générés. Le nombre réel peut être supérieur mais ne doit jamais être inférieur à ce nombre, selon la stratégie d’échantillonnage et le nombre de classes. Le nombre pas défaut de points générés de façon aléatoire est de 500.

Stratégie d'échantillonnage

Spécifiez la structure d'échantillonnage à utiliser :

• Stratified Random (Aléatoire stratifié) - Créez des points qui sont répartis de manière aléatoire au sein de chaque classe, chacune disposant d’un nombre de points proportionnel à cette surface relative. Il s’agit de l’option par défaut.
• Equalized Stratified Random (Aléatoire stratifié égalisé) - Créez des points qui sont répartis de manière aléatoire au sein de chaque classe, chacune disposant du même nombre de points.
• Random (Aléatoire) - Créez des points qui sont répartis de manière aléatoire dans toute l’image.

Comprendre vos résultats

Une fois l’outil exécuté, une représentation graphique de votre matrice de confusion s’affiche. Survolez une cellule pour voir les valeurs Count (Total), User Accuracy (Précision des utilisateurs), Producer Accuracy (Précision des producteurs) et FScore. Le score kappa est affiché également au bas de la fenêtre. La table en sortie est ajoutée à la fenêtre Contents (Contenu).

Analyser la diagonale

La précision est représentée de 0 à 1, 1 représentant une précision de 100 pour cent. Les valeurs de la précision des utilisateurs et de la précision des producteurs pour toutes les classes sont indiquées sur l’axe diagonal. Les couleurs sur l’axe diagonal vont du bleu clair au bleu foncé, un bleu plus foncé indiquant une précision plus élevée. Lorsque vous survolez chaque cellule, les valeurs de chaque précision et un score F sont indiqués.

Contrairement à la diagonale, les cellules colorées situées en dehors de la diagonale indiquent le nombre des valeurs de classe confondue qui se trouvent dans la matrice de confusion. En survolant les cellules, vous pouvez voir les résultats de la matrice de confusion pour chaque appariement de classes.

Afficher la matrice de confusion en sortie

Si vous souhaitez examiner le détail du rapport d’erreurs, vous pouvez charger le rapport dans la fenêtre Contents (Contenu) et l’ouvrir. Il s’agit d’un fichier .dbf situé dans votre projet ou dans le dossier en sortie que vous avez défini. La table de la matrice de confusion répertorie la précision de l’utilisateur (colonne U_Accuracy) et la précision du producteur (colonne P_Accuracy) de chaque classe, ainsi qu’un indice statistique d’accord kappa global. Ces taux de précision sont compris entre 0 et 1, 1 représentant une précision de 100 pour cent. Voici un exemple de matrice de confusion :

Exemple de matrice de confusion

	c_1	c_2	c_3	Total	U_Accuracy	Kappa
c_1	49	4	4	57	0.8594	0
c_2	2	40	2	44	0.9091	0
c_3	3	3	59	65	0.9077	0
Total	54	47	65	166	0	0
P_Accuracy	0.9074	0.8511	0.9077	0	0.8916	0
Kappa	0	0	0	0	0	0.8357

La colonne de la précision de l’utilisateur montre les faux positifs, ou erreurs de commission, où les pixels sont incorrectement classés comme une classe connue alors qu’ils devraient être classés autrement. La précision de l’utilisateur est également désignée sous le terme d’erreur de type 1. Les données qui permettent de calculer ce taux d'erreur sont lues à partir des lignes de la table. Le calcul de la précision de l’utilisateur consiste à diviser le nombre total de points classés qui concordent avec les données de référence par le nombre total de points classés pour cette classe. La ligne Total montre le nombre de points qui devraient être identifiés comme une classe donnée d'après les données de référence. Cela est le cas, par exemple, lorsque l’image classée identifie un pixel comme de l’asphalte alors que les données de référence l’identifient comme une forêt. La classe asphalte comporte des pixels supplémentaires qui ne devraient pas être présents d’après les données de référence.

La colonne de la précision du producteur montre les faux négatifs, ou erreurs d’omission. La précision du producteur indique dans quelle mesure les résultats de classification répondent exactement aux attentes de l’auteur. La précision du producteur est également désignée sous le terme d’erreur de type 2. Les données qui permettent de calculer ce taux d'erreur sont lues dans les colonnes de la table. Le calcul de la précision du producteur consiste à diviser le nombre total de points classés qui concordent avec les données de référence par le nombre total de points de référence pour cette classe. Ces valeurs sont des faux négatifs dans les résultats classés. La colonne Total montre le nombre de points qui ont été identifiés comme une classe donnée d'après la carte classée. Cela est le cas, par exemple, lorsque les données de référence identifient un pixel comme de l’asphalte alors que l’image classée l’identifie comme une forêt. La classe asphalte ne contient pas suffisamment de pixels d’après les données de référence.

La statistique d’accord Kappa donne une évaluation globale de la précision de la classification.

L’intersection sur union (IoU) est la surface de superposition entre la segmentation prévue et la réalité de terrain divisée par la surface d’union entre la segmentation prévue et la réalité de terrain. La valeur IoU est calculée pour chaque classe.