Fonctionnement de l’outil Évaluer les prévisions par localisation

L’outil Évaluer les prévisions par localisation permet d’évaluer et de fusionner plusieurs prévisions des mêmes données de séries chronologiques sous-jacentes en tant qu’ensemble unique de localisations. Comme à chaque localisation, la méthode de prévision la plus exacte est sélectionnée pour représenter la prévision de cette localisation, vous pouvez essayer plusieurs méthodes de prévision et sélectionner la plus exacte, localisation par localisation. La sortie principale est une carte de l’intervalle temporel final prévu pour la méthode de prévision sélectionnée à chaque localisation, ainsi que des messages d’informations et des diagrammes contextuels.

Les entrées de cet outil doivent être créées par des outils du jeu d’outils Prévision des séries chronologiques utilisant le même cube spatio-temporel en entrée. Vous pouvez identifier la méthode de prévision la plus exacte à chaque localisation en fonction du degré d’ajustement entre le modèle et les valeurs mesurées du cube spatio-temporel ou en fonction du degré d’exactitude de ses prévisions concernant la retenue des intervalles temporels à la fin de chaque série chronologique.

Il est conseillé de lire la documentation de chaque méthode de prévision que vous fournissez dans cet outil pour en savoir plus sur le modèle de prévision, sur le modèle de validation et sur les statistiques EQM (Racine carrée de l’erreur quadratique moyenne).

En savoir plus sur le fonctionnement de l’outil Prévision par ajustement des courbes

En savoir plus sur le fonctionnement de l’outil Prévision par lissage exponentiel

En savoir plus sur le fonctionnement de l’outil Prévision basée sur une forêt

Évaluer la méthode de prévision à chaque localisation

L’objectif de l’outil consiste à sélectionner la méthode de prévision la plus exacte à chaque localisation d’un cube spatio-temporel. Il existe toutefois différentes manières de mesurer l’exactitude d’une méthode de prévision. Cet outil se base sur deux critères pour identifier la prévision la plus exacte à chaque localisation.

Évaluer avec la racine carrée de l’erreur quadratique moyenne (EQM) de validation

L’option par défaut de l’outil sélectionne la méthode de prévision dont la racine carrée de l’erreur quadratique moyenne de validation est la plus petite à chaque localisation. Pour utiliser cette option, laissez le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation) coché. La racine carrée de l’erreur quadratique moyenne de validation est calculée en retenant certains des intervalles temporels finaux à chaque localisation et en utilisant les intervalles temporels restants pour prévoir les valeurs qui ont été retenues. Les valeurs prévues sont ensuite comparées aux valeurs réelles pour voir leur degré d’adéquation. Il est généralement recommandé d’effectuer cette évaluation à l’aide des résultats de validation car prévoir de retenir les intervalles temporels à la fin de chaque série chronologique revient à prévoir les intervalles temporels futurs, ce qui est l’objectif final de la prévision des séries chronologiques.

Pour utiliser cette option, tous les cubes spatio-temporels en entrée doivent exclure le même nombre d’intervalles temporels pour la validation, et ce nombre doit être supérieur à 0.

Évaluer avec la racine carrée de l’erreur quadratique moyenne (EQM) de prévision

Vous pouvez également sélectionner la méthode de prévision dont la racine carrée de l’erreur quadratique moyenne de prévision est la plus petite à chaque localisation. Pour utiliser cette option, décochez le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation). La racine carrée de l’erreur quadratique moyenne de prévision mesure le degré d’ajustement entre le modèle de prévision et les valeurs mesurées de la série chronologique à chaque localisation. Comme la racine carrée de l’erreur quadratique moyenne de prévision mesure le degré d’ajustement des données qui ont permis d’estimer le modèle de prévision, ce dernier ajuste les valeurs mesurées de la série chronologique plus exactement qu’il ne prévoit les valeurs des intervalles temporels futurs.

Cette option est recommandée lorsque relativement peu d’intervalles sont exclus de la validation. Cette situation se présente couramment pour les cubes spatio-temporels qui comportent un petit nombre d’intervalles temporels, car seul un nombre restreint d’intervalles temporels peut être exclu de la validation. Cette option est également recommandée pour vérifier si la méthode de prévision sélectionnée fournit un ajustement statistiquement bien meilleur que les autres méthodes.

Tester l’exactitude équivalente des méthodes de prévision

Si vous procédez à une évaluation avec la racine carrée de l’erreur quadratique moyenne de prévision, la méthode sélectionnée à chaque localisation est comparée statistiquement à chacune des méthodes non sélectionnées. L’outil sélectionne la méthode avec la racine carrée de l’erreur quadratique moyenne de prévision, mais cela ne signifie pas que la méthode sélectionnée est beaucoup plus exacte que les autres méthodes. Pour savoir si la méthode sélectionnée offre un bien meilleur ajustement, vous devez procéder à un test statistique.

Pour chaque comparaison, le test DM (Diebold-Mariano) ou le test HLN (Harvey, Leybourne, and Newbold) est réalisé avec un niveau de confiance de 95 pour cent. Ces tests sont basés sur des hypothèses statistiques pour déterminer l’équivalence de l’exactitude de deux modèles de prévision. Le test HLN est une version modifiée du test DM (Diebold-Mariano) visant à compenser les échantillons de petite taille. Pour les échantillons de grande taille, les tests sont équivalents. Si le nombre d’intervalles temporels dans les modèles de prévision est égal ou supérieur à 30, le test Diebold-Mariano s’effectue à la localisation. Sinon, c’est le test HLN qui est exécuté.

Les tests DM et HLN calculent tous les deux leurs statistiques test en fonction de l’ajustement des modèles de prévision par rapport aux valeurs mesurées de la série chronologique. Les calculs n’utilisant pas les modèles de validation de quelque capacité que ce soit, ils ne sont pas applicables lorsque vous faites une évaluation avec des résultats de validation. Selon l’hypothèse nulle de chaque test, les deux modèles de prévision fournissent un ajustement également exact par rapport aux valeurs mesurées de la série chronologique. Si cette hypothèse nulle est rejetée, la méthode sélectionnée est définie comme étant beaucoup plus exacte que la méthode non sélectionnée. Si l’hypothèse nulle n’est pas rejetée, les deux méthodes sont définies comme étant d’exactitude équivalente. Vous trouverez les détails complets des tests DM et HLN dans la section Références supplémentaires.

En réalisant le test HLN entre la méthode sélectionnée et toutes les autres méthodes, l’outil génère une liste de méthodes d’exactitude équivalente à la méthode sélectionnée. Ces informations sont synthétisées dans les messages de géotraitement et les diagrammes.

Pratiques conseillées et limitations

Pour décider si cet outil est adapté à vos données et quels paramètres choisir, vous devez tenir compte de plusieurs éléments.

• Pour chaque localisation, cet outil sélectionne la méthode de prévision qui fournit la racine carrée de l’erreur quadratique moyenne de validation ou de prévision la plus petite. Ceci peut entraîner la sélection de méthodes différentes pour des localisations qui sont rapprochées. Par exemple, si vos données correspondent à la population annuelle des comtés, un comté peut utiliser une méthode basée sur une forêt, et deux comtés voisins peuvent utiliser une courbe de Gompertz et une méthode de lissage exponentiel saisonnier. Demandez-vous s’il est intéressant que différentes localisations utilisent différentes méthodes de prévision avec différentes formes, et vérifiez si le fait de sélectionner une méthode de prévision localisation par localisation offre vraiment une réduction notable de la racine carrée de l’erreur quadratique moyenne de prévision ou de validation à ces localisations. Si le recours à une seule méthode à chaque localisation offre une exactitude presque équivalente à l’utilisation d’une méthode différente localisation par localisation, le principe de parcimonie préconise d’utiliser une seule méthode de prévision pour toutes les localisations.
• Choisir ou non d’utiliser les résultats de validation pour l’évaluation a ses avantages et ses inconvénients. La validation par rapport aux intervalles temporels retenus est ce qui se rapproche le plus de la prévision de valeurs futures inconnues. Par conséquent, utiliser la validation aura pour effet de sélectionner plus souvent la méthode qui prévoit les valeurs futures avec le plus d’exactitude. Toutefois, les tests DM et HLN s’exécutent uniquement si vous ne réalisez pas l’évaluation à l’aide des résultats de validation. En effet, comme les tests DM et HLN mesurent la qualité de l’ajustement, ils ne portent que sur le degré d’ajustement du modèle par rapport aux valeurs mesurées à la localisation, et ils ne s’appliquent donc pas lorsque vous effectuez l’évaluation avec des résultats de validation. Vous devez choisir ce qui compte le plus : sélectionner la méthode qui prévoit les valeurs futures de la façon la plus exacte ou tester si la méthode sélectionnée offre un bien meilleur ajustement par rapport à la série chronologique.
• Les méthodes de prévision créées à l’aide de l’outil Prévision basée sur une forêt conviennent généralement mieux à la série chronologique d’un emplacement, mais elles ne prévoient pas les valeurs futures plus précisément que les autres méthodes. Si des cubes spatio-temporels de prévision en entrée représentent une méthode basée sur une forêt, il est recommandé d’effectuer l’évaluation à l’aide des résultats de validation.

Sorties de l'outil

La sortie principale de cet outil est une classe d’entités 2D qui affiche chaque localisation dans le Input Space Time Cube (Cube spatio-temporel en entrée) symbolisé par l’intervalle temporel prévu final de la méthode sélectionnée. Les valeurs prévues générées par la méthode sélectionnée à tous les autres intervalles temporels sont stockées sous forme de champs. Bien que la méthode à chaque localisation soit sélectionnée de façon indépendante et que les relations spatiales ne soient pas prises en compte, la carte peut afficher des modèles spatiaux pour les zones présentant des séries chronologiques similaires.

Diagrammes contextuels

Lorsque vous cliquez sur une entité de la carte à l’aide de l’outil de navigation Explore (Explorer), un diagramme interactif apparaît dans la fenêtre Pop-up (Fenêtre contextuelle). Cette fenêtre présente les valeurs ajustées, les valeurs de prévision et l’intervalle de confiance (si la méthode prend en charge les intervalles de confiance) de la méthode sélectionnée à la localisation, ainsi qu’une ligne grise verticale au début de la prévision. Pour toutes les autres méthodes, les valeurs de prévision s’affichent.

La méthode sélectionnée est mise en surbrillance dans la légende du diagramme, et si la même méthode est utilisée plusieurs fois, un numéro d’index permet de les différencier. L’image suivante illustre un diagramme contextuel de deux méthodes basées sur une forêt et une méthode d’ajustement des lignes courbes et une méthode de lissage exponentiel. La première méthode basée sur une forêt est la méthode sélectionnée à l’emplacement :

Le diagramme contextuel affiche les prévisions de toutes les méthodes.

Vous pouvez cliquer sur une autre méthode dans la légende pour afficher ses valeurs ajustées et son intervalle de confiance (s’il est pris en charge). L’image suivante illustre le même graphique après avoir cliqué sur la méthode de lissage exponentiel :

Le diagramme contextuel affiche les intervalles de confiance des deux méthodes de prévision.

Lorsque vous survolez la fenêtre contextuelle, un curseur temporel interactif (ligne verticale de couleur cyan) affiche toutes les valeurs du diagramme à cet intervalle temporel :

Le curseur temporel affiche toutes les valeurs du diagramme à cet intervalle temporel.

Remarque :

Les diagrammes contextuels ne sont pas créés lorsque les entités en sortie sont enregistrées sous forme de shapefile (.shp). De plus, si des intervalles de confiance sortent du cadre du diagramme, un bouton Show Full Data Range (Afficher la plage de données entière) s’affiche au-dessus du diagramme pour vous permettre de développer le diagramme et d’afficher l’intervalle de confiance entier.

Messages de géotraitement

L’outil fournit un certain nombre de messages d’informations sur l’exécution de l’outil. Les messages comportent différentes sections.

La section Analysis Details (Détails d’analyse) affiche les propriétés des cubes spatio-temporels en entrée, notamment les méthodes de prévision de chaque cube, le nombre d’intervalles temporels prévus, le nombre d’intervalles temporels exclus de la validation, le pourcentage de localisations qui ont été modélisées avec la saisonnalité et des informations sur les intervalles temporels prévus. Les propriétés qui s’affichent dans cette section dépendent de la façon dont les cubes ont été créés à l’origine, et donc les informations fournies peuvent varier.

Les sections Summary of Forecast RMSE (Synthèse de la racine carrée de l’erreur quadratique moyenne de prévision) et Summary of Validation RMSE (Synthèse de la racine carrée de l’erreur quadratique moyenne de validation) présentent des statistiques de synthèse de l’EQM de prévision et de l’EQM de validation parmi toutes les localisations. Pour chaque valeur, le minimum, le maximum, la moyenne, la médiane et l’écart type sont indiqués. Une seule de ces deux sections apparaît dans les messages pour chaque exécution de l’outil. Si vous décidez de procéder à une évaluation avec les résultats de validation, les statistiques de synthèse correspondant à l’EQM de validation s’affichent. Sinon, ce sont les statistiques de synthèse de l’EQM de prévision qui apparaissent.

La section Synthèse des méthodes de prévision sélectionnées propose des synthèses des méthodes de prévision les plus fréquemment sélectionnées pour les localisations. Pour chaque cube spatio-temporel en entrée, la section affiche le nombre et le pourcentage de localisations où cette méthode a été sélectionnée. Cela vous permet de comparer rapidement les performances de chaque méthode sur toutes les localisations. Si vous préférez ne pas utiliser les résultats de validation pour l’évaluation, la section présente également le nombre et le pourcentage de localisations où chaque méthode ne présentait pas une exactitude significativement moindre que celle de la méthode sélectionnée. La méthode qui est sélectionnée à une localisation est considérée comme aussi exacte que la méthode sélectionnée à la localisation (même), elle est donc intégrée dans le comptage et le pourcentage.

Remarque :

Les messages de géotraitement apparaissent au bas de la fenêtre Geoprocessing (Géotraitement) pendant l’exécution de l’outil. Vous pouvez accéder aux messages en passant le curseur de la souris sur la barre de progression, en cliquant sur le bouton de menu contextuel ou en développant la section de messages dans la fenêtre Geoprocessing (Géotraitement). Vous pouvez également consulter les messages de l’exécution précédente d’un outil dans l’historique de géotraitement.

Champs des entités en sortie

Outre l’ID d’objet, les champs de géométrie et le champ contenant les diagrammes contextuels, la fenêtre Output Features (Entités en sortie) comporte les champs suivants :

• Location ID (ID de localisation) (LOCATION) : Location ID (ID de localisation) de la localisation correspondante du cube spatio-temporel.
• Forecast for (Analysis Variable) in (Time Step) (Prévision de (variable d’analyse) dans (intervalle temporel)) (FCAST_1, FCAST_2, etc.) : valeur prévue de la méthode de prévision sélectionnée à chaque intervalle temporel futur. L’alias du champ affiche le nom de la Analysis Variable (Variable d’analyse) et la date de la prévision. Un champ de ce type est créé pour chaque pas de temps prévu.
• High Interval for (Analysis Variable) in (Time Step) (Intervalle élevé de (variable d’analyse) dans (intervalle temporel)) (HIGH_1, HIGH_2, etc.) : limite supérieure d’un intervalle de confiance de 90 pour cent pour la valeur prévue de la méthode de prévision sélectionnée à chaque intervalle temporel futur. L’alias du champ affiche le nom de la Analysis Variable (Variable d’analyse) et la date de la prévision. Un champ de ce type est créé pour chaque intervalle temporel prévu. Si la méthode de prévision sélectionnée à une localisation ne fournit pas d’intervalle de confiance, la valeur dans ce champ est nulle. Si aucune des méthodes ne fournit d’intervalle de confiance, ce champ n’est pas créé.
• Low High Interval for (Analysis Variable) in (Time Step) (Intervalle faible de (variable d’analyse) dans (intervalle temporel)) (LOW_1, LOW_2, etc.) : limite inférieure d’un intervalle de confiance de 90 pour cent pour la valeur prévue de la méthode de prévision sélectionnée à chaque intervalle temporel futur. L’alias du champ affiche le nom de la Analysis Variable (Variable d’analyse) et la date de la prévision. Un champ de ce type est créé pour chaque intervalle temporel prévu. Si la méthode de prévision sélectionnée à une localisation ne fournit pas d’intervalle de confiance, la valeur dans ce champ est nulle. Si aucune des méthodes ne fournit d’intervalle de confiance, ce champ n’est pas créé.
• Best Forecast Root Mean Square Error (Meilleure racine carrée de l’erreur quadratique moyenne de prévision) (F_RMSE) : EQM de prévision de la méthode sélectionnée à la localisation.
• Best Validation Root Mean Square Error (Meilleure racine carrée de l’erreur quadratique moyenne de validation) (V_RMSE) : EQM de validation de la méthode sélectionnée à la localisation. Si le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation) n’est pas coché, ce champ n’est pas créé.
• Season Length (Durée de la saison) (SEASON) : nombre d’intervalles temporels correspondant à une saison à chaque localisation. Si la méthode de prévision sélectionnée à la localisation ne prend pas en charge la saisonnalité, la valeur dans ce champ est de -1.
• Time Window (Fenêtre horaire) (TIMEWINDOW) : fenêtre d’intervalles temporels utilisée à la localisation. Si la méthode de prévision sélectionnée à la localisation ne prend pas en charge les fenêtres horaires, la valeur dans ce champ est de -1.
• Is Seasonal (Saisonnier) (IS_SEASON) : variable booléenne indiquant si la saisonnalité a été déterminée par densité spectrale. La valeur 1 indique qu’une saisonnalité a été détectée par densité spectrale et la valeur 0 indique qu’aucune saisonnalité n’a été utilisée ou que la méthode de prévision sélectionnée ne prend pas en charge la saisonnalité.
• Forecast Method (Méthode de prévision) (METHOD) : méthode de prévision sélectionnée à la localisation.
• (Method name) Forecast RMSE (EQM de prévision (nom de la méthode)) (F_RMSE_1, F_RMSE_2, etc.) : EQM de prévision de chaque méthode de prévision à la localisation. L’alias de champ affiche le nom de la méthode. Un champ de ce type est créé pour chaque cube spatio-temporel fourni dans le paramètre Input Forecast Space Time Cubes (Cubes spatio-temporels de prévision en entrée). Si le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation) est coché, ce champ n’est pas créé.
• (Method name) Validation RMSE (EQM de validation (nom de la méthode)) (V_RMSE_1, V_RMSE_2, etc.) : EQM de validation de chaque méthode de prévision à la localisation. L’alias de champ affiche le nom du cube spatio-temporel en entrée. Un champ de ce type est créé pour chaque cube spatio-temporel fourni dans le paramètre Input Forecast Space Time Cubes (Cubes spatio-temporels de prévision en entrée). Si le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation) n’est pas coché, ce champ n’est pas créé.
• Equally Accurate Fit Methods (Méthodes d’ajustement d’exactitude égale) (EQUAL_MTHD) : champ de texte répertoriant les méthodes de prévision dont l’exactitude n’est pas significativement moindre que celle de la méthode sélectionnée à la localisation. Si plusieurs méthodes ne présentaient pas une exactitude significativement moindre, chaque méthode est séparée par une ligne verticale |. Si plusieurs méthodes de même type (par exemple, deux méthodes basées sur une forêt utilisant différents paramètres de forêt) sont répertoriées, le nom de la méthode contient un numéro d’index pour les différencier. Si le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation) est coché, ce champ n’est pas créé.
• Is Optimal Method: (Method name) (Méthode optimale : (nom de la méthode)) (OPT_(Method)) : variable booléenne indiquant si la méthode de prévision n’était pas beaucoup moins exacte que la méthode sélectionnée à la localisation. Le nom de la méthode de prévision s’affiche dans le nom de champ et l’alias de champ. La valeur 1 indique que la méthode n’était pas beaucoup moins exacte que la méthode sélectionnée. Un champ de ce type est créé pour chaque méthode de prévision et la méthode sélectionnée à la localisation comporte toujours la valeur 1. Si le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation) est coché, ces champs ne sont pas créés.

Cube spatio-temporel en sortie

Si un Output Space Time Cube (Cube spatio-temporel en sortie) est spécifié, le cube en sortie contient toutes les valeurs d’origine des cubes spatio-temporels en entrée, avec en plus les valeurs prévues de la méthode de prévision sélectionnée. Ce nouveau cube spatio-temporel peut être affiché à l’aide des outils Visualiser le cube spatio-temporel en 2D ou Visualiser le cube spatio-temporel en 3D et peut être utilisé en entrée pour les outils de la boîte d’outils Exploration des modèles spatio-temporels, comme Analyse de points chauds émergents et Agrégation de séries chronologiques.

Diagrammes de synthèse des tests DM et HLN

Si vous choisissez de ne pas utiliser les résultats de validation pour l’évaluation en décochant le paramètre Evaluate Using Validation Results (Évaluer avec les résultats de validation), les entités en sortie contiennent deux diagrammes synthétisant les résultats des tests DM et HLN.

Le diagramme Forecast Methods and Fit Methods with Equivalent Accuracy (Méthodes de prévision et méthodes d’ajustement d’exactitude équivalente) vous permet de voir quelles méthodes de prévision ont été sélectionnées le plus souvent et, si une méthode différente a été sélectionnée, à quelle fréquence chaque méthode avait une exactitude équivalente à celle de la méthode sélectionnée. Le diagramme affiche des diagrammes à barres côte à côte pour les trois méthodes sélectionnées le plus souvent (si seulement deux cubes spatio-temporels ont été fournis, seuls deux diagrammes à barres côte à côte s’affichent). Pour chacune des trois méthodes, le diagramme présente un diagramme à barres uniquement pour les localisations où cette méthode a été sélectionnée. Parmi ces localisations, le diagramme à barres indique le nombre de localisations où chaque méthode a une exactitude équivalente (selon les tests DM et HLN). La barre la plus élevée correspond toujours à la méthode sélectionnée, ce qui vous permet de comparer l’échelle relative. Le nom des méthodes de prévision sur l’axe x étant généralement tronqué dans le diagramme, vous pouvez survoler les barres pour voir leur nom entier.

Le diagramme Distribution of Forecast Method Combinations with Equivalent Accuracy (Distribution des combinaisons des méthodes de prévision dont l’exactitude est équivalente) affiche un diagramme des différentes combinaisons de méthodes de prévision dont l’exactitude était équivalente. Cela vous permet de voir quelles méthodes offraient fréquemment d’aussi bonnes représentations des localisations. Chaque barre correspond à une combinaison donnée de méthodes de prévision, et la hauteur de la barre indique le nombre de localisations où ces méthodes étaient d’exactitude équivalente. Le nom des combinaisons sur l’axe x étant généralement tronqué dans le diagramme, vous pouvez survoler les barres pour voir leur nom entier.

Ressources supplémentaires

Pour plus d’informations sur les tests DM et HLN, consultez les références suivantes :

• Harvey, D., Leybourne, S., and Newbold, P. (1998). « Tests for Forecast Encompassing. » Journal of Business and Economic Statistics, 16:254-259.
• Diebold, F and Mariano, R. (1995). « Comparing Predictive Accuracy. » Journal of Business and Economic Statistics, 13: 253-63.