Cómo funciona la evaluación de predicciones por ubicación

La herramienta Evaluar predicciones por ubicación se utiliza para evaluar y fusionar varias predicciones de los mismos datos de series temporales subyacentes en un conjunto de ubicaciones. En cada ubicación, se selecciona el método de predicción más preciso para representar la predicción de esa ubicación, de modo que es posible probar varios métodos de predicción y seleccionar el más preciso para cada ubicación. La salida principal es un mapa del periodo de tiempo predicho final para el método de predicción seleccionado de cada ubicación, así como mensajes informativos y gráficos emergentes.

Las entradas de esta herramienta se deben crear mediante herramientas del conjunto de herramientas Predicción de serie temporal con el mismo cubo de espacio-tiempo como entrada. El método de predicción más preciso de cada ubicación se puede determinar basándose en la medida en que el modelo se ajusta a los valores medidos del cubo de espacio-tiempo o por la precisión con que predice los periodos de tiempo retenidos al final de cada serie temporal.

Se recomienda leer la documentación de cada método de predicción que proporcione a esta herramienta para conocer el modelo de predicción, el modelo de validación y las estadísticas de error cuadrático medio (RMSE) de cada método.

Más información sobre cómo funciona Predicción de ajuste de curva

Más información sobre cómo funciona Predicción suavizada exponencial

Más información sobre cómo funciona Predicción basada en bosque

Evaluar el método de predicción en cada ubicación

El objetivo de la herramienta es seleccionar el método de predicción más preciso en cada ubicación de un cubo de espacio-tiempo. Sin embargo, existe más de una forma de medir la precisión de un método de predicción. Esta herramienta utiliza uno de dos criterios posibles para determinar la predicción más precisa en cada ubicación.

Evaluar usando RMSE de validación

La opción predeterminada de la herramienta selecciona el método de predicción con el menor RMSE de validación en cada ubicación. Para usar esta opción, mantenga activado el parámetro Evaluar usando resultados de validación. El RMSE de validación se calcula reteniendo algunos de los periodos de tiempo finales en cada ubicación y utilizando los periodos de tiempo restantes para predecir los valores que se retuvieron. Los valores predichos se comparan a continuación con los valores verdaderos para ver hasta qué punto se alinean. Normalmente, se recomienda evaluar utilizando los resultados de la validación, ya que la predicción de los periodos de tiempo retenidos al final de la serie temporal es análoga a la predicción de los periodos de tiempo futuros, que es el objetivo de la predicción de las series temporales.

Para utilizar esta opción, todos los cubos de espacio-tiempo de entrada deben excluir el mismo número de periodos de tiempo para la validación, y ese número debe ser mayor que 0.

Evaluar usando RMSE de predicción

También tiene la opción de seleccionar el método de predicción con el menor RMSE de predicción en cada ubicación. Para usar esta opción, desactive el parámetro Evaluar usando resultados de validación. El RMSE de predicción mide cuánto se ajusta el modelo de predicción a los valores medidos de las series temporales en cada ubicación. Dado que el RMSE de predicción mide el ajuste de los datos que se utilizaron para la estimación del modelo de predicción, es frecuente que este se ajuste a los valores medidos de las series temporales con una mayor precisión que al predecir los valores de los futuros periodos de tiempo.

Esta opción se recomienda si se excluye de la validación un número relativamente reducido de periodos de tiempo. Esta situación es habitual en el caso de los cubos de espacio-tiempo con un número reducido de periodos de tiempo, en los que no es factible excluir de la validación más que unos pocos periodos de tiempo. Esta opción también se recomienda cuando se necesita comprobar si el método de predicción seleccionado proporciona un ajuste estadísticamente significativo mejor que los otros métodos.

Prueba de precisión equivalente de los métodos de predicción

Si se evalúa utilizando el RMSE de predicción, el método seleccionado en cada ubicación se compara estadísticamente con cada uno de los métodos no seleccionados. La herramienta selecciona el método que presenta el menor RMSE de predicción, lo cual no significa que el método seleccionado sea significativamente más preciso que los demás métodos. Para determinar si el método seleccionado proporciona un ajuste significativamente mejor, se requiere una prueba estadística.

Para cada comparación, se realiza la prueba de Diebold-Mariano (DM) o la prueba de Harvey, Leybourne y Newbold (HLN) con un nivel de confianza del 95 por ciento. Las pruebas DM y HLN son pruebas de hipótesis estadística para determinar si dos modelos de predicción presentan una precisión equivalente. La prueba HLN es una versión modificada de la prueba de Diebold-Mariano (DM) en la que se realiza una corrección para los tamaños de muestra reducidos. Con muestras de gran tamaño, las pruebas son equivalentes. Si el número de periodos de tiempo de los modelos de predicción es de 30 o más, la prueba de Diebold-Mariano se realiza en la ubicación. De lo contrario, se realiza la prueba HLN.

Tanto la prueba DM como la HLN calculan su estadística de prueba basándose en el ajuste de los modelos de predicción a los valores medidos de las series temporales. Los cálculos no utilizan los modelos de validación para ningún fin, por lo que no son aplicables cuando se evalúa utilizando los resultados de la validación. La hipótesis nula de cada prueba es que los dos modelos de predicción proporcionan un ajuste igualmente preciso a los valores medidos de las series temporales. Si se rechaza esta hipótesis nula, se determina que el método seleccionado es significativamente más preciso que el método no seleccionado. Si no se rechaza la hipótesis nula, se determina que ambos métodos presentan una precisión equivalente. Encontrará todos los detalles de las pruebas de DM y HLN en la sección Referencias adicionales.

Al realizar la prueba HLN entre el método seleccionado y todos los demás métodos, la herramienta genera una lista de métodos que presentan una precisión equivalente a la del método seleccionado. Esta información se resume mediante mensajes de geoprocesamiento y gráficos.

Prácticas recomendadas y limitaciones

Al decidir si esta herramienta resulta apropiada para sus datos y los parámetros que debe elegir, deben tenerse en cuenta varias cosas.

• Para cada ubicación, esta herramienta selecciona el método de predicción que proporciona el RMSE de validación o predicción más bajo, lo que puede resultar en la selección de métodos diferentes para ubicaciones que están cercanas entre sí. Por ejemplo, si sus datos representan a la población anual de los condados, un condado puede utilizar un método basado en bosque, y dos condados vecinos pueden utilizar una curva de Gompertz y un método de suavizado exponencial estacional. Considere si tiene sentido que diferentes lugares utilicen métodos de predicción diferentes y con formas muy diferentes, y compruebe si la selección de la ubicación del método de predicción por ubicación proporciona realmente una reducción notable del RMSE de predicción o validación en las ubicaciones. Si el uso de un solo método en cada ubicación es casi tan preciso como elegir un método diferente ubicación por ubicación, el principio de parsimonia establece que debe usar un solo método de predicción para todas las ubicaciones.
• La elección de si se desea evaluar mediante resultados de validación presenta ventajas y desventajas. Realizar la validación con periodos de tiempo retenidos es el equivalente más cercano a la predicción de valores futuros desconocidos, por lo que, al utilizar la validación, se selecciona con mayor frecuencia el método que prediga los valores futuros con mayor precisión. Sin embargo, las pruebas DM y HLN solo se realizan si no se evalúa usando los resultados de la validación. Se debe a que las pruebas DM y HLN son pruebas de calidad de ajuste, por lo que solo comprueban en qué medida se ajusta el modelo a los valores medidos en la ubicación y, por tanto, no se aplican si se evalúa utilizando los resultados de la validación. Usted debe decidir qué es lo más importante: seleccionar el método que predice los valores futuros con mayor precisión o probar si el método seleccionado proporciona un ajuste significativamente mejor a las series temporales.
• Los métodos de predicción creados con la herramienta Predicción basada en bosque suelen proporcionar el mejor ajuste a las series temporales de una ubicación, pero, a menudo, no predicen los valores futuros con mayor precisión que otros métodos. Si cualquiera de los cubos de espacio-tiempo de la predicción de entrada representa un método basado en bosque, se recomienda evaluar mediante los resultados de validación.

Salidas de la herramienta

La salida principal de esta herramienta es una clase de entidad 2D que muestra cada ubicación en el Cubo de espacio-tiempo de entrada simbolizado por el periodo de tiempo predicho final del método seleccionado. Los valores predichos del método seleccionado en todos los demás periodos de tiempo se almacenan como campos. Aunque el método de cada ubicación se selecciona de forma independiente y las relaciones espaciales no se tienen en cuenta, el mapa puede mostrar patrones espaciales para áreas con series temporales similares.

Gráficos emergentes

Al hacer clic en cualquier entidad del mapa con la herramienta de navegación Explorar, se muestra un gráfico interactivo en el panel Elementos emergentes que muestra los valores ajustados, los valores predichos y el intervalo de confianza (si el método admite intervalos de confianza) del método seleccionado en la ubicación, junto con una línea vertical gris al comienzo de la predicción. Para todos los demás métodos, se muestran los valores predichos.

El método seleccionado se resalta en la leyenda del gráfico y, si se utiliza el mismo método más de una vez, se utiliza un número de índice para diferenciarlos. La imagen que aparece a continuación muestra un gráfico emergente de dos métodos basados en bosque, un método de ajuste de curva lineal y un método de suavizado exponencial. El primer método basado en bosque es el método seleccionado en la ubicación:

El gráfico emergente presenta las predicciones de todos los métodos.

Puede hacer clic en cualquier otro método de la leyenda para mostrar sus valores ajustados y su intervalo de confianza (si se admite). La siguiente imagen muestra el mismo gráfico después de hacer clic en el método de suavizado exponencial:

El gráfico emergente muestra los intervalos de confianza de dos métodos de predicción.

Al mover el puntero por la ventana emergente, se crea un control deslizante de tiempo interactivo (línea cian vertical) que muestra todos los valores del gráfico en ese periodo de tiempo:

El control deslizante de tiempo muestra todos los valores del gráfico en ese periodo de tiempo.

Nota:

Los gráficos emergentes no se crean cuando las entidades de salida se guardan como un shapefile (.shp). Además, si algún intervalo de confianza se extiende más allá del gráfico, aparece un botón Mostrar rango de datos completo sobre el gráfico para extender el gráfico y mostrar todo el intervalo de confianza.

Mensajes de geoprocesamiento

La herramienta proporciona varios mensajes con información sobre la ejecución de la herramienta. Los mensajes presentan varias secciones.

La sección Detalles del análisis muestra propiedades de los cubos de espacio-tiempo de entrada, incluidos los métodos de predicción de cada cubo, el número de periodos de tiempo predichos, el número de periodos de tiempo excluidos para validación, el porcentaje de ubicaciones que se modelaron con estacionalidad e información acerca de los periodos de tiempo predichos. Las propiedades mostradas en esta sección dependen de cómo se crearon originalmente los cubos, de modo que la información proporcionada puede variar.

Las secciones Resumen de RMSE de predicción y Resumen de RMSE de validación muestran estadísticas de resumen del RMSE de predicción y el RMSE de validación entre todas las ubicaciones. Para cada valor, se muestran el mínimo, el máximo, el valor medio, la mediana y la desviación estándar. Solo se muestra una de estas dos secciones en los mensajes con cada ejecución de la herramienta. Si decide evaluar usando los resultados de la validación, se muestran las estadísticas de resumen del RMSE de validación. De lo contrario, se muestran estadísticas de resumen del RMSE de predicción.

La sección Resumen de métodos de predicción seleccionados ofrece un resumen de los métodos de predicción seleccionados con mayor frecuencia para las ubicaciones. Para cada cubo de espacio-tiempo de entrada, la sección muestra el número y el porcentaje de ubicaciones en las que se seleccionó ese método. De esta forma, usted puede comparar rápidamente en qué medida funcionaron bien los distintos métodos en todas las ubicaciones. Si decide no evaluar utilizando los resultados de la validación, esta sección muestra también el número y el porcentaje de ubicaciones en las cuales cada método no fue significativamente menos preciso que el método seleccionado. El método seleccionado para una ubicación se considera como equivalente en cuanto a precisión al método seleccionado en la propia ubicación, por lo que se incluye en el recuento y en el porcentaje.

Nota:

Los mensajes de geoprocesamiento aparecen en la parte inferior del panel Geoprocesamiento durante la ejecución de la herramienta. Puede acceder a los mensajes desplazándose sobre la barra de progreso, haciendo clic en el botón emergente o expandiendo la sección de mensajes en el panel Geoprocesamiento. También puede acceder a los mensajes de una herramienta ejecutada anteriormente con el historial de geoprocesamiento.

Campos de las entidades de salida

Además del Id. de objeto, campos de geometría y el campo que contiene los gráficos emergentes, las Entidades de salida presentan los siguientes campos:

• Id. de ubicación (LOCATION): el Id. de ubicación de la ubicación correspondiente del cubo de espacio-tiempo.
• Predicción para (variables de análisis) en (periodo de tiempo) (FCAST_1, FCAST_2 y así sucesivamente): el valor predicho del método de predicción seleccionado en cada periodo de tiempo futuro. El alias de campo muestra el nombre de la Variable de análisis y la fecha de la predicción. Se crea un campo de este tipo para cada periodo de tiempo previsto.
• Intervalo alto para (variable de análisis) en (periodo de tiempo) (HIGH_1, HIGH_2 y así sucesivamente): el límite superior de un intervalo de confianza del 90 por ciento para el valor del método de predicción seleccionado en cada periodo de tiempo futuro. El alias de campo muestra el nombre de la Variable de análisis y la fecha de la predicción. Se crea un campo de este tipo para cada periodo de tiempo predicho. Si el método de predicción seleccionado en una ubicación no proporciona intervalos de confianza, el valor de este campo es nulo. Si ninguno de los métodos proporciona intervalos de confianza, este campo no se crea.
• Intervalo bajo para (variable de análisis) en (periodo de tiempo) (LOW_1, LOW_2 y así sucesivamente): el límite inferior de un intervalo de confianza del 90 por ciento para el valor del método de predicción seleccionado en cada periodo de tiempo futuro. El alias de campo muestra el nombre de la Variable de análisis y la fecha de la predicción. Se crea un campo de este tipo para cada periodo de tiempo predicho. Si el método de predicción seleccionado en una ubicación no proporciona intervalos de confianza, el valor de este campo es nulo. Si ninguno de los métodos proporciona intervalos de confianza, este campo no se crea.
• Mejor error cuadrático medio de predicción (F_RMSE): el RMSE de predicción del método seleccionado en la ubicación.
• Mejor error cuadrático medio de validación (V_RMSE): el RMSE de validación del método seleccionado en la ubicación. Si el parámetro Evaluar usando resultados de validación no está activado, este campo no se crea.
• Duración de estación (SEASON): el número de periodos de tiempo correspondientes a una estación en la ubicación. Si el método de predicción seleccionado en la ubicación no admite la estacionalidad, el valor de este campo es -1.
• Ventana de tiempo (TIMEWINDOW): la ventana de periodo de tiempo utilizada en la ubicación. Si el método de predicción seleccionado en la ubicación no admite ventanas de tiempo, el valor de este campo es -1.
• Es estacional (IS_SEASON): una variable booleana que indica si la estacionalidad se determinó a partir de la densidad espectral. Un valor de 1 indica que se detectó estacionalidad a partir de la densidad espectral; un valor de 0, que no se utilizó estacionalidad o que el método de predicción seleccionado no admite la estacionalidad.
• Método de predicción (METHOD): el tipo de método de predicción que se seleccionó en la ubicación.
• RMSE de predicción de (nombre de método) (F_RMSE_1, F_RMSE_2 y así sucesivamente): el RMSE de predicción de cada método de predicción en la ubicación. El alias de campo muestra el nombre del método. Se crea un campo de este tipo para cada cubo de espacio-tiempo proporcionado en el parámetro Cubos de espacio-tiempo de predicción de entrada. Si el parámetro Evaluar usando resultados de validación está activado, este campo no se crea.
• RMSE de validación de (nombre de método) (V_RMSE_1, V_RMSE_2 y así sucesivamente): el RMSE de validación de cada método de predicción en la ubicación. El alias de campo muestra el nombre del cubo de espacio-tiempo de entrada. Se crea un campo de este tipo para cada cubo de espacio-tiempo proporcionado en el parámetro Cubos de espacio-tiempo de predicción de entrada. Si el parámetro Evaluar usando resultados de validación no está activado, este campo no se crea.
• Métodos de ajuste igualmente precisos (EQUAL_MTHD): un campo de texto que enumera los métodos de predicción que no fueron significativamente menos precisos que el método seleccionado en la ubicación. Si existe más de un método que no fue significativamente menos preciso, los distintos métodos aparecen separados por una línea vertical |. Si se enumera más de un método del mismo tipo (por ejemplo, dos métodos basados en bosque que utilizan parámetros de bosque diferentes), el nombre del método contiene un número de índice para distinguirlos. Si el parámetro Evaluar usando resultados de validación está activado, este campo no se crea.
• Es el método óptimo: (nombre de método) (OPT_(Method)): una variable booleana que indica si el método de predicción no fue significativamente menos preciso que el método seleccionado en la ubicación. El nombre del método de predicción aparece en el nombre de campo y el alias de campo. Un valor de 1 indica que el método no fue significativamente menos preciso que el método seleccionado. Se crea un campo de este tipo para cada método de predicción, y el método seleccionado en la ubicación siempre contiene el valor 1. Si el parámetro Evaluar usando resultados de validación está activado, estos campos no se crean.

Cubo de espacio-tiempo de salida

Si se especifica un Cubo de espacio-tiempo de salida, el cubo de salida contiene todos los valores originales del cubo de espacio-tiempo de entrada, incorporando también los valores predichos del método de predicción seleccionado. Este nuevo cubo de espacio-tiempo se puede visualizar con las herramientas Visualizar cubo de espacio-tiempo en 2D o Visualizar cubo de espacio-tiempo en 3D, y se puede utilizar como entrada para las herramientas de la caja de herramientas Minería de patrones en espacio-tiempo, tales como Análisis de puntos calientes emergentes y Clustering de serie temporal.

Gráficos de resumen de las pruebas DM y HLN

Si decide no evaluar usando los resultados de la validación desactivando para ello el parámetro Evaluar usando resultados de validación, las entidades de salida contienen dos gráficos que resumen los resultados de las pruebas DM y HLN.

El gráfico Métodos de predicción y métodos de ajuste con precisión equivalente permite ver qué métodos de predicción se seleccionaron con mayor frecuencia y, si se seleccionó otro método, con qué frecuencia tuvo cada método una precisión equivalente a la del método seleccionado. El gráfico muestra gráficos de barras paralelas para los tres métodos seleccionados con mayor frecuencia (si solo se proporcionaron dos cubos de espacio-tiempo, solo se muestran dos gráficos de barras paralelas). Para cada uno de los tres métodos, el gráfico muestra un gráfico de barras solo para las ubicaciones en las que se seleccionó dicho método. Entre estas ubicaciones, el gráfico de barras muestra el número de ubicaciones en las cuales cada método presenta una precisión equivalente (determinado mediante las pruebas DM o HLN). La barra más alta siempre corresponde al método seleccionado, lo que permite comparar su escala relativa. Los nombres de los métodos de predicción en el eje x suelen aparecer truncados en el gráfico, por lo que es posible mover el cursor por las barras para ver los nombres de los métodos.

El gráfico Distribución de combinaciones de métodos de predicción con precisión equivalente muestra un gráfico de barras para diferentes combinaciones de métodos de predicción que presentan una precisión equivalente. Le permite ver qué métodos permitieron representar a menudo las ubicaciones con una precisión equivalente. Cada barra corresponde a una combinación determinada de métodos de predicción, y la altura de la barra indica el número de ubicaciones en las cuales esos métodos alcanzaron una precisión equivalente. Los nombres de las combinaciones en el eje x suelen aparecer truncados en el gráfico, por lo que es posible mover el cursor por las barras para ver los nombres de los métodos de predicción presentes en la combinación.

Recursos adicionales

Para más información sobre las pruebas DM y HLN, consulte las siguientes referencias:

• Harvey, D., Leybourne, S., and Newbold, P. (1998). "Tests for Forecast Encompassing." Journal of Business and Economic Statistics, 16:254-259.
• Diebold, F and Mariano, R. (1995). "Comparing Predictive Accuracy." Journal of Business and Economic Statistics, 13: 253-63.