按位置评估预测工具用于评估和合并一组位置上的相同基础时间序列数据的多个预测。将选择每个位置上最准确的预测方法来表示该位置的预测,因此您可以尝试多种预测方法,并逐个位置选择最准确的位置。主要输出是每个位置上所选预测方法的最后预测时间步长的地图以及信息性消息和弹出图表。
此工具的输入必须由使用相同时空立方体作为输入的时间序列预测工具集内的工具创建。每个位置上最准确的预测方法可以通过以下标准确定:模型与时空立方体测量值拟合的程度,或者,模型在每个时间序列末尾预测的保留时间步长的精确度。
建议您阅读为此工具提供的每种预测方法的相关文档,以了解每种方法的预测模型、验证模型和均方根误差 (RMSE) 统计数据。
评估每个位置的预测方法
该工具的目标是在时空立方体的每个位置上选择最准确的预测方法。但是,可以衡量预测方法准确性的方法不止一种。该工具使用两个条件之一来确定每个位置上最准确的预测。
使用验证 RMSE 进行评估
该工具的默认选项将选择每个位置上验证 RMSE 最小的预测方法。要使用此选项,请保持使用验证结果进行评估参数处于选中状态。验证 RMSE 将通过保留每个位置上一些最终时间步长并使用剩余时间步长来预测保留的值来进行计算。然后,将预测值与真实值进行比较,以查看它们的匹配程度。通常建议您使用验证结果进行评估,因为在时间序列末尾预测保留时间步长类似于对未来时间步长进行预测,这是时间序列预测的目标。
要使用此选项,所有输入时空立方体必须排除相同数量的验证时间步长,并且该数量必须大于 0。
使用预测 RMSE 进行评估
您也可以选择在每个位置上预测 RMSE 最小的预测方法。要使用此选项,请取消选中使用验证结果进行评估参数。预测 RMSE 用于测量预测模型与每个位置上时间序列测量值的拟合程度。由于预测 RMSE 会测量用于估计预测模型数据的拟合度,因此与预测未来时间步长值相比,预测模型通常会更准确地拟合时间序列的测量值。
若在验证时将排除相对较少的时间步长,建议使用此选项。这种情况对于时间步长数量较少的时空立方体而言很常见,而对于需要排除多个时间步长的验证不可行。当您需要检验所选预测方法是否比其他方法所提供拟合度更具统计显著性时,也建议使用此选项。
检验预测方法是否具有等效精度
如果您使用预测 RMSE 进行评估,则会将每个位置上的已选方法与未选择的每种方法进行统计性比较。该工具将选择预测 RMSE 最小的方法,但这并不意味着已选方法的准确性会显著高于其他方法。为确定所选方法是否提供更显著的拟合度,需要进行统计检验。
对于每个比较,无论 Diebold-Mariano (DM) 检验,还是 Harvey、Leybourne 和 Newbold (HLN) 检验都将以 95% 的置信度进行。DM 和 HLN 检验是统计假设检验,用于检验两个预测模型是否具有等效精度。HLN 检验是 Diebold-Mariano (DM) 检验的修改版本,可以校正小样本大小。对于较大样本大小,测试方法相同。如果预测模型中的时间步长为 30 或更大,则在该位置执行 Diebold-Mariano 检验。否则,将执行 HLN 检验。
DM 和 HLN 检验均基于预测模型与时间序列测量值的拟合度来计算其检验统计量。这些计算不会以任何方式使用验证模型,因此,当您使用验证结果进行评估时,此类计算不适用。每种检验的零假设是指两个预测模型都将提供与时间序列测量值同样准确的拟合。如果零假设被拒绝,则可确定所选方法比未选中的方法准确得多。如果零假设未被拒绝,则可确定这两种方法具有等效精度。有关 DM 和 HLN 检验的完整说明,可以在其他参考部分找到。
通过在所选方法和所有其他方法之间执行 HLN 检验,该工具将生成与所选方法准确性相同的方法的列表。此信息将汇总在地理处理消息和图表中。
最佳做法和限制
在确定此工具是否适合您的数据以及应该选择的参数时,应考虑以下几点:
- 对于每个位置,此工具都会选择提供最小验证或预测 RMSE 的预测方法,这可能会导致针对互相邻近的两个位置选择不同的方法。例如,如果您的数据表示各县的年人口,则其中一个县可能会使用基于森林的方法,而邻近的两个县可能会使用 Gompertz 曲线和季节性指数平滑方法。考虑对不同位置使用形状差别很大的预测方法是否有意义,并检查逐个位置选择预测方法是否确实显著降低了该位置的预测 RMSE 或验证 RMSE。如果在每个位置使用单一方法与逐个位置选择不同方法时准确性几乎相同,则精简原则表明您应该对所有位置使用单一预测方法。
- 选择是否使用验证结果进行评估各有优缺点。对保留的时间步长执行验证与预测未知的未来值最接近,因此使用验证会更频繁地选择可最准确地预测未来值的方法。但是,仅当您不使用验证结果进行评估时,才执行 DM 和 HLN 检验。这是因为 DM 和 HLN 检验是拟合优度测试,它们仅检验模型与该位置上测量值的拟合程度,因此,当使用验证结果进行评估时,此类检验方法不适用。必须确定以下哪一项最重要:选择可最准确地预测未来价值的方法,或者,检验所选方法是否可更好地拟合时间序列。
- 通常,使用基于森林的预报工具所创建的预测方法可提供最适合某个位置的时间序列,但此类方法在预测未来价值时,通常准确性不如其他方法。如果任何输入预测时空立方体表示基于森林的方法,则建议您使用验证结果进行评估。
工具输出
该工具的主要输出是 2D 要素类,其中显示输入时空立方体中的每个位置将由所选方法的最终预测时间步长进行符号化。对于所有其他时间步长,所选方法的预测值都存储为字段。尽管每个位置的方法均单独进行选择,且不会考虑空间关系,但地图可能会针对具有相似时间序列的区域显示空间模式。
弹出图表
使用浏览导航工具单击地图上的任何要素时,将在弹出窗格中出现一个交互式图表,其中显示该位置处所选方法的拟合值、预测值和置信区间(如果该方法支持置信区间),并在预测开始位置上显示一条灰色垂直线。对于所有其他方法,将显示预测值。
所选方法将在图表的图例中突出显示,此外,如果同一方法使用多次,则会使用索引号对其进行区分。下图显示了两种基于森林的方法(线性曲线拟合方法和指数平滑方法)的弹出图表。第一种基于森林的方法是在该位置处已选择的方法:
您可以单击图例中的任何其他方法以显示其拟合值和置信区间(如果支持)。下图显示了在单击指数平滑方法后的相同图表:
将鼠标悬停在弹出图表上会创建一个交互式时间滑块(青色垂直线),用于显示该时间步长时图表的所有值:
注:
将输出要素另存为 shapefile (.shp) 时,将不会创建弹出图表。此外,如果任何置信区间超出了图表,则显示完整数据范围按钮会出现在图表上方,用于扩展图表以显示整个置信区间。
地理处理消息
此工具将提供许多消息,其中包含有关工具执行的信息。消息分为几个部分。
分析详细信息部分将显示输入时空立方体的属性,包括每个立方体的预测方法、已预测的时间步长数、已排除无需进行验证的时间步长数、按季节性建模的位置的百分比以及有关已预测时间步长的信息。本节中显示的属性取决于立方体的最初创建方式,因此提供的信息可能会有所不同。
预测 RMSE 的摘要和验证 RMSE 的摘要部分显示所有位置的“预测RMSE”和“验证RMSE”的摘要统计数据。对于每个值,都将显示最小值、最大值、平均值、中位数和标准差。每次运行该工具时,消息中将仅显示这两个部分之一。如果您选择使用验证结果进行评估,则会显示“验证 RMSE”的摘要统计数据。否则,将显示“预测 RMSE”的摘要统计数据。
所选预测方法摘要部分提供了有关这些位置上最常选择的预测方法的摘要。对于每个输入时空立方体,此部分显示选择该方法的位置的数量和百分比。这可用于快速比较各种方法在所有位置上的执行情况。如果您选择不使用验证结果进行评估,则该部分还会显示每种方法准确度不会明显低于所选方法的位置的数量和百分比。在某个位置选择的方法被认为与在该位置(本身)选择的方法具有等效准确性,因此会将其包括在计数和百分比中。
输出要素的字段
除了“对象 ID”、“几何”字段以及包含弹出图表的字段之外,输出要素还具有以下字段:
- 位置 ID (LOCATION) - 时空立方体相应位置的位置 ID。
- (时间步长)中的(分析变量)预测(FCAST_1、FCAST_2,依此类推) - 所选预测方法在每个未来时间步长的预测值。字段别名将显示分析变量的名称以及预测的日期。将为每个预测的时间步长创建此类型的字段。
- (时间步长)中(分析变量)的置信区间上限(HIGH_1、HIGH_2,依此类推) - 所选预测方法的预测值在每个未来时间步长的 90% 置信区间的上限。字段别名将显示分析变量的名称以及预测的日期。将为每个预测的时间步长创建此类型的字段。如果在某个位置上选择的预测方法不提供置信区间,则此字段中的值为空。如果所有方法都不提供置信区间,则不会创建此字段。
- (时间步长)中(分析变量)的置信区间下限(LOW_1、LOW_2,依此类推) - 所选预测方法的预测值在每个未来时间步长的 90% 置信区间的下限。字段别名将显示分析变量的名称以及预测的日期。将为每个预测的时间步长创建此类型的字段。如果在某个位置上选择的预测方法不提供置信区间,则此字段中的值为空。如果所有方法都不提供置信区间,则不会创建此字段。
- 最佳预测均方根误差 (F_RMSE) - 该位置上所选方法的预测 RMSE。
- 最佳验证均方根误差 (V_RMSE) - 该位置上所选方法的验证 RMSE。如果取消选中使用验证结果进行评估参数,则不会创建此字段。
- 季节长度 (SEASON) - 对应于该位置一个季节的时间步长数。如果在该位置选择的预测方法不支持季节性,则此字段中的值为 -1。
- 时间窗 (TIMEWINDOW) - 在该位置使用的时间步长窗口。如果在该位置选择的预测方法不支持时间窗,则此字段中的值为 -1。
- 是季节性 (IS_SEASON) - 布尔变量,指示季节性是否由光谱密度决定。值为 1 表示是通过光谱密度检测到季节性,值为 0 表示未使用季节性,或者所选预测方法不支持季节性。
- 预测方法 (METHOD) - 在该位置上选择的预测方法。
- (方法名称)预测 RMSE (F_RMSE_1、F_RMSE_2,依此类推) - 该位置上每种预测方法的预测 RMSE。字段别名将显示方法的名称。将为输入预测时空立方体参数中提供的每个时空立方体创建一个此类型的字段。如果已选中使用验证结果进行评估参数,则不会创建此字段。
- (方法名称)验证 RMSE (V_RMSE_1、V_RMSE_2,依此类推) - 该位置上每种预测方法的验证 RMSE。字段别名将显示输入时空立方体的名称。将为输入预测时空立方体参数中提供的每个时空立方体创建一个此类型的字段。如果未选中使用验证结果进行评估参数,则不会创建此字段。
- 等精度拟合方法 (EQUAL_MTHD) - 文本字段,用于列出该位置上准确性不会明显低于所选方法的预测方法。如果准确性未明显降低的方法有多个,则每种方法之间用竖线 | 分隔。如果所列出的相同类型的方法不止一个(例如,两个使用不同森林参数的基于森林的方法),则方法名称将包含一个索引号以对其进行区分。如果已选中使用验证结果进行评估参数,则不会创建此字段。
- 是最佳方法:(方法名称) (OPT_(Method)) - 布尔变量,指示预测方法的准确性是否明显低于该位置上的已选方法。预测方法的名称将显示在字段名称和字段别名中。值为 1 表示该方法的准确性不会明显低于所选方法。将为每种预测方法创建此类型的字段,并且该位置上的已选方法始终包含值 1。如果已选中使用验证结果进行评估参数,则不会创建这些字段。
输出时空立方体
如果指定了输出时空立方体,则输出时空立方体包含输入时空立方体所有原始值,并附加所选预测方法的预测值。这一新建的时空立方体可以使用在 2D 模式下显示时空立方体或在 3D 模式下显示时空立方体工具进行显示,也可以用作时空模式挖掘工具箱中工具的输入,例如新兴热点分析和时间序列聚类。
DM 和 HLN 检验摘要图表
如果您选择不通过验证结果进行评估(取消选中使用验证结果进行评估参数),则输出要素将包含两个汇总了 DM 和 HLN 检验结果的图表。
等效精度预测方法和拟合方法图表可查看选择最频繁的预测方法,如果选择了不同的方法,则会显示每种方法与所选方法具有等效精度的频率。图表将针对最常选择的三种方法显示并排条形图(如果仅提供了两个时空立方体,则仅显示两个并排条形图)。对于这三种方法中的每一种,图表将仅针对选择该方法的位置显示条形图。在这些位置中,条形图显示了每种方法精度相同的位置数(由 DM 或 HLN 检验确定)。条形图最高位置上的统计条始终与所选方法相对应,这使您可以比较相对比例。x 轴上的预测方法名称显示在图表中时通常会被截断,因此,您可以将鼠标悬停在任何统计条上来查看方法的名称。
具有等效精度的预测方法组合的分布图表会显示一个条形图,其中显示具有等效精度的预测方法的不同组合。这可用于查看通常哪些方法可以很好地表示位置。每个统计条对应于一个预测方法的特定组合,并且统计条的高度指示这些方法具有等效精度的位置数。x 轴上的组合名称显示在图表中时通常会被截断,因此,您可以将鼠标悬停在任何统计条上来查看组合中的预测方法名称。
其他资源
有关 DM 和 HLN 检验的详细信息,请参阅以下参考资料:
- Harvey, D., Leybourne, S., and Newbold, P. (1998). "Tests for Forecast Encompassing." Journal of Business and Economic Statistics, 16:254-259.
- Diebold, F and Mariano, R. (1995). "Comparing Predictive Accuracy." Journal of Business and Economic Statistics, 13: 253-63.