[位置による予測評価 (Evaluate Forecasts by Location)] ツールは、場所のセットにおける同じ基礎時系列データに関する複数の予測を評価したりマージするために使用します。それぞれの場所に対して、その場所の予測を表す際に最も正確な予測方法を選択します。複数の予測方法を試して場所ごとに最も正確な方法を選択してください。1 次出力は、通知メッセージやポップアップ チャートと同様にそれぞれの場所へ選択した予測方法による最終予測時間ステップに関するマップです。
このツールへの入力は、同じ時空間キューブを入力として使用する [時系列予測] ツールセット内のツールで作成する必要があります。場所ごとの最も正確な予測方法は、時空間キューブの計測値に対するモデルの適合度、またはその予測方法による各時系列の最終の保留時間ステップの予測精度によって決定されます。
ツールに適用する各予測方法のドキュメントを参照して、各方法の予測モデル、検証モデル、および RMSE (二乗平均平方根誤差) の統計情報について詳細を学習することをお勧めします。
[カーブ フィット予測 (Curve Fit Forecast)] の詳細
[指数平滑法予測 (Exponential Smoothed Forecasting)] の詳細
[フォレストベース予測 (Forest-based Forecast)] の詳細
場所ごとに予測方法を評価します。
このツールの目的は、時空間キューブの場所ごとに最も正確な予測方法を選択することです。ただし、予測方法の精度を調べる方法は 1 つではありません。このツールでは、場所ごとの最も正確な予測を決定するために 2 つの判定基準のうち 1 つを使用します。
検証 RMSE を使って評価する
ツールのデフォルト オプションでは、場所ごとの [検証 RMSE] の最小値による予測方法を選択します。このオプションを使用するには、[検証結果を使った評価] パラメーターをオンのままにします。[検証 RMSE] は、場所ごとの最終時間ステップをいくつか保留し、残り時間ステップを使って保留された値を予測することで計算されます。予測値と真の値を比較して、お互いの整合性を確認します。時系列における最後の保留時間ステップを予測することは、時系列予測の目的である将来時間ステップを予測することと相似のため、検証結果を使って評価することは一般的に推奨されます。
このオプションを使用するには、すべての入力時空間キューブが検証の時間ステップを同じ数だけ除外する必要があり、除外する数は 0 より大きい必要があります。
予測 RMSE を使った評価
場所ごとの [予測 RMSE] の最小値による予測方法を選択することもできます。このオプションを使用するには、[検証結果を使った評価] パラメーターをオフにします。[予測 RMSE] は場所ごとの時系列の計測値に対する予測モデルの適合度を測定します。[予測 RMSE] は予測モデルの推定に使用したデータの適合度を測定します。予測モデルは、将来時間ステップの予測よりも時系列の計測値に対してより正確に適合することが多いです。
比較的少数の時間ステップが検証で除外されている場合には、このオプションをお勧めします。このような状況は、検証で少数の時間ステップの除外しか実施できない、わずかな数の時間ステップによる時空間キューブで多く見られます。選択した予測方法が、他の方法と比べて統計的に著しく良好な適合度を提供するかテストする必要がある場合には、このオプションをお勧めします。
予測方法の等価精度テスト
[予測 RMSE] を使って評価する場合、場所ごとに選択した方法を選択しなかった他の方法と統計的に比較します。このツールでは [予測 RMSE] の最小値による方法を選択しますが、選択した方法が他の方法よりも著しく正確であるわけではありません。選択した方法が著しく良好な適合度を提供するか確認するには、統計的テストが必要です。
それぞれの比較では、DM (Diebold-Mariano) テストまたは HLN (Harvey、Leybourne、Newbold) テストのいずれかを信頼度 95 パーセントで実施します。DM および HLN テストは統計的仮説試験であり、2 つの予想モデルが同等の精度を持っているか検証します。HLN テストは、小サンプル サイズを補正する DM (Diebold-Mariano) テストの改良バージョンです。大サンプル サイズに対しては、それぞれのテストに差はありません。予測モデル内の時間ステップの数は 30 以上であり、Diebold-Mariano テストを場所に対して実施します。それ以外の場合は、HLN テストを実施します。
DM および HLN テストは両方とも、時系列の計測値への予測モデルの適合度に基づきテストの統計情報を計算します。検証結果を使った評価に計算を適用できないため、どのような容量でも計算に対して検証モデルは使用しません。各テストの Null 仮説は、精度が同等の適合度を時系列の計測値へ提供する予測モデルのものです。これらの Null 仮説が拒絶された場合、選択した方法は選択しなかった方法に比べて著しく正確であると決定されます。これらの Null 仮説が拒絶されなかった場合、両方の方法は同等の精度を持つと決定されます。DM および HLN テストの詳細については、「その他の参考」セクションでご確認ください。
選択した方法とその他の方法に対して HLN テストを実施することで、ツールは選択した方法と同等の精度を持つ方法の一覧を生成します。ジオプロセシング メッセージ および チャート に情報が集計されます。
ベスト プラクティスおよび制限
このツールが自分のデータに適しているかどうか、およびどのパラメーターを選択するべきかを判断する場合、いくつかのことを考慮する必要があります。
- それぞれの場所に対して、このツールでは最小の [検証 RMSE] または [予測 RMSE] を提供する予測方法を選択しますが、近接する場所ごとに異なる方法となる場合があります。たとえば、データが国々の年間人口を表す場合、1 つの国に対してはフォレストベースの予測を使用し、2 つの近接する国に対してはゴンペルツ曲線および季節型指数平滑法を使用することがあります。大きく異なる形状を用いた別々の予測方法をそれぞれの場所に対して使用することが理にかなっているか検討し、場所ごとに予測方法を選択してそれぞれの場所の [予測 RMSE] と [検証 RMSE] が著しく減少するか確認します。単一の方法をすべての場所に使用した際の精度が場所ごとに別々の方法を選択した際とおおよそ同じ場合、節約の原則に従って単一の予測方法をすべての場所に使用します。
- 検証結果を使った評価には利点と欠点があります。保留時間ステップに対する検証は、不明な将来値の予測に最も近似のものであり、検証を使用することで、将来値を最も正確に予測する方法を選択できる確率が上がります。ただし、DM および HLN テストは検証結果を使った評価を行わない場合にのみ実施できます。これは、DM および HLN テストが適合度検定であり、該当する場所の計測値へのモデルの適合度のみを検証しているためです。これらのテストは検証結果を使った評価には適用できません。次のどちらがより重要であるか決定する必要があります: 最も正確な将来値を予測する方法を選択する、または選択された方法が時系列に対する著しく良好な適合度を提供するか検証する。
- 予測方法は [フォレストベース予測 (Forest-based Forecast)] ツールを使用して作成します。このツールは通常、場所の時系列に対して最適な適合度を提供しますが、将来値の予測が他の方法に比べて不正確なことが多いです。入力予測時空間キューブのいずれかがフォレストベースの方法を表す場合、検証結果を使った評価をお勧めします。
ツールの出力
このツールの 1 次出力は、選択した方法の最終予測時間ステップによってシンボル化された [入力時空間キューブ] にそれぞれの場所を表示する 2D フィーチャクラスです。その他すべての時間ステップにおける選択した方法による予測値は、フィールドとして保存されます。場所ごとの方法は空間リレーションシップを考慮せずに個別に選択されますが、類似の時系列を持つエリアの空間パターンがマップに表示される場合があります。
ポップアップ チャート
[マップ操作] のナビゲーション ツールを使ってマップ上のフィーチャをクリックすると、予測の開始箇所の灰色の縦線に沿った場所に対して選択した方法の適合値、予測値、および信頼区間 (その方法が信頼区間をサポートしていれば) を示す[ポップアップ] ウィンドウ内に、インタラクティブ チャートが表示されます。その他の方法では、予測値が表示されます。
選択した方法がチャートの凡例にハイライト表示され、同じ方法を 1 回でも使用したことがあれば、インデックス番号によって識別されます。次の画像は 2 つのフォレストベースの方法、線形カーブ フィッティングの方法、および指数平滑化の方法におけるポップアップ チャートを示します。最初のフォレストベースの方法が場所に対して選択されています。
凡例の他の方法をクリックして、その方法における適合値と信頼区間 (サポートされていれば) を表示することができます。次の図に、指数平滑化の方法をクリックした後の同じチャートを示します。
ポップアップ上にカーソルを置くと、その時間ステップのチャートにおけるすべての値を表示するインタラクティブ タイム スライダー (水色の縦線) が作成されます。
メモ:
出力フィーチャがシェープファイルとして保存された場合、ポップアップ チャートは作成されません (*.shp)。加えて、信頼区間がチャート外にはみ出した場合、[全データ範囲を表示] ボタンがチャートの上に表示されます。このボタンによって信頼区間全体が表示されるようチャートを拡張できます。
ジオプロセシング メッセージ
このツールは、ツールの実行に関する情報を含む複数のメッセージを提供します。これらのメッセージはいくつかのセクションに分かれています。
[解析の詳細] セクションには、入力時空間キューブのプロパティ、予測時間ステップの数、検証で除外された時間ステップの数、季節ごとにモデル化された場所の割合、および予測時間ステップに関する情報が表示されます。このセクションに表示されるプロパティは入力時空間キューブの元の作成方法に依存しているため、提供される情報も変化します。
[予測 RMSE のサマリー] および [検証 RMSE のサマリー] セクションには、すべての場所における予測 RMSE および検証 RMSE のサマリー統計情報が表示されます。それぞれの値について、最小値、最大値、平均値、中央値、および標準偏差が表示されます。ツールを実行するたびに、それら 2 つのセクションのどちらか 1 つだけがメッセージに表示されます。検証結果を使って評価する場合、検証 RMSE のサマリー統計情報が表示されます。それ以外の場合、予測 RMSE のサマリー統計情報が表示されます。
[選択した予測方法のサマリー] セクションは、場所に対して最も頻繁に選択した予測方法についてのサマリーを提供します。このセクションは、その方法を選択した場所の数と割合を入力時空間キューブごとに表示します。これによって、すべての場所を通じてそれぞれの方法を実施した頻度をすばやく比較できます。検証結果を使った評価をしない場合、セクションは各方法の精度が選択した方法に比べてそれほど劣っていなかった場所の数と割合を表示します。ある場所で選択した方法は、その場所 (それ自体) で選択されている方法と同等の精度であると見なされるため、上記の数と割合に含まれます。
メモ:
ジオプロセシング メッセージは、ツールの実行中に [ジオプロセシング] ウィンドウの下部に表示されます。このメッセージにアクセスするには、[ジオプロセシング] ウィンドウでプログレス バーの上にカーソルを置くか、ポップアップ ボタン 
をクリックするか、メッセージ セクションを展開します。ジオプロセシング履歴を使用して、以前に実行したツールのメッセージにアクセスすることもできます。
出力フィーチャのフィールド
オブジェクト ID、ジオメトリ フィールド、およびポップアップ チャートを含むフィールドに加えて、[出力フィーチャ] には次のフィールドがあります:
- [ロケーション ID] (LOCATION) - 時空間キューブの対応する場所の [ロケーション ID] です。
- [(時間ステップ) の (解析変数) の予測] (FCAST_1、FCAST_2など) - 各将来時間ステップにおける選択した予測方法の予測値です。フィールド エイリアスは [解析変数] の名前と予測日を表示します。このタイプのフィールドは、予測される時間ステップごとに作成されます。
- [(時間ステップ) の (解析変数) に対する上限区間] (HIGH_1、HIGH_2など) - 各将来時間ステップにおける選択した予測方法の予測値に対する信頼区間 90 パーセントの上限です。フィールド エイリアスは [解析変数] の名前と予測日を表示します。このタイプのフィールドは、予測される時間ステップごとに作成されます。場所に対して選択した予測方法が信頼区間を提供しない場合、このフィールドの値は Null になります。これらの方法のいずれもが信頼区間を提供しない場合、このフィールドは作成されません。
- [(時間ステップ) の (解析変数) の区間の下限] (LOW_1、LOW_2など) - 各将来時間ステップにおける選択した予測方法の予測値に対する信頼区間 90 パーセントの下限です。フィールド エイリアスは [解析変数] の名前と予測日を表示します。このタイプのフィールドは、予測される時間ステップごとに作成されます。場所に対して選択した予測方法が信頼区間を提供しない場合、このフィールドの値は Null になります。これらの方法のいずれもが信頼区間を提供しない場合、このフィールドは作成されません。
- [ベスト予測二乗平均平方根誤差] (F_RMSE) - 場所に対して選択した方法の予測 RMSE です。
- [ベスト検証二乗平均平方根誤差] (V_RMSE) - 場所に対して選択した方法の検証 RMSE です。[検証結果を使った評価] パラメーターがオフの場合、このフィールドは作成されません。
- [季節の長さ] (SEASON) - 場所の各季節に対応する時間ステップの数です。場所に対して選択した予測方法が季節性をサポートしない場合、このフィールドの値は -1 になります。
- [タイム ウィンドウ] (TIMEWINDOW) - 場所に対して使用する時間ステップのウィンドウです。場所に対して選択した予測方法がタイム ウィンドウをサポートしない場合、このフィールドの値は -1 になります。
- [季節性] (IS_SEASON) - 季節性がスペクトラル密度によって決定されているかを示す Boolean 変数です。値 1 は季節性がスペクトラル密度によって検出されていることを示し、値 0 は季節性が使用されていないか選択した予測方法が季節性をサポートしていないことを示します。
- [予測方法] (METHOD) - 場所に対して選択した予測方法です。
- [(メソッド名) の予測 RMSE] (F_RMSE_1、F_RMSE_2など) - 場所に対する各予測方法の予測 RMSE です。フィールド エイリアスは方法名を表示します。このタイプのフィールドは、[入力予測時空間キューブ] パラメーターに提供された各時空間キューブに対して作成されます。[検証結果を使った評価] パラメーターがオンの場合、このフィールドは作成されません。
- [(メソッド名) の検証 RMSE] (V_RMSE_1、V_RMSE_2など) - 場所に対する各予測方法の検証 RMSE です。フィールド エイリアスは入力時空間キューブの名前を表示します。このタイプのフィールドは、[入力予測時空間キューブ] パラメーターに提供された各時空間キューブに対して作成されます。[検証結果を使った評価] パラメーターがオフの場合、このフィールドは作成されません。
- [同等精度の適合度の方法] (EQUAL_MTHD) - 場所に対して選択した方法に比べて精度がそれほど劣っていなかった予測方法の一覧を示すテキスト フィールドです。2 つ以上の方法がそれほど劣っていなかった場合、各方法は縦線 | で区切られます。同じタイプの方法 (たとえば、異なる予測パラメーターを使用する 2 つのフォレストベースの方法) が 2 つ以上一覧に表示されている場合、識別のためのインデックス番号がそのメソッド名に含まれます。[検証結果を使った評価] パラメーターがオンの場合、このフィールドは作成されません。
- [最適性の方法: (メソッド名)] (OPT_(Method)) - 予測方法の精度が、場所に対して選択した方法に比べてそれほど劣っていなかったかを示す Boolean 変数です。予測方法の名前はフィールド名とフィールド エイリアスに表示されます。値 1 はその方法の精度が選択した方法に比べて劣っていなかったことを示します。このタイプのフィールドは各予測方法に対して作成されます。場所に対して選択した方法は常に値 1 を持ちます。[検証結果を使った評価] パラメーターがオンの場合、これらのフィールドは作成されません。
出力時空間キューブ
[出力時空間キューブ] を指定した場合、出力キューブは追加済の選択した予測方法の予測値を持つ入力時空間キューブの元の値をすべて含みます。新しい時空間キューブは、[時空間キューブを 2D で視覚化 (Visualization Space Time Cube in 2D)] ツールまたは [時空間キューブを 3D で視覚化 (Visualize Space Time Cube in 3D)] ツールを使用して表示することができ、[時空間ホット スポット分析 (Emerging Hot Spot Analysis)]、[時系列クラスタリング (Time Series Clustering)] などの [時空間パターン マイニング] ツールボックスのツールへの入力として使用できます。
DM および HLN テストのサマリー チャート
[検証結果を使った評価] パラメーターをオフにして検証結果を使った評価をしないようにした場合、出力フィーチャは DM および HLN テストの結果を集計した 2 つのチャートを含みます。
[同等の精度を持つ予測方法とフィッティング方法] チャートによってどの予測方法を最も頻繁に選択したか確認でき、異なる方法を選択した場合は、各方法の精度が選択した方法と同等である頻度を確認できます。チャートには、最も頻繁に選択した 3 つの方法における集合棒チャートが表示されます (時空間キューブが 2 つだけ提供されている場合、集合棒チャートが 2 つだけ表示されます)。3 つの方法のそれぞれにおいて、チャートは方法が選択された場所のみに対する棒チャートを表示します。これらの場所で、棒チャートは各方法が同等の精度を持つ場所の数を示します (DM または HLN テストによって決定します)。最も高い棒は常に選択した方法に対応しており、これによって相対的な規模を比較できます。通常、X 軸上の予測方法名はチャート内で文字切れしているため、カーソルを棒の上に置いて方法名を確認します。
[同等の精度を持つ予測方法の組み合わせの分布] チャートには、同等の精度を持つ予測方法の異なる組み合わせの棒チャートが表示されます。これによって、どの方法が同等の精度で場所を表しているか確認できます。各棒は予測方法の特定の組み合わせに対応し、棒の高さはそれらの方法が同等の精度を持つ場所の数を示します。通常、X 軸上の組み合わせ名はチャート内で文字切れしているため、カーソルをいずれかの棒の上に置いて組み合わせに含まれる方法名を確認します。
参考資料
DM および HLN テストの詳細については、次の資料をご参照ください。
- Harvey, D., Leybourne, S., and Newbold, P. (1998 年) 「Tests for Forecast Encompassing」 Journal of Business and Economic Statistics, 16:254-259
- Diebold, F and Mariano, R. (1995 年) 「Comparing Predictive Accuracy」 Journal of Business and Economic Statistics, 13: 253-63