Spatial Analyst のライセンスで利用可能。
Image Analyst ライセンスで利用できます。
分類の精度評価と結果の解析については、この後で説明します。
分類の精度評価
[精度評価] ツールでは、参照データセットを使用して、分類された結果の精度を決定します。 参照データセットの値はスキーマに一致している必要があります。 参照データの形式は次のとおりです。
- 分類済み画像であるラスター データセット。
- ポリゴン フィーチャクラスまたはシェープファイル。 フィーチャクラスの属性テーブルの形式はトレーニング サンプルに一致している必要があります。 これを確実に行うには、[トレーニング サンプル マネージャー] ページを使用し、データセットの読み取り/書き込みを行って、参照データセットを作成します。
- ポイント フィーチャクラスまたはシェープファイル。 この形式は、[精度評価ポイントの作成 (Create Accuracy Assessment Points)] ツールの出力と一致している必要があります。 既存のファイルを使用中に、そのファイルを適切な形式に変換したい場合は、[精度評価ポイントの作成 (Create Accuracy Assessment Points)] ツールを使用します。
精度評価を実行するには、[ランダム ポイント数] と [サンプリング処理] の 2 つのパラメーターを指定する必要があります。
ランダム ポイント数
[ランダム ポイント数] パラメーターは、生成されるランダムなポイントの合計数を示しています。 サンプリング処理やクラスの数に応じて、実際の数値はこれを超える場合がありますが、この数値を下回ることはありません。 ランダムに生成されたポイントのデフォルト数は 500 です。
サンプリング処理
使用するサンプリング方式を指定:
- [階層別ランダム] - 各クラス内にランダムに分散したポイントを作成します。各クラスには、相対的な面積に比例した、多数のポイントが含まれています。 この方式では、クラスあたりのサンプル ポイント数が画像内の各クラスの面積に比例するように画像をサンプリングします。 最終的な精度評価の結果は、画像を代表しています。 これがデフォルトです。
- [均等階層別ランダム] - 各クラス内にランダムに分散したポイントを作成します。各クラスのポイント数は同じです。 この方式では、画像内の各クラスの面積の大きさにかかわらず、各クラスに同じサンプル ポイント数を割り当てます。 最終的な精度評価の結果は、画像を代表していませんが、各クラスに同じウェイトを付与することで精度を計測します。 これは、精度評価において、階層別ランダム サンプリングの代替方式です。
- [ランダム] - 画像全体にランダムに分散したポイントを作成します。 この方式は、画像上のポイントをランダムにサンプリングします。 階層化が行われていないため、最終的な精度評価の結果は画像を代表していますが、使用するサンプル ポイント数が少ないと、小さな面積を代表する一部のクラスが見落とされたり、過小評価されたりする可能性があります。
結果の理解
ツールを実行すると、混同行列がグラフ表示されます。 セルにポインターを合わせると、[個数]、[ユーザー精度]、[プロデューサー精度]、および [FScore] 値が表示されます。 ウィンドウの下部に、kappa スコアも表示されます。 出力テーブルが [コンテンツ] ウィンドウに追加されます。
対角の解析
精度は 0 ～ 1 の範囲で表します。1 は 100% の精度を意味します。 すべてのクラスのプロデューサー精度とユーザー精度の値は、対角線の軸に沿って示されます。 対角に沿った色は薄い青から濃い青への変化で表され、青色が濃いほど、精度が高いことを意味します。 各セルにポインターを合わせると、それぞれの精度の値と F スコアが表示されます。
対角とは異なり、非対角にある色付きのセルは、混同行列内の混同しているクラス値の数を示します。 これらのセルにポインターを合わせると、クラスのペアごとの混同行列の結果が表示されます。
出力した混同行列の表示
エラー レポートの詳細を検証するには、[コンテンツ] ウィンドウにレポートを読み込んで開きます。 エラー レポートは、プロジェクトの .dbf ファイルか、指定した出力フォルダー内にあります。 混同行列テーブルには、各クラスのユーザー精度 (U_Accuracy 列) とプロデューサー精度 (P_Accuracy 列) だけでなく、全体の Kappa 値も示されています。 精度率の範囲は 0 ～ 1 で、1 は 100 パーセントの精度を表します。 次に、混同行列の例を示します。
| c_1 | c_2 | c_3 | 合計 | U_Accuracy | Kappa | |
|---|---|---|---|---|---|---|
c_1 | 49 | 4 | 4 | 57 | 0.8594 | 0 |
c_2 | 2 | 40 | 2 | 44 | 0.9091 | 0 |
c_3 | 3 | 3 | 59 | 65 | 0.9077 | 0 |
合計 | 54 | 47 | 65 | 166 | 0 | 0 |
P_Accuracy | 0.9074 | 0.8511 | 0.9077 | 0 | 0.8916 | 0 |
Kappa | 0 | 0 | 0 | 0 | 0 | 0.8357 |
ユーザー精度列は、偽陽性またはコミッション エラーを示します。この場合、ピクセルは別のクラスに分類する必要がある場合でも、既知のクラスとして誤って分類されます。 ユーザー精度は、タイプ 1 エラーとも呼ばれています。 このエラー率を計算するデータは、テーブルの行から読み取られます。 ユーザー精度を計算するには、基準データに一致する分類済みポイントの合計数を、該当するクラスの分類済みポイントの合計数で除算します。 合計行は、基準データに従い、指定のクラスとして識別されるべきポイント数を示します。 たとえば、分類された画像でピクセルがアスファルトを示しても、基準データは森林を示す場合があります。 アスファルト クラスには、基準データに従うと存在しない余分なピクセルがあります。
プロデューサー精度列は、偽陰性 (またはオミッション エラー) を示します。 プロデューサー精度は、分類結果がどれだけ正確に作成者の期待に沿っているかを表します。 プロデューサー精度は、タイプ 2 エラーとも呼ばれています。 このエラー率を計算するデータは、テーブルの列で読み取られます。 プロデューサー精度を計算するには、基準データに一致する分類済みポイントの合計数を、該当するクラスの基準ポイントの合計数で除算します。 これらの値は分類済みの結果で偽陰性の値になります。 合計列は、分類済みマップに従い、指定のクラスとして識別されたポイント数を示します。 たとえば、基準データでピクセルがアスファルトを示しても、分類された画像は森林を示す場合があります。 基準データに従うと、アスファルト クラスには十分なピクセルがありません。
Kappa 値は、分類の精度の全体的な評価を提供します。
IoU (Intersection over Union) は、予測セグメンテーションとグランド トゥルースの重複した面積を、予測セグメンテーションとグランド トゥルースの和集合の面積で除算したものです。 平均 IoU のはクラスごとに計算されます。