Spatial Analyst のライセンスで利用可能。
Image Analyst ライセンスで利用できます。
このトピックでは、分類の精度評価と結果の解釈方法について説明します。
分類の精度評価
[精度評価] では、参照データセットを使用して、分類された結果の精度を決定します。 参照データセットの値はスキーマに一致している必要があります。 参照データには、複数の形式を使用できます。
- 分類済み画像であるラスター データセット。
- ポリゴン フィーチャクラスまたはシェープファイル。 フィーチャクラスの属性テーブルの形式はトレーニング サンプルに一致している必要があります。 これを確実に行うには、[トレーニング サンプル マネージャー] ページを使用して、参照データセットを作成し、データセットの読み取りおよび書き込みを行います。
- ポイント フィーチャクラスまたはシェープファイル。 この形式は、[精度評価ポイントの作成 (Create Accuracy Assessment Points)] ツールの出力と一致している必要があります。 既存のファイルを使用中に、そのファイルを適切な形式に変換したい場合は、[精度評価ポイントの作成 (Create Accuracy Assessment Points)] ジオプロセシング ツールを使用します。
精度評価を実行するには、ランダム ポイントの数とサンプリング処理の 2 つのパラメーターを指定する必要があります。
ランダム ポイント数
[ランダム ポイント数] パラメーターは、生成されるランダムなポイントの合計数を示しています。 サンプリング処理やクラスの数に応じて、実際の数値はこれを超える場合がありますが、この数値を下回ることはありません。 ランダムに生成されたポイントのデフォルト数は 500 です。
サンプリング処理
使用するサンプリング方式を指定します。
- [階層別ランダム] - 各クラス内にランダムに分散したポイントを作成します。各クラスには、相対的な面積に比例した、多数のポイントが含まれています。 これがデフォルトです。
- [均等階層別ランダム] - 各クラス内にランダムに分散したポイントを作成します。各クラスのポイント数は同じです。
- [ランダム] - 画像全体にランダムに分散したポイントを作成します。
結果の理解
ツールを実行すると、混同行列がグラフ表示されます。 セルにポインターを合わせると、[個数]、[ユーザー精度]、[プロデューサー精度]、および [FScore] 値が表示されます。 ウィンドウの下部に、kappa スコアも表示されます。 出力テーブルが [コンテンツ] ウィンドウに追加されます。
対角の解析
精度は 0 ～ 1 の範囲で表します。1 は 100% の精度を意味します。 すべてのクラスのプロデューサー精度とユーザー精度の値は、対角線の軸に沿って示されます。 対角に沿った色は薄い青から濃い青への変化で表され、青色が濃いほど、精度が高いことを意味します。 各セルにポインターを合わせると、それぞれの精度の値と F スコアが表示されます。
対角とは異なり、非対角にある色付きのセルは、混同行列内の混同しているクラス値の数を示します。 これらのセルにポインターを合わせると、クラスのペアごとの混同行列の結果を確認できます。
出力した混同行列の表示
エラー レポートの詳細を検証するには、[コンテンツ] ウィンドウにレポートを読み込んで開きます。 エラー レポートは、プロジェクトの *.dbf ファイルか、指定した出力フォルダー内にあります。 混同行列テーブルには、各クラスのユーザー精度 (U_Accuracy 列) とプロデューサー精度 (P_Accuracy 列) だけでなく、全体の Kappa 値も示されています。 精度率の範囲は 0 ～ 1 で、1 は 100 パーセントの精度を表します。 次に、混同行列の例を示します。
| c_1 | c_2 | c_3 | 合計 | U_Accuracy | Kappa | |
|---|---|---|---|---|---|---|
c_1 | 49 | 4 | 4 | 57 | 0.8594 | 0 |
c_2 | 2 | 40 | 2 | 44 | 0.9091 | 0 |
c_3 | 3 | 3 | 59 | 65 | 0.9077 | 0 |
合計 | 54 | 47 | 65 | 166 | 0 | 0 |
P_Accuracy | 0.9074 | 0.8511 | 0.9077 | 0 | 0.8916 | 0 |
Kappa | 0 | 0 | 0 | 0 | 0 | 0.8357 |
ユーザー精度列は、偽陽性 (またはコミッション エラー) を示します。この場合、ピクセルは別のクラスに分類されなければならないが、誤って既知のクラスとして分類されます。 ユーザー精度は、タイプ 1 エラーとも呼ばれています。 このエラー率を計算するデータは、テーブルの行から読み取られます。 ユーザー精度を計算するには、基準データに適合する分類済みポイントの合計数を、該当するクラスの分類済みポイントの合計数で除算します。 [合計] 行は、基準データに従い、指定のクラスとして識別されるべきポイント数を示します。 たとえば、分類された画像でピクセルがアスファルトを示しても、基準データは森林を示す場合があります。 アスファルト クラスには、基準データに従うと存在しない余分なピクセルがあります。
プロデューサー精度列は、偽陰性 (またはオミッション エラー) を示します。 プロデューサー精度は、分類結果がどれだけ正確に作成者の期待に沿っているかを表します。 プロデューサー精度は、タイプ 2 エラーとも呼ばれています。 このエラー率を計算するデータは、テーブルの列で読み取られます。 プロデューサー精度を計算するには、基準データに適合する分類済みポイントの合計数を、該当するクラスの基準ポイントの合計数で除算します。 これらの値は分類済みの結果内で偽陰性の値になります。 [合計] 列は、分類済みマップに従い、指定のクラスとして識別されたポイント数を示します。 たとえば、基準データでピクセルがアスファルトを示しても、分類された画像は森林を示す場合があります。 基準データに従うと、アスファルト クラスには十分なピクセルがありません。
Kappa 値は、分類の精度の全体的な評価を提供します。
IoU (Intersection over Union) は、予測セグメンテーションとグランド トゥルースの重複した面積を、予測セグメンテーションとグランド トゥルースの和集合の面積で除算したものです。 平均 IoU のはクラスごとに計算されます。