精度评估

需要 Spatial Analyst 许可。

获得 Image Analyst 许可后可用。

下面介绍了如何评估分类精度并解释结果。

评估分类的精度

精度评估工具使用参考数据集来确定分类结果的精度。 参考数据集的值必须与方案相匹配。 参考数据必须采用以下格式:

  • 栅格数据集,即分类影像。
  • 面要素类或 shapefile。 要素类属性表的格式必须与训练样本相匹配。 为了确保这一点,您可以使用训练样本管理器页面来读取和写出数据集,以此创建参考数据集。
  • 点要素类或 shapefile。 格式必须与创建精度评估点工具的输出相匹配。 如果您正在使用一个现有文件并且想要将其转换为适当的格式,请使用创建精度评估点工具。

要执行精度评估,必须指定两个参数:随机点的数量采样策略

随机点的数量

随机点的数量参数显示了将生成的随机点总数。 根据采样策略和类数,实际数量可以超出此数量,但绝不会低于此数量。 默认随机生成的点数为 500。

采样策略

指定要使用的采样方法:

  • 分层随机 - 创建每个类中随机分布的点,每个类的点数与其相对区域是成比例的。 此方法会对影像进行采样,以便每个类的样本点数与影像中每个类的面积成比例。 最终精度评估结果可代表影像。 这是默认设置。
  • 均衡化分层随机 - 创建每个类中随机分布的点,每个类具有相同的点数。 此方法会将相同的样本点数分配给每个类,无论每个类在影像中的面积为何。 最终精度评估结果无法代表影像,但是可通过向每个类分配相同的权重衡量精度。 这是用于精度评估的分层随机采样的替代方法。
  • 随机 - 创建整个影像中随机分布的点。 此方法可在影像上对点进行随机采样。 由于不涉及分层,因此最终精度评估结果可代表影像;但是,当使用的样本点数量较少时,代表小区域的一些类可能缺失或不具有充分的代表性。

了解结果

运行工具后,将显示混淆矩阵的图形表达。 将鼠标悬停在某个像元上可查看计数用户精度生产者精度FScore 值。 Kappa 得分还将显示在窗格的底部。 输出表将被添加到内容窗格。

分析对角线

用 0 - 1 表示精度,其中 1 表示精度为 100%。 将沿对角轴指示所有类的“生产者精度”和“用户精度”值。 沿对角线的颜色颜色从浅蓝色过渡到深蓝色,颜色越深表示精度越高。 将鼠标悬停在每个像元上时,将显示每个精度的值和 F 得分。

与对角线不同,对角线上的彩色像元指示混淆矩阵中存在的混淆类值的数量。 将鼠标悬停在像元上时,将显示每对类的混淆矩阵结果。

精度评估结果

查看输出混淆矩阵

要检查错误报告的详细信息,您可以将报告加载到内容窗格并打开报告。 报告是位于您的工程中或您指定的输出文件夹中的 .dbf 文件。 混淆矩阵表将针对每个类列出用户的精度(U_Accuracy 列)、生产者的精度(P_Accuracy 列)以及协议的整体 kappa 统计指数。 这些精度的范围介于 0 到 1 之间,其中 1 表示 100% 的精度。 以下是混淆矩阵的示例:

c_1c_2c_3总计U_AccuracyKappa

c_1

49

4

4

57

0.8594

0

c_2

2

40

2

44

0.9091

0

c_3

3

3

59

65

0.9077

0

总计

54

47

65

166

0

0

P_Accuracy

0.9074

0.8511

0.9077

0

0.8916

0

Kappa

0

0

0

0

0

0.8357

混淆矩阵示例

用户的精度列将显示误报或错分误差,其中一些像素本应被划分为其他类,但却被错误地分为已知类。 用户的精度也称为 1 类误差。 从表格的行中读取用于计算此误差率的数据。 可通过将与参考数据一致的分类点总数除以该类的分类点总数来计算用户的精度。 总计行将根据参考数据显示本应被识别为给定类的点的数目。 例如,分类影像将某像素标识为柏油路,但参考数据却将其标识为森林。 根据参考数据,柏油路类包含不应有的额外像素。

生产者的精度列显示误报或漏分误差。 生产者的精度将指示分类结果符合创建者预期的精确程度。 生产者的精度同样被称为 2 类误差。 在表格的列中读取用于计算此误差率的数据。 可通过将与参考数据一致的分类点总数除以该类的参考点总数来计算生产者的精度。 这些值为分类结果内的误报值。 总计列根据分类地图显示被识别为给定类的点的数目。 例如,参考数据将某像素标识为柏油路,但分类影像却将其标识为森林。 根据参考数据,柏油路类未包含足够的像素。

协议的 Kappa 统计将提供对于分类精度的整体评估。

交并比 (IoU) 是预测分割和实际地表之间的重叠区域除以预测分割和实际地表之间的并集区域。 将针对每个类计算平均 IoU 值。

相关主题