评估点云训练结果

使用训练点云分类模型完成训练过程后,您将需要评估结果。 目标是创建一个模型,该模型可以对设计用来分类的数据类型进行准确的分类。 这不仅意味着在用于训练的数据上表现出色,而且在训练未涉及的数据上也将表现出色。

训练点云分类模型工具可输出一些帮助您执行此评估的内容。 一种是称为 model_name_Statistics.csv 的 *.csv 文本文件,它位于输出模型文件夹中。 它包含每个纪元内每个类的精确率、召回率和 F1 分数。

输出 Statistics.csv 文件示例
训练点云分类模型导出 Statistics.csv 文件。

工具还在运行时按每个纪元报告汇总信息。 还将输出每个纪元花费的时间,这将帮助您确定执行所有纪元的过程将花费多长时间。 您可以在工具的消息中看到报告的指标。 使用每个类的相等权重(宏平均)计算所有类的精确率、召回率和 F1 分数的平均值。

训练工具的消息输出示例

显示从训练点云分类模型工具输出的消息的示例。

要解释这些指标,您需要对它们的含义有所了解。 下面提供了介绍性信息,但是建议您更深入地学习这些统计数据以及如何通过该主题上的大量资源自行使用和解释它们。

准确率 - 正确预测的点相对于总数的百分比。 请注意,如果重要类的点相对于其他类而言数量很少,则这不是有用的指标。 这是因为您可以在总体上获得较高百分比的正确预测,而对少量重要点的预测是错误的。

精确率 - 某类的正确预测相对于该类中所有正确和不正确的预测点的分数。

召回率 - 类的正确预测相对于真正属于该类的所有点的分数。

F1 分数 - 精确率和召回率之间的调和平均值。

训练工具还会输出学习曲线图。 它可以在工具消息中查看,也可以写入输出模型文件夹中名为 model_metrics.html 的文件中。 该图包括用于训练和验证的损失曲线。 损失越低越好,因此您希望看到曲线随着时间的流逝而减小并趋于平稳。 训练损失显示了模型学习的程度,验证损失显示了学习是如何概化的。

训练和验证损失曲线图示例
显示训练和验证损失曲线的示例图。

您可以通过查看损失曲线来检查模型的拟合不足和过度拟合。 拟合不足的模型或无法学习训练数据集,或需要更多训练。 拟合不足的模型可以通过训练损失来确定,该损失从开始到结束是平坦的或嘈杂的,或者一直衰减直到结束而没有趋于平稳。 过度拟合模型可以对训练数据进行很好地学习,但不能概化为同样适用于其他数据。 您可以使用验证损失来识别过度拟合模型,该损失会衰减到一个点,但相对于训练损失,它会开始上升或趋于平稳。 通常通过训练和验证损失来确定良好的拟合度,这两个损失都会衰减到稳定点,并且两个最终损失值之间的差距最小。

除了查看指标和学习曲线之外,您还可以尝试对与训练和验证数据不同的数据使用结果模型。 通过检查 3D 场景中的点云(具有由类代码符号化的点)来查看结果。

相关主题