[点群分類モデルのトレーニングを実行 (Train Point Cloud Classification Model)] を使用してトレーニング処理を完了すると、結果の評価が必要となる場合があります。 分類の対象として設計されたデータの種類を正確に分類できるモデルを作成することが目標です。 とはいえ、トレーニングに使用されるデータを適切に処理するだけではなく、トレーニングに提供されなかったデータも適切に処理する必要があります。
[点群分類モデルのトレーニングを実行 (Train Point Cloud Classification Model)] ツールは、この評価を実施する際に役立つものを出力します。 そのうちの 1 つは、model_name_Statistics.csv と呼ばれる *.csv テキスト ファイルで、出力モデル フォルダーに配置されます。 これには、エポックごとの各クラスに対し、精度、再現率、F1 スコアが含まれます。
このツールは、ツールの実行中にエポックごとのサマリー情報も報告します。 エポックあたりの所要時間も出力されるため、すべてのエポックを実行した場合に処理にかかる時間を判断することもできます。 報告される指標は、ツールのメッセージに記されます。 精度、再現率、F1 スコアは、クラスごとに同じウェイト (マクロ平均) を使用して、クラス全体に対して平均化されます。
これらの指標を解釈するには、その意味をある程度理解しておく必要があります。 入門的な情報は以下に示しますが、トピックで提供されている数々のリソースを通じてこれらの統計情報をより深く掘り下げ、ご自身で活用して解釈できるようにすることをお勧めします。
正確度 - 全体に対して正確に推定されたポイントの割合を表します。 他のクラスと比べ、重要なクラスのポイント数が少ない場合は、あまり役立つ指標でないことに注意してください。 これは、全体的には正しい推定を高い割合で獲得できるものの、少数ではあるが重要なポイントの推定を誤る可能性があるからです。
精度 - あるクラス内に存在することが推定されるすべてのポイント (正確なものと誤っているものの両方) のうち、実際に正解であった割合を表します。
再現率 - あるクラスに実際に属するすべてのポイントに対し、そのクラスの正しい推定の割合を表します。
F1 スコア - 精度と再現率の調和平均。
トレーニング ツールは学習曲線グラフも出力します。 これはツール メッセージに表示され、出力モデル フォルダー内の model_metrics.html という名前のファイルにも書き込まれます。 グラフには、トレーニングと整合チェックの損失曲線が含まれます。 損失が少ないほど望ましいため、時間の経過とともに減少して横ばい状態になる曲線が理想です。 トレーニング損失はモデルの学習度を表し、整合チェック損失は学習の一般化の度合いを表します。
損失曲線を確認することで、モデルの過少適合と過剰適合の有無をチェックできます。 過少適合モデルは、トレーニング データセットを学習できないか、さらにトレーニングが必要なモデルのことです。 過少適合のモデルは、最初から最後まで平坦であるかノイズが多い、あるいは横ばいになることなく最後まで減少傾向にあるトレーニング損失によって特定されます。 過剰適合モデルについては、トレーニング データを学習しすぎており、一般化されていないため他のデータとの相性が良くありません。 過剰適合のモデルは、あるポイントまでは減少するものの、トレーニング損失を基準に上昇したり、横ばいになったりする整合チェック損失によって特定されます。 良好な適合とは、トレーニングと整合チェック損失の両方が減少してある地点で安定し、2 つの最終的な損失値の差異が最小限である場合に得られます。
指標と学習曲線を確認する以外に、トレーニング データと整合チェック データのどちらとも異なるデータの結果モデルを使用する方法もあります。 ポイントをクラス コードでシンボル表示し、3D シーンで点群を検証して、結果を確認します。