Image Analyst ライセンスで利用できます。
ArcGIS Pro では、統計的分類法または機械学習分類法によって、リモート センシング画像を分類することができます。ディープ ラーニングとは機械学習の一種であり、複数レイヤーの非線形処理によって、モデルで説明されるフィーチャの識別やパターン認識を行います。ディープ ラーニング モデルを ArcGIS Pro に統合し、オブジェクト検出、オブジェクト分類、および画像分類を行えます。
対象となるフィーチャまたはオブジェクトのトレーニング サンプルは、ArcGIS Pro の分類およびディープ ラーニング ツールで生成されます。これらのトレーニング サンプルは、ジオプロセシング ツールを使用してディープ ラーニング モデルをトレーニングする際に使用されます。生成されるモデル定義ファイルまたはディープ ラーニング モデル パッケージ (*.dlpk) を使用して推論ジオプロセシング ツールを実行し、特定のオブジェクトの位置の抽出、オブジェクトの分類またはラベル付け、画像内のピクセルの分類を行います。外部のサードパーティのフレームワークを使用して ArcGIS Pro の外部でモデルをトレーニングし、モデル定義ファイルを使用して推論ジオプロセシング ツールを実行することもできます。モデル定義ファイルおよび *.dlpk ファイルは、ジオプロセシング ツールへの入力として複数回にわたって使用できるため、モデルのトレーニングを行った後に、複数の場所や期間にまたがる複数の画像を評価できるようになります。
ワークフローを次の図に示します。
| [ディープ ラーニング] ウィンドウのラベル オブジェクトを使用してトレーニング サンプルを作成し、[ディープ ラーニング用のトレーニング データをエクスポート (Export Training Data For Deep Learning)] ツールを使用して、サンプルをディープ ラーニング トレーニング データに変換します。 |
| [ディープ ラーニング モデルのトレーニング (Train Deep Learning Model)] を使用して、PyTorch を使用してモデルをトレーニングするか、サポートされているサード パーティのディープ ラーニング フレームワークを使用して ArcGIS Pro の外部でモデルをトレーニングします。 |
| トレーニングしたモデルを使用して、[ディープ ラーニングを使用したオブジェクトの検出 (Detect Objects Using Deep Learning)] ツール、[ディープ ラーニングを使用したピクセルの分類 (Classify Pixels Using Deep Learning)] ツール、[ディープ ラーニングを使用したオブジェクトの分類 (Classify Objects Using Deep Learning)] ツールを実行し、出力を生成します。 |
特長と機能
ArcGIS Pro のディープ ラーニング ツールでは、標準的な機械学習分類法以上のものを使用できます。
- 畳み込みニューラル ネットワークまたはディープ ラーニング モデルを使用して、オブジェクトの検出、オブジェクトの分類、または画像ピクセルの分類を行います。
- TensorFlow、PyTorch、Keras などの外部のディープ ラーニング フレームワークを統合します。
- モデル定義ファイルを複数回にわたって使用し、経時的な変化を検出したり、複数の対象地域のオブジェクトを検出したりします。
- 検出したオブジェクトの場所を示すポリゴン フィーチャクラスを生成し、追加の解析やワークフローに使用します。
- GPU 処理を利用するとともに、分散処理には CPU を使用します。
ディープ ラーニングを開始する
トレーニング サンプルの作成とエクスポートは、標準のトレーニング サンプル生成ツールを使用して ArcGIS Pro 内で行われます。ディープ ラーニング モデルは、[ディープ ラーニング モデルのトレーニング (Train Deep Learning Model)] ツールを使用して PyTorch フレームワークでトレーニングするか、別のディープ ラーニング フレームワークを使用して ArcGIS Pro の外部でトレーニングできます。モデルのトレーニングが終了すると、Esri モデル定義ファイル (*.emd) を使用してジオプロセシング ツールを実行し、画像内のフィーチャの検出や分類を行います。
ディープ ラーニング フレームワークの Python パッケージをインストールする必要があります。インストールしない場合、Esri モデル定義ファイルをディープ ラーニング ジオプロセシング ツールに追加するとエラーが発生します。これらのパッケージのインストール方法については、「ArcGIS 用のディープ ラーニング フレームワークのインストール」をご参照ください。
- トレーニング サンプルを作成し、エクスポートします。
- [ディープ ラーニングのオブジェクトのラベル付け] ウィンドウか [トレーニング サンプル マネージャー] を使用して、分類スキーマを選択または作成します。
- クラス カテゴリか対象フィーチャのトレーニング サイト サンプルを作成します。トレーニング サンプル ファイルを保存します。
- [ディープ ラーニング用のトレーニング データをエクスポート (Export Training Data for Deep Learning)] ジオプロセシング ツールを実行し、ソース画像とトレーニング サンプルをディープ ラーニング トレーニング データに変換します。ソース画像は、イメージ サービス、モザイク データセット、ラスター データセット、またはラスターのフォルダーのいずれかです。ツールにより、ディープ ラーニング モデルのトレーニングに使用されるトレーニング サイトを含む画像チップやサンプルが出力されます。また、*.emd のテンプレート ファイルも追加で出力されます。このファイルはデータ サイエンティストが設定します。
- ディープ ラーニング モデルをトレーニングします。
- [ディープ ラーニング モデルのトレーニング (Train Deep Learning Model)] ツールで、前の手順で生成した画像チップを使用してディープ ラーニング モデルをトレーニングします。
- ArcGIS Pro の推論ジオプロセシングを実行します。
- [ディープ ラーニングを使用したオブジェクトの検出 (Detect Objects Using Deep Learning)]、[ディープ ラーニングを使用したピクセルの分類 (Classify
Pixels Using Deep Learning)]、または [ディープ ラーニングを使用したオブジェクトの分類 (Classify Objects Using Deep Learning)] ジオプロセシング ツールを使用し、画像を処理します。トレーニングされたモデルに、追加の変数 (パディング、感度を微調整するための信頼閾値など) を含むカスタム Python ラスター関数が組み込まれている場合、これらの変数はジオプロセシング ツールのダイアログ ボックスに表示され、ユーザーによる入力を行えるようになっています。文字列や数値などのデータ型は、Python ラスター関数で指定されます。追加の推論パラメーターは 2 つまでに限定することをお勧めします。
[Esri モデル定義] パラメーター値には、Esri モデル定義の JSON ファイル (.emd) または JSON 文字列を指定することができます。JSON 文字列は、このツールがサーバーで使用されている場合に便利で、.emd ファイルをアップロードする代わりに JSON 文字列を貼り付けることができます。
[ディープ ラーニングを使用したオブジェクトの検出 (Detect Objects Using Deep Learning)] ツールを実行すると、モデルが検出したオブジェクトを示すフィーチャクラスが出力されます。また、[ディープ ラーニングを使用したピクセルの分類 (Classify Pixels Using Deep Learning)] ツールでは、分類されたラスターが出力されます。[ディープ ラーニングを使用したオブジェクトの分類 (Classify Objects Using Deep Learning)] ツールでは、入力データセットにフィーチャクラスと画像が必要です。出力は、各フィーチャ内のそれぞれのオブジェクトにクラス名のラベルが付けられたフィーチャクラスになります。
- [ディープ ラーニングを使用したオブジェクトの検出 (Detect Objects Using Deep Learning)]、[ディープ ラーニングを使用したピクセルの分類 (Classify
Pixels Using Deep Learning)]、または [ディープ ラーニングを使用したオブジェクトの分類 (Classify Objects Using Deep Learning)] ジオプロセシング ツールを使用し、画像を処理します。トレーニングされたモデルに、追加の変数 (パディング、感度を微調整するための信頼閾値など) を含むカスタム Python ラスター関数が組み込まれている場合、これらの変数はジオプロセシング ツールのダイアログ ボックスに表示され、ユーザーによる入力を行えるようになっています。文字列や数値などのデータ型は、Python ラスター関数で指定されます。追加の推論パラメーターは 2 つまでに限定することをお勧めします。
このツールの実行要件および発生する可能性のある問題の詳細については、「ディープ ラーニングに関するよくある質問
」をご参照ください。
Esri モデル定義ファイル
*.emd ファイルは、トレーニングされたディープ ラーニング モデルを説明する JSON ファイルです。これには、推論ツールの実行に必要なモデル定義パラメーターが含まれており、モデルをトレーニングしたデータ サイエンティストが手を加えます。次のテーブルに示すように、必須のパラメーターと任意のパラメーターがあります。
*.emd ファイルの作成と検証が完了すると、推論において複数回使用できるようになります。ただし、入力画像が元のモデル入力と同じセンサーから取得されること、そして検出されるクラスやオブジェクトが同じである必要があります。たとえば、Sentinel-2 衛星画像を使用して油田を検出するモデルで定義された *.emd ファイルは、Sentinel-2 画像を使用する複数の対象地域および日付にわたって油田を検出するために使用できます。
すべての推論ツールで共通して使用されるパラメーターを、以下の表に示します。また、[CropSizeFixed] パラメーターや [BlackenAroundFeature] パラメーターなど、特定のツールでのみ使用されるパラメーターもあります。これらのパラメーターは、[ディープ ラーニングを使用したオブジェクトの分類 (Classify Objects Using Deep Learning)] ツールにのみ使用されます。
| モデル定義ファイルのパラメーター | 説明 |
|---|---|
フレームワーク | モデルのトレーニングに使用されるディープ ラーニング フレームワークの名前。 次のディープ ラーニング フレームワークがサポートされます。
|
ModelConfiguration | モデル構成の名前。 モデル構成は、モデルの入力と出力、推論ロジック、モデルの入力と出力に関する仮説を定義します。標準的な入力および出力構成、および推論ロジックを定義する、既存のオープン ソースのディープ ラーニング ワークフローもあります。ArcGIS はあらかじめ定義された、次のような構成をサポートしています。 TensorFlow
Keras
事前定義された構成のいずれかを使用する場合、*.emd ファイルに構成の名前を入力します。カスタム構成を使用したディープ ラーニング モデルをトレーニングした場合は、入力と出力を *.emd ファイルかカスタム Python ファイルで完全に説明する必要があります。 |
ModelType | モデルのタイプ。
|
ModelFile | トレーニングしたディープ ラーニング モデル ファイルへのパス。ファイル形式は、モデルのフレームワークによって異なります。たとえば、TensorFlow を使用した場合、モデル ファイルは .pb ファイルです。 |
説明 | モデルに関する情報を提供します。モデルの情報には、データ サイエンティストがトレーニングしたモデルを説明するために追加したい情報が含まれます。たとえば、モデル番号やモデル名、モデルの作成日時、パフォーマンスの精度などを含めることができます。 |
InferenceFunction (オプション) | 推論関数のパス。 推論関数はトレーニングされたモデル データ ファイルを理解し、推論ロジックを提供します。ArcGIS Pro のディープ ラーニング ジオプロセシング ツールでは、6 つの推論関数がサポートされています。
|
ImageHeight (オプション) | 分類または処理される画像の行数。 |
ImageWidth (オプション) | 分類または処理される画像の列数。 |
ExtractBands (オプション) | 入力画像から抽出するバンド インデックスまたはバンド名。 |
Classes (オプション) | 出力クラス カテゴリまたはオブジェクトに関する情報。 |
DataRange (オプション) | スケーリングまたは正規化を前処理で行った場合の、データ値の範囲。 |
ModelPadding (オプション) | 推論の入力画像に追加する埋め込みの量。 |
BatchSize (オプション) | モデルの各反復処理で使用されるトレーニング サンプルの数。 |
PerProcessGPUMemoryFraction (オプション) | モデルの各反復処理で割り当てられる GPU メモリの割合。デフォルトは 0.95 つまり 95% です。 |
MetaDataMode (オプション) | 画像チップに使用されるメタデータ ラベルの形式。 |
ImageSpaceUsed (オプション) | モデルのトレーニングに使用される参照システムのタイプ。
|
WellKnownBandNames (オプション) | 各入力バンドに与えられる名前 (バンド インデックス順)。バンドは、他のツールでもここで付けられた名前で参照されるようになります。 |
次に、標準的なモデル構成を使用するモデル定義ファイル (*.emd) の例を示します。
{
"Framework": "TensorFlow",
"ModelConfiguration": "ObjectDetectionAPI",
"ModelFile":"C:\\ModelFolder\\ObjectDetection\\tree_detection.pb",
"ModelType":"ObjectionDetection",
"ImageHeight":850,
"ImageWidth":850,
"ExtractBands":[0,1,2],
"Classes" : [
{
"Value": 0,
"Name": "Tree",
"Color": [0, 255, 0]
}
]
}ディープ ラーニング モデル パッケージ
ディープ ラーニング モデル パッケージ (*.dlpk) は、オブジェクト検出または画像分類のためにディープ ラーニング推論ツールを実行するのに必要なファイルおよびデータを含んでいます。このパッケージを DLPK アイテムとしてポータルにアップロードし、ディープ ラーニング ラスター解析ツールの入力として使用できます。
ディープ ラーニング モデル パッケージは、Esri モデル定義ファイル (*.emd) およびトレーニング済みモデル ファイルを含む必要があります。トレーニング済みモデル ファイルの拡張子は、モデルをトレーニングするのに使用したフレームワークによって変わります。たとえば、TensorFlow を使用してモデルをトレーニングした場合、モデル ファイルは *.pb ファイルになり、Keras を使用してトレーニングされたモデル ファイルは、*.h5 ファイルを生成します。モデルをトレーニングするのに使用したモデル フレームワークおよびオプションに応じて、Python ラスター関数 (*.py) または追加ファイルを含めることが必要になる場合があります。複数のトレーニング済みモデル ファイルを 1 つのディープ ラーニング モデル パッケージに含めることができます。
ほとんどのパッケージは任意の ArcGIS Pro バージョンで開くことができます。デフォルトでは、パッケージのコンテンツは、<User Documents>\ArcGIS\Packages フォルダーに格納されます。この場所は、共有およびダウンロード オプションで変更できます。パッケージを使用する際の ArcGIS Pro バージョンでサポートされていないパッケージの機能は利用できません。
*.dlpk のプロパティの表示や編集、*.dlpk に対するファイルの追加や削除を行うには、[カタログ] ウィンドウの *.dlpk を右クリックし、[プロパティ] をクリックします。
![[カタログ] ウィンドウからディープ ラーニング パッケージを開く](GUID-B78B41A5-9A2F-4A29-91BB-4C082C27E3E6-web.png "[カタログ] ウィンドウからディープ ラーニング パッケージを開く")
プロパティには、次の情報が含まれています。
- [入力] - *.emd ファイル、トレーニングされたモデル ファイル、および推論ツールの実行に必要なその他のファイル。
- [フレームワーク] - モデルのトレーニングに使用するディープ ラーニング フレームワーク。
- [モデル構成] - 実行されるモデル トレーニングのタイプ (オブジェクト検出、ピクセル分類、またはフィーチャ分類)。
- [説明] - モデルの説明。この情報はオプションで、編集可能です。
- [概要] - モデルの簡単な概要。この情報はオプションで、編集可能です。
- [タグ] - パッケージの識別に使用するタグ。この情報は、ポータルに格納されている *.dlpk アイテムで使用されます。
[プロパティ] ウィンドウで編集されたプロパティは、[OK] をクリックすると更新されます。[カタログ] ウィンドウでポータルから *.dlpk アイテムにアクセスしている場合、ポータル アイテムが更新されます。
*.dlpk の作成方法については、「ディープ ラーニング モデル パッケージの共有」をご参照ください。