Full Motion Video の概要—ArcGIS Pro

Image Analyst ライセンスで利用できます。

ArcGIS Image Analyst エクステンションに含まれる Full Motion Video (FMV) は、FMV 準拠のビデオデータの再生および地理空間解析機能を提供します。 FMV 準拠とは、ビデオストリームと関連するメタデータを 1 つのビデオファイルにまとめたもので、ビデオが地理空間に対応しています。センサーシステムは、カメラ指向情報、プラットフォームの位置および姿勢などのデータを収集し、ビデオストリームにエンコードすることで、各ビデオフレームが地理的位置情報に関連付けられるようにします。

地理空間に対応した動画データと、ArcGIS Pro の計算機能を併用することで、センサー動特性と視野 (FOV) を認識しながら動画を表示し、操作して、この情報をマップビューに表示することができます。また、ビデオビューまたはマップビューのいずれかでフィーチャデータを解析および編集し、テレストレーション機能を提供することもできます。

ビデオフットプリントとセンサー地表トラックを含む FMV プレーヤーがマップに表示されます。

FMV はメタデータを使用して、画像空間解析の画像座標系が静止画を変換する方法と同様に、ビデオ画像空間とマップ空間の間の座標をシームレスに変換します。この変換は、GIS 内のその他すべての地理空間データおよび情報を十分に考慮した状態で、ビデオデータ解釈の基礎を提供します。たとえば、動画を再生しながらマップビュー上の動画フレームのフットプリント、フレーム中央、画像プラットフォームの位置に加え、建物とその ID などの GIS レイヤー、ジオフェンス、その他の関連情報を表示することができます。

FMV データは、収集された直後にリアルタイムまたはフォレンジック解析を行うことができます。対象位置の最新画像であることが多いため、状況認識に適しています。たとえば、自然災害後の損害評価に携わっている場合、FMV を使用してドローンから収集した最新のビデオデータを既存の GIS データレイヤーとともに解析できます。ビデオフットプリントはマップ上に表示されるため、ビデオに表示される建物やインフラストラクチャを正確に把握したり、その状態を評価したり、ビデオおよびマップ内の地表フィーチャをマークしたり、その位置をブックマークしたり、メモに記したりすることができます。 FMV を使用することで、実用的な情報を迅速に評価、分析、出力でき、タイムリーな意思決定をサポートします。

FMV の特長とメリット

FMV は重要なメタデータを活用し、視覚的な解析処理ツールを提供するほか、プロジェクトおよびミッションクリティカルなワークフローをサポートする ArcGIS Pro プラットフォーム機能も提供します。

FMV は ArcGIS Pro に完全に統合されているため、システムアーキテクチャ、データモデル、ツールおよび機能、および ArcGIS プラットフォーム全体への共有機能を活用することができます。
ライブストリームビデオやアーカイブされたビデオを表示および解析します。
ビデオプレイヤーは、コンピューターディスプレイの任意の場所に移動したり、サイズを変更したり、最小化したり、閉じたりできます。
ビデオプレーヤーはマップ表示にリンクされているため、以下を実行できます。
- マップへのビデオフットプリント、センサー位置、および視野の表示。
- ビデオプレーヤーで収集された情報を、既存の GIS データとともにマップ上に投影および表示できます。
- マップを更新してビデオフレームを拡大し、ビデオに追従してマップ全体が表示できます。
複数のビデオを同時に開いて再生できます。各ビデオおよび関連情報はマップに表示される際、一意の色で識別できます。
直感的なデジタルビデオレコーダー (DVR) コントロール、画像およびビデオクリップキャプチャ、および解析ツールを使用できます。
メタデータをリアルタイムで表示できます。
ブックマークの作成および管理。
対象位置および現象のマーク。
表示を GPU で高速化できます。

これらの機能は、情報豊かな空間コンテキストをビデオ解析プロセスに統合するワークフローの構成要素となります。

Full Motion Video の概要

FMV は主に運用環境の意思決定サポートに使用されます。 FMV のユーザー、収集および利用方法を理解することで、FMV の機能を評価するための重要なコンテキストを得ることができます。

FMV を使用する業種

FMV は、遠隔地、人が近づきにくい場所、危険な場所の監視に役立ちます。次のような組織が FMV を使用しています。

公共管理および危機管理
ディフェンス
石油会社
地方政府および連邦政府
国境監視
ユーティリティー
天然資源担当者

FMV には多くの用途があります。

危機管理および公共管理
- 状況認識
- 損害評価
- 応答
- 減災
- セキュリティ監視
- 資産管理
コリドーのマッピング、監視、および管理
- 電気、ガス、水道などのユーティリティ伝送およびその他の輸送
- 道路、橋、鉄道、高速道路、陸海空港などの交通
- 無線基地局やインフラストラクチャなどの通信
- 自然インフラストラクチャや人工インフラストラクチャなどの水文解析
- リーチごとの河川バッファー、生息地、多様性マッピング、リンクなどの水辺
ディフェンス
- インテリジェンス、監視、偵察
- ミッションサポート
- スパイ防止活動
インフラストラクチャの監視
- インベントリ
- 新規開発
- 計画に対する現況の確認
- コンプライアンスおよび安全管理

FMV データの収集方法

ArcGIS Pro の FMV アプリケーションは、さまざまなリモートセンシングプラットフォームから収集されたデータを使用します。ビデオデータおよびメタデータは同時に収集され、メタデータはリアルタイムにセンサープラットフォーム (MISB 準拠) 上でビデオファイルにエンコードされるか、後で多重化と呼ばれる処理手順でビデオファイルにエンコードされます。

FMV データは、以下のさまざまなセンサープラットフォームから収集されます。

無人航空機 (UAV、UAS、RPV、ドローン)
固定翼およびヘリコプター航空機プラットフォーム
周回軌道宇宙センサー
車載カメラ
ハンドヘルドモバイルデバイスおよびカメラ
永続的な監視のための固定デバイス

FMV は、以下の 13 種類のビデオ形式をサポートしています。


説明	拡張
MPEG-2 トランスポートストリーム	.ts
MPEG-2 プログラムストリーム	.ps
MPEG ファイル	.mpg
MPEG-2 ファイル	.mpg2
MPEG-2 ファイル	.mp2
MPEG ファイル	.mpeg
VLC (MPEG2)	.mpeg2
MPEG-4 ムービー	.mp4
MPEG-4 ファイル	.mpg4
MPEG-Dash	.mpd
H264 ビデオファイル	.h264
VLC メディアファイル (MPEG4)	.mpeg4
VLC メディアファイル (VOB)	.vob

FMV ケーパビリティ

FMV は、ライブストリーミングビデオを利用した緊急を要する状況認識および緊急時応急措置から、監視用の時間単位または日単位のアーカイブビデオの解析や、過去のアーカイブデータのフォレンジック分析まで、さまざまな運用環境をサポートしています。それぞれの用途には、直感的な視覚化および解析ツールが必要です。これらのツールにより、対象のフィーチャや状況を迅速に識別および記録し、抽出された情報を意思決定者や関係者に提示します。意思決定をサポートする FMV 機能は、以下の必須機能に分類されます。

スタンドアロンビデオ

[スタンドアロンビデオ] リボンはコンテキストに依存するため、ビデオをマップに読み込んで、[コンテンツ] ウィンドウでそのビデオを選択すると表示されます。このリボンには 3 つのタブ ([データ]、[ビュー]、[トラッキング]) があります。

[データ] タブ

ビデオがディスプレイに読み込まれると、ビデオファイルが [コンテンツ] ウィンドウに表示され、メインリボンに [データ] タブが表示されます。 [データ] タブのツールを使用すると、ビデオデータを管理できます。このタブは、[開く]、[ブックマーク]、[保存]、[同期]、[管理] の 5 つのグループに分かれています。

[データ] タブに表示されるツールについては、「スタンドアロンビデオ: データタブ」をご参照ください。

[ビュー] タブ

[スタンドアロンビデオ] の [ビュー] タブはコンテキストに依存するため、[コンテンツ] ウィンドウでビデオを選択すると有効になります。

[ビュー] タブには、ビデオの操作、グラフィックスの追加と管理、およびビデオメタデータの表示を行うツールが含まれています。これらのツールは、簡単に操作できるよう DVR でも利用できます。

ツールの操作には、関連付けられたマップビューの拡大による地表でのフルビデオフレームの表示、地表でのセンサー地表トラックおよびビデオフレームの視野の表示、マップの拡大および移動による地表でのビデオの追従などがあります。これらのツールを使用すると、ビデオデータの操作時に地理的状況を把握できます。

トラッキングタブ

モーションイメージの重要な機能の 1 つに、ビデオデータの再生中に特定のオブジェクトをトラッキングできることがあります。これらのオブジェクトは静止していることもあれば、動いていることもあり、また、見えなくなった後に再び現れることもあれば、変化することさえもあります (乗車中の人など)。 Full Motion Video のオブジェクトトラッキング機能では、ビデオ画像内のオブジェクトを識別してトラッキングするときのさまざまな状況に対処できるように、自動化されたコンピューター支援ツールが提供されます。この機能は、ディープラーニングテクノロジを利用して、オブジェクトの検出、抽出、およびマッチングを支援します。

ビデオプレーヤー

ビデオプレーヤーはデジタルビデオレコーダー (DVR) と呼ばれ、一般的な DVR に合わせた、使い慣れた外観と操作性を実現しています。ビデオプレーヤーには、再生、早送り、巻き戻し、早送り、次のステップへ進む、前のステップに戻る、先頭へのジャンプ、またはビデオの最後へのジャンプなど、標準的なビデオコントロールが含まれています。ビデオが再生モードまたは一時停止モードの間、ビデオの拡大およびローミングを行うことができます。ビデオフレーム内の拡大ビューのサイズと位置が、外観図ウィンドウに表示されます。

その他のツールには、ビデオブックマークのキャプチャ、アノテーション、保存のほか、単一ビデオフレームの画像としてのキャプチャ、ビデオクリップのエクスポートなどがあります。

グラフィックスの追加

ビデオプレーヤーに表示される対象地表フィーチャを収集するには、そのフィーチャをマークします。このフィーチャはマップにも表示されます。逆に、マップビューで地表フィーチャをマークすると、フィーチャはビデオプレーヤーにも表示されます。これらのポイントをフィーチャクラスとして保存し、今後の解析に使用することもできます。

ビデオフットプリントを含むビデオプレーヤーとポイントフィーチャがマップに表示されます。

ブックマーク

ビデオブックマークの作成は、ビデオを解析する際に対象の現象やフィーチャを記録するための重要な機能です。ビデオブックマークは、再生、一時停止、早送り、巻き戻しなど、ビデオ再生のさまざまなモードで収集できます。ブックマークは、ビデオブックマークの収集時に開く [ブックマーク] ウィンドウに記述できます。ブックマークは、ArcGIS Pro の [マップ] タブの [ナビゲーション] グループにある [ブックマーク] ウィンドウで収集および管理されます。

メタデータのビデオへの追加

必須のメタデータを含むビデオのみを FMV で使用できます。プロ仕様の空中ビデオデータ収集システムは、一般的に必要なメタデータを収集し、リアルタイムでビデオファイルにエンコードします。このデータは、ライブストリーミングモードまたはアーカイブされたファイルから FMV アプリケーションに直接入力できます。

消費者向けのビデオコレクションシステムでは、1 つの FMV 準拠ビデオファイルに結合する必要がある、個別のビデオデータとメタデータファイルが生成されることがよくあります。この処理はソフトウェアで実行され、多重化と呼ばれます。 FMV は、適切なメタデータをビデオファイルの適切な位置にエンコードして、1 つの FMV 準拠ビデオファイルを生成する [ビデオマルチプレクサー (Video Multiplexer)] というツールを提供しています。各ビデオおよびメタデータファイルは、タイムスタンプを使用して、ビデオファイル内の適切な位置に適切なメタデータエンコードを同期します。

メタデータは、X、Y、Z 位置を示す GPS、高度計、慣性測定ユニット (IMU)、カメラの方向を示す他のデータソースなどの適切なセンサーから生成されます。メタデータファイルは、カンマ区切り値 (CSV) 形式である必要があります。

FMV メタデータを使用して、ビデオセンサーのフライトパス、ビデオ画像フレームセンター、およびビデオ画像フレームの地表のフットプリントが計算されます。 FMV は、80 以上のパラメーターで構成される MISB (Motion Imagery Standards Board) メタデータ仕様もサポートしています。指定したすべての MISB パラメーターが、80 以上のパラメーターまたはサブセットを含めて、最終的な FMV 準拠ビデオにエンコードされます。

FMV パラメーターセットの中には、地表に投影されたビデオ画像フレームの四隅のマップ座標を含むものがあります。四隅のマップ座標を指定した場合、この値が使用されます。指定されていない場合、ツールは必須パラメーターのサブセットからビデオフットプリントを計算します。

ビデオフレームフットプリントの相対的なコーナーポイントを計算して、マップ上にフレームアウトラインとして表示するには、次に示す 12 個の必須メタデータフィールドが FMV に必要です。

精度タイムスタンプ
Sensor Latitude
Sensor Longitude
Sensor Ellipsoid Height、または Sensor True Altitude
Platform Heading Angle
Platform Pitch Angle
Platform Roll Angle
Sensor Relative Roll Angle
Sensor Relative Elevation Angle
Sensor Relative Azimuth Angle
Sensor Horizontal Field of View
Sensor Vertical Field of View

メタデータが完全かつ正確な場合、ツールはビデオフレームの四隅を計算し、ビデオフレームアウトラインのサイズ、形状、位置をマップ上に表示します。これら 12 のパラメーターは、ビデオとマップ間の変換の算出、マップ上でのビデオフットプリントの表示、その他の機能 (ビデオとマップのデジタイズやマーキングなど) の有効化を実行するのに最低限必要なメタデータで構成されます。

FMV は、モーションイメージのオブジェクトトラッキング方法に基づいて VMTI (Video Moving Target Indicator) データをサポートしています。 VMTI データは、関連するビデオファイルとは別のファイルに記録されている場合、[ビデオマルチプレクサー (Video Multiplexer)] ツールを使用してビデオファイルにエンコードできます。

生成される多重化ビデオファイルのパフォーマンスは、メタデータファイルに含まれるデータの種類と品質、およびビデオデータとメタデータファイルの同期の精度によって異なります。メタデータが正確でないか異常値が含まれている場合、これらの差異はビデオにエンコードされ、ビデオが再生されるときにマップに表示されます。 metadata.csv ファイルに UNIX Time Stamp、Sensor Latitude、および Sensor Longitude フィールドのみが含まれている場合、センサーの位置がマップ上に表示されますが、ビデオフレームフットプリントは表示できません。また、ビデオ内のフィーチャのデジタイズや距離の測定などの機能もサポートされません。

メタデータは、C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo から入手した FMV メタデータテンプレート (FMV_Multiplexer_Field_Mapping_Template.csv) に入力できます。このテンプレートには、ビデオフレームフットプリントの計算に必要な 12 個の必須メタデータフィールドと、MISB 仕様に含まれる追加のフィールドが含まれています。メタデータフィールド名が FMV に必要なフィールドと一致しない場合は、FMV_Multiplexer_Field_Mapping_Template.csv テンプレートの FMV フィールド名と照合することができます。

ビデオデータとメタデータは時刻同期していることが理想です。ビデオとメタデータをリンクするタイムスタンプが正確に同期されていない場合、マップ上のビデオフットプリントとセンサーの位置は、ビデオプレーヤーのビューからオフセットされます。時間シフトが観測可能で一貫性がある場合、マルチプレクサーではメタデータのタイミングがビデオと合致するよう調整することができます。時間シフトは、オプションの CSV ファイルを作成し、ビデオ内のオフセット位置と関連する時間の不一致を識別する [ビデオマルチプレクサー (Video Multiplexer)] ツールに入力することで適用されます。 C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo から取得した FMV_Multiplexer_TimeShift_Template.csv テンプレートを使用してオフセットを調整します。テンプレートには、時間シフトが発生するビデオ内の位置を示す elapsed time 列、および時間オフセット量を示す time shift 列が含まれています。ビデオおよびメタデータ間の時間シフトに一貫性がない場合、ビデオ内の複数の位置を、テンプレート内の関連するタイムシフトとともに表示できます。これにより、マルチプレクサーがビデオのタイミングに対して適切なメタデータを配置する位置を指示できます。

オブジェクトトラッキング

FMV は VMTI (Video Moving Target Indicator) とディープラーニングベーストラッキングの 2 つのオブジェクトトラッキング方法をサポートしています。 VMTI 方法では、オブジェクトを手動または自動でトラッキングし、特定のビデオフレーム内におけるオブジェクトの位置をエンコードします。オブジェクトごとに識別子 (ID) と境界四角形が、アーカイブビデオで保存されるオブジェクトに関連付けられます。ビデオが再生されると、VMTI オブジェクトに関連付けられた情報が表示されます。 FMV では、エンコードされたビデオメタデータが「Motion Imagery Standards Board (MISB) Video Moving Target Indicator and Track Metadata」規格 (ST 0903) に準拠している必要があります。

ディープラーニングベースオブジェクトトラッキング機能では、ビデオ画像内のオブジェクトを識別してトラッキングするときのさまざまな状況に対処できるように、自動化されたコンピューター支援ツールが提供されます。この機能は、ディープラーニングテクノロジを利用して、オブジェクトの検出、抽出、およびマッチングを支援します。特定のオブジェクトおよびフィーチャのクラスを識別するディープラーニングモデルを構築し、一連のツールを使用して、それらの対象オブジェクトを識別、選択、トラッキングします。オブジェクトの識別用四角形の重心をデジタイズして、プロジェクトのジオデータベースにポイントクラスとして保存できます。その後、アーカイブビデオの再生時に、これらのオブジェクトを表示できます。

サマリー

FMV の地理空間対応特性は、リアルタイムまたはフォレンジック分析および状況認識アプリケーションに最適です。マップ上にビデオフレームフットプリントおよびフライトパスを投影および表示する機能により、ビデオに重要なコンテキストを与え、ビデオプレーヤーとマップで双方向なフィーチャコレクションを実現できます。

これらの機能とアノテーション付きのビデオブックマークを使用すると、アナリストは今後の分析に役立つビデオフレームまたはセグメントを特定し、この情報を他の関係者と共有することができます。 FMV 準拠ビデオとフル GIS 機能を統合することにより、重要なコンテキスト情報を合成して、運用環境での情報に基づく意思決定をサポートすることができます。