全动态视频简介—ArcGIS Pro

获得 Image Analyst 许可后可用。

ArcGIS Image Analyst 扩展模块中的全动态视频 (FMV) 提供对兼容 FMV 的视频数据进行播放和地理空间分析的功能。兼容 FMV 是指视频流和相关元数据组合成一个视频文件，使视频具有地理空间感知能力。传感器系统收集照相机指向信息、平台位置和高度以及其他数据，并将其编码至视频流中，使得每个视频帧与地理位置信息相关联。

这一功能以地理空间的方式启用视频数据以及 ArcGIS Pro 的计算功能，使您能够在充分了解传感器动态和视域 (FOV) 的同时查看和操作视频，并在地图视图中显示此信息。此外，您还可以在视频视图或地图视图中分析和编辑要素数据，从而提供远程图解功能。

FMV 使用元数据将坐标在视频图像空间和地图空间之间无缝转换，这与影像空间分析中的图像坐标系转换静态影像的方式类似。这种转换为在 GIS 中的所有其他地理空间数据和信息的完整上下文中解释视频数据奠定了基础。例如，您可以在视频播放时在地图视图上查看视频帧轨迹、帧中心和成像平台的位置，同时可查看 GIS 图层，如具有 ID 的建筑物、地理围栏以及其他相关信息。

您可以在收集后立即对 FMV 数据进行实时分析或取证分析。因为它通常是一个位置可用的最新图像，所以非常适合态势感知。例如，如果您要在自然灾害后进行损失评估，则可以使用 FMV 分析从无人机收集的最新视频数据以及现有的 GIS 数据层。由于视频轨迹在地图上可见，因此您可以准确了解视频中可见的建筑物和基础设施，还可以评估其状况、在视频和地图中标记地面要素、为其位置添加书签以及在说明中对其进行描述。 FMV 旨在快速评估、分析和传播可操作的信息，以便及时提供决策支持。

FMV 功能和优势

FMV 利用关键元数据、提供视觉和分析处理工具并提供 ArcGIS Pro 平台功能，以支持工程和关键任务工作流。

FMV 已完全集成至 ArcGIS Pro，它能够利用系统架构、数据模型、工具和功能，并可以跨 ArcGIS 平台进行共享。
查看和分析实时流视频和存档视频。
视频播放器可以移动到计算机显示屏上的任何位置，也可以调整大小、最小化和关闭。
将视频播放器链接到地图显示，可以实现以下内容：
- 在地图上显示视频轨迹、传感器位置和视域。
- 视频播放器中收集的任何信息都会与您现有的 GIS 数据一起投影并显示在地图上。
- 更新地图以缩放到视频帧并在地图上关注视频。
可以同时打开并播放多个视频。当视频在地图上显示时，每个视频及其相关信息由唯一颜色标识。
使用直观的数字视频录像机 (DVR) 控件、影像和视频剪辑捕获工具以及分析工具。
实时显示元数据。
创建和管理书签。
标记感兴趣的位置和现象。
GPU 将加速显示。

这些功能构成了工作流的结构单元，从而将丰富的空间上下文集成到视频分析过程中。

全动态视频概述

FMV 的主要用于操作环境中的决策支持。了解 FMV 的使用者以及如何收集和使用 FMV 为评估 FMV 的功能提供了重要背景。

使用 FMV 的行业

FMV 可用于监控遥远、无法访问或危险的位置。使用 FMV 的组织类型包括：

公共安全和应急管理
Defense
石油公司
地方政府和联邦政府
边境巡逻
实用工具
自然资源专业人员

FMV 有多种类型的应用：

应急管理和公共安全
- 态势感知
- 损失评估
- 响应
- 减灾
- 安全监控
- 资产管理
廊道制图、监控和管理
- 公用设施传输，如电力、天然气、水和其他运输
- 交通，如道路、桥梁、铁路、高速公路和空陆海港
- 通信，如手机信号塔和基础设施
- 水文，如天然和人造基础设施
- 河岸，例如每个河段的水流缓冲区、栖息地、多样性制图和链接
Defense
- 情报，监测和侦察
- 任务支持
- 反情报
监控基础设施
- 库存
- 新发展
- 根据规划验证竣工情况
- 合规性和安全性

如何收集 FMV 数据

ArcGIS Pro 中的 FMV 应用程序使用从各种遥感平台收集的数据。将同时收集视频数据和元数据，并且元数据可以在传感器平台上实时编码为视频文件（MISB 兼容），或者稍后在称为多路复用的处理步骤中进行编码。

FMV 数据从以下各种传感器平台中收集：

无人机（UAV、UAS、RPV、无人机）
固定翼和直升机航空平台
轨道星载传感器
车载照相机
手持移动设备和照相机
用于持续监视的固定设备

FMV 支持 13 种视频格式：


描述	扩展模块
MPEG-2 传输流	.ts
MPEG-2 程序流	.ps
MPEG 文件	.mpg
MPEG-2 文件	.mpg2
MPEG-2 文件	.mp2
MPEG 文件	.mpeg
VLC (mpeg2)	.mpeg2
MPEG-4 影片	.mp4
MPEG-4 文件	.mpg4
MPEG-Dash	.mpd
H264 视频文件	.h264
VLC 媒体文件 (mpeg4)	.mpeg4
VLC 媒体文件 (vob)	.vob

FMV 功能

FMV 用于支持各种不同的操作环境，从紧急情况下的态势感知和使用实时流视频的紧急响应，到每小时或每日存档的监控视频的分析，以及历史存档数据的取证分析。每种类型的应用程序都需要直观的可视化和分析工具，以便快速识别和记录感兴趣的要素或情况，并将提取的信息传播给决策者和利益相关者。用于决策支持的 FMV 功能分为以下基本功能。

独立视频

独立视频功能区为上下文功能区，当您在地图中加载视频并在内容窗格中将其选中时将显示该功能区。其中包含三个选项卡：数据、视图和追踪。

“数据”选项卡

当视频加载到显示中时，视频文件将列于内容窗格中，数据选项卡随即显示在主功能区上。数据选项卡上的工具可用于管理视频数据。此选项卡分为五个组：打开、书签、保存、同步和管理。

将在独立视频：“数据”选项卡中介绍数据选项卡上的工具。

“视图”选项卡

独立视频的视图选项卡为上下文选项卡，且当您在内容窗格中选择视频时已启用。

视图选项卡包含用于导航视频、添加和管理图形以及查看视频元数据的工具。为了便于操作，也可以在 DVR 上使用这些工具。

工具操作包括缩放相关的地图视图以在地面上显示完整的视频帧、在地面上显示传感器地面轨迹和视频帧的视域，以及缩放和平移地图以跟踪地面上的视频。使用这些工具可以在处理视频数据的同时了解地理环境。

“追踪”选项卡

动态影像的一项重要功能是在播放视频数据期间追踪其中的特定对象。这些对象可处于静态或移动状态，可能被遮挡并重新出现，甚至会改变（例如一个人进入车辆）。全动态视频中的对象追踪功能将提供自动化和计算机辅助的工具，用于处理在视频影像中识别和追踪对象时的各种情况。它依靠深度学习技术以帮助进行目标检测、提取和匹配。

视频播放器

视频播放器被称为数字视频录像机 (DVR)，具有人们熟悉的普通 DVR 外观。视频播放器包括标准视频控制功能，如播放、快进、回退、前进、后退、跳到视频开头或跳到视频结尾等。您可以在播放模式或暂停模式下放大和漫游视频。视频帧内缩放视图的大小和位置将在概览窗口中显示。

其他工具包括捕获、注记和保存视频书签，将单个视频帧捕获为图像和导出视频剪辑。

添加图形

您可以通过使用要素进行标记来收集视频播放器中可见的感兴趣地面要素，该要素也会显示在地图上。相反，您可以在地图视图中标记地面要素，并且要素也会显示在视频播放器中。您可以将这些点保存为要素类，并在以后将其用于进一步分析。

书签

创建视频书签是分析视频时用于记录感兴趣的现象和要素的重要功能。您可以在播放视频的不同模式中收集视频书签，例如播放、暂停、快进和回退。可以在收集视频书签时打开的书签窗格中对书签进行描述。在导航组中的 ArcGIS Pro 地图选项卡上的书签窗格中，可以收集和管理书签。

向视频添加元数据

仅可在 FMV 中使用包含基本元数据的视频。专业级机载视频数据收集系统通常收集所需的元数据并将其实时编码到视频文件中。这些数据可以直接输入 FMV 应用程序，可以使用实时流模式或从归档文件输入。

消费者级视频收集系统通常会生成单独的视频数据和元数据文件，这些文件必须合并为单个兼容 FMV 的视频文件。该过程在软件中执行，称为多路复用。 FMV 提供名为视频多路复用器的工具，用于在视频文件的适当位置编码适当的元数据，以生成单个兼容 FMV 的视频文件。每个视频和元数据文件都将使用时间戳来同步视频文件中适当位置的适当元数据的编码。

元数据由相应的传感器生成，例如用于 x,y,z 位置的 GPS，高度计和惯性测量单元 (IMU)，或照相机方向的其他数据源。元数据文件必须采用逗号分隔值 (CSV) 格式。

FMV 元数据用于计算视频传感器的飞行路径，视频图像帧中心以及视频图像帧的地面轨迹。 FMV 还支持动态视频影像标准委员会 (MISB) 元数据规范，由超过 80 个参数组成。提供的所有 MISB 参数将被编码到最终的兼容 FMV 的视频中，包括超过 80 个参数或一个子集。

一组 FMV 参数包括投影到地面的视频图像帧的四个角的地图坐标。如果提供了这四个角的地图坐标，则可以对其进行使用。否则，该工具将根据所需参数的子集计算视频轨迹。

要计算并显示视频帧轨迹的相对拐角点并将其作为帧轮廓显示在地图上，FMV 需要下面列出的 12 个基本元数据字段：

Unix 时间戳
传感器纬度
传感器经度
传感器高度
平台朝向
平台仰俯
平台滚动
传感器相对滚动
传感器相对高程
传感器相对方位角
水平视域
垂直视域

如果元数据完整且准确，则该工具将计算视频帧拐角，这样视频帧轮廓的大小、形状和位置随后就可以显示在地图上。这 12 个参数组成了计算视频和地图之间的转换、在地图上显示视频轨迹以及启用其他功能（如视频和地图的数字化和标记）所需的最小元数据。

基于动态影像中的对象追踪方法，FMV 支持视频移动目标指示器 (VMTI) 数据。如果 VMTI 数据记录在与关联的视频文件不同的文件中，则可以使用视频多路复用器工具将其编码到视频文件中。

所生成的多路复用视频文件的性能取决于元数据文件中所含数据的类型和质量，以及视频数据和元数据文件的同步精确度。如果元数据不准确或包含异常，这些差异将被编码到视频中，并在播放视频时显示在地图上。如果您的 metadata.csv 文件仅包含 UNIX Time Stamp、Sensor Latitude 和 Sensor Longitude 字段，则传感器的位置将显示在地图上，但视频帧的轨迹将无法显示，并且不支持某些功能，例如数字化要素以及在视频中测量距离。

可以将元数据输入到 FMV 元数据模板 FMV_Multiplexer_Field_Mapping_Template.csv 中，可从 C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo 中获取该模板。此模板包含计算视频帧轨迹所需的 12 个基本元数据字段，以及 MISB 规范中包含的其他字段。如果您的元数据字段名称与 FMV 所需的名称不匹配，则可以将它们与 FMV_Multiplexer_Field_Mapping_Template.csv 模板中的 FMV 字段名称进行匹配。

理想情况下，视频数据和元数据的时间是同步的。如果链接视频和元数据的时间戳未能精确同步，则地图上的视频轨迹和传感器位置将偏离视频播放器中的视图。如果该时移是可观测且一致的，则多路复用器可以调整元数据的时间，使其与视频相匹配。通过在标识视频中偏移位置及其相关时间差异的视频多路复用器工具中创建并输入可选 CSV 文件，可以应用时移。可以使用从 C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo 获得的 FMV_Multiplexer_TimeShift_Template.csv 模板来调整偏移量。模板包含标注为 elapsed time 的列，其中包含视频中发生时移的位置，标注为 time shift 列中包含时间偏移量。如果视频和元数据之间的时偏不一致，则可以通过模板中的相关时移列出多个位置。此操作将为多路复用器指出应在何处放置相对于视频定时的适当元数据。

对象追踪

FMV 支持两种对象追踪方法：视频移动目标指示 (VMTI) 和基于深度学习的追踪。 VMTI 方法将以手动或自动方式追踪对象，并将对象的位置编码到特定视频帧中。每个对象都具有一个标识符 (ID) 以及与该对象相关联的外接矩形，该外接矩形随存档视频一起保存。在播放视频时，将显示与 VMTI 对象相关联的信息。 FMV 要求经过编码的视频元数据符合动态视频影像标准委员会 (MISB) 视频移动目标指示器和追踪元数据标准 (ST 0903)。

基于深度学习的对象追踪功能将提供自动化和计算机辅助工具，用于处理在视频影像中识别和追踪对象时的各种情况。它依靠深度学习技术以帮助进行目标检测、提取和匹配。可以构建您的深度学习模型以识别特定对象和要素类，并使用一系列工具以识别、选择和追踪感兴趣对象。可以数字化对象识别矩形的质心，并将其另存为工程地理数据库中的点类。然后，您可以在存档视频播放时显示对象。

摘要

FMV 通过地理空间方式启用的特征非常适合实时或取证分析以及态势感知应用。在地图上投影和显示视频帧轨迹和飞行路径的功能为视频提供了重要的上下文，并允许在视频播放器和地图中双向收集要素。

这些功能以及带注释的视频书签使分析者能够标识特定的视频帧或片段以进行进一步分析，并可以与其他利益相关者共享此信息。通过将兼容 FMV 的视频与完整的 GIS 功能集成，您可以合成重要的上下文信息，以支持在操作环境中作出明智的决策。