获得 Image Analyst 许可后可用。
可通过 ArcGIS Pro 中的全动态视频 (FMV) 使用被称为元数据播放器的元数据查看和分析系统实现处理存档和实时流视频数据的功能。 它适用于视频数据,包括编码到视频数据流中的基本地理位置、传感器和平台方向信息,使您能够了解视频影像在地图上的位置。 在您查看和分析数据时,这种独特的功能可为视频提供重要的地理环境。
元数据播放器的体验类似于 ArcGIS Pro Map Viewer,可以移动到显示器上的任何位置,也可对其进行调整大小、最小化和关闭操作。
FMV 和元数据播放器
兼容 FMV 的视频数据的特性和 ArcGIS Pro 确定了 FMV 元数据播放器的形式和功能。 这些特性以及它们对 FMV 元数据播放器的影响概述如下:
- 兼容 FMV 的视频数据包括照相机指向信息、平台位置和高度以及其他编码至视频流中的数据,使得每个视频帧都与地理位置信息相关联。
- 将元数据播放器链接到地图显示,可以实现以下内容:
- 在地图上显示视频轨迹、传感器位置和视域。
- 更新地图以缩放到视频帧或在地图上跟随视频。
- 元数据播放器显示和地图显示都与双向影像和地图坐标转换相关联。 因此,元数据播放器中收集的任何信息都会与您现有的 GIS 数据一起投影并显示在地图上。
- 可以同时打开任意数量的元数据播放器,并同时播放。 当视频在地图上显示时,每个视频及其相关图形信息由唯一颜色标识。
- 使用实时流和存档视频。
- 使用直观的播放控件。
- 在元数据播放时实时显示元数据。
内容窗格
将视频文件添加到地图时,视频文件将列在内容窗格中。 还列出了与视频相关的各个元素,包括帧中心、帧轮廓、平台轨迹和平台位置。 选中内容窗格中元素旁边的复选框以在地图视图中显示。 有关视频文件的详细信息,请右键单击内容窗格中的视频文件并选择属性。 针对数据源、程序信息、帧信息、流元数据-视频流和数据流呈现关于视频文件的详细信息。
注:
选中或取消选中元素后,可能需要在元数据播放器中选择播放以在地图中进行更新。在内容窗格中选择数据源,以展开视频文件并显示 KLV 流元素。 当视频源有一个或多个 KLV 流时,可以打开和关闭 KLV 流显示。 取消选中 KLV 流以关闭 KLV 数据处理。 通过选中复选框,可以启用/禁用 KLV 元素以便在地图上进行查看。 当使用元数据至 CSV 或元数据至要素时,选中的 KLV 流将数据传递到导出过程。 如果未选中 KLV 元素,或者如果其被禁用,则查看器将保留最后已知的数据,并且文件将继续播放而不更新地图。
下表列出了受支持的视频格式:
描述 | 扩展 |
---|---|
MPEG-2 传输流 | .ts |
MPEG-2 程序流 | .ps |
MPEG 文件 | .mpg |
MPEG-2 文件 | .mpg2 |
MPEG-2 文件 | .mp2 |
MPEG 文件 | .mpeg |
VLC (mpeg2) | .mpeg2 |
MPEG-4 影片 | .mp4 |
MPEG-4 文件 | .mpg4 |
MPEG-Dash | .mpd |
H264 视频文件 | .h264 |
VLC 媒体文件 (mpeg4) | .mpeg4 |
VLC 媒体文件 (vob) | .vob |
HLS(自适应比特率 (ABR)) | .m3u8 |
要播放存档的视频文件,请浏览到视频文件并将其添加到内容窗格或显示屏。 右键单击视频名称并选择元数据播放器选项。 元数据播放器将在视频文件加载时打开。 可以移动元数据播放器并将其放置在显示器的任何位置。 可以通过抓取和移动播放器的角落或边缘来调整其大小。
选择一种颜色以标识视频文件和相关图形(例如,地图上的视频轨迹)以及要在视频上收集的要素类数据。 可以在使用搜索栏播放视频时过滤按字段名称和值显示的元数据。
在元数据播放器中控制视频播放
如果打开了多个元数据播放器,则活动播放器将由键盘快捷键控制。
播放器控件
下表概述了元数据播放控件:
控件 | 标注 | 描述 |
---|---|---|
播放 | 根据视频的每秒帧速率播放元数据。 在元数据播放过程中,单击播放控后,控件将变为暂停控件。 | |
暂停 | 暂停元数据。 在元数据暂停时,单击暂停控件后,控件将变为播放控件。 | |
前进 | 按 FMV 工具栏中定义的秒数或帧数,将元数据向前步进。 | |
后退 | 按 FMV 工具栏中定义的秒数或帧数,将元数据向后退。 | |
快进 | 根据元数据播放器的播放速率快进元数据。 每单击一次快进按钮,速度增加一个整数。 当播放器暂停或停止时,播放速度将重置为 1 倍速。 | |
回退 | 根据元数据播放器的播放速率回退元数据。 每单击一次回退按钮,速度增加一个整数。 当播放器暂停或停止时,播放速度将重置为 1 倍速。 | |
跳转到结尾 | 跳到元数据结尾。 | |
跳转到开头 | 跳到元数据开头。 |
可以在播放视频文件时通过关键字搜索来搜索元数据字段。
视频帧信息显示
当播放存档视频时,关于每个视频帧的信息将实时显示在元数据播放器中。
信息显示 | 描述 |
---|---|
1 - 视频回放滑块控点 | 视频播放滑块控点可指示元数据播放器中显示的视频时间线内的相对位置。 可以通过单击左键并沿着播放滑块移动来抓取视频播放滑块控点。 |
2 - 元数据时间戳 | 视频播放时,将以便于阅读的格式显示协调世界时间 (UTC) 时间戳。 此时间戳反映视频滑块在视频文件时间线上的位置。 单击以将跳转更新为时间戳功能。 |
3 - 视频播放时间位置 | 显示当前视频帧相对于视频文件总时间的时间。 时间以 12 小时格式显示。 |
4 - 视频开始时间 | 视频文件开始处的日期和时间。 |
5 - 视频结束时间 | 视频文件末尾的数据和时间。 |
6 - 调整回放速率 | 在视频播放时使用微调滑块调整播放速率,视频播放器将调整并以新的速率播放。 |
7 - 播放器控件 | 视频播放控件,例如播放、暂停、快进等。 下面将会更详细地介绍播放控件。 |
调节回放速率
您可以使用播放的快进和回退控件调整播放速率。
- 播放速率显示在播放控件的右侧。
- 播放速率以整数表示。
- 单击暂停按钮将暂停视频。 播放速率重置为 1 倍速。
您可以使用微调滑块调整播放速率。
- 可使用回放微调滑块对回放速度进行精细控制。
- 回放速率是基于滑块位置的小数。 分辨率是 0.01 秒。
- 回放速度范围为播放速度的 0.01 倍至 8 倍。 这意味着当播放速度低于 1 倍速时,可以对视频进行慢放。
- 使用任何时间滑块或标准播放控件时,慢动作播放速率将重置为 1 倍速。
跳转至时间戳
视频元数据时间戳(上表中的视频播放时间显示,项目 2)将沿视频文件时间线反映视频滑块的时间。 在播放元数据时,您可以在时间显示窗口中右键单击以复制、剪切或粘贴时间戳。 当您将时间戳粘贴到时间显示窗口中时,元数据播放器将跳转至视频文件中的该位置。
元数据播放器工具
除了播放控件之外,还可以从元数据播放器上的工具访问重要且有用的 FMV 功能。 这些工具支持常见的视频分析和管理操作以及工作流。
下表列出了元数据播放器上的工具。
工具 | 标注 | 描述 |
---|---|---|
显示元数据 | 显示嵌入式元数据。 | |
缩放至视频 | 缩放到视频的地图位置。 地图显示内的视图包括视频帧以及成像平台的地面轨迹。 | |
缩放至帧 | 缩放到视频当前帧的地图位置。 | |
自动跟踪 | 在播放时,将地图显示在传感器的视频帧和地面轨迹上保持居中。 当视频到达显示器边缘时,地图显示将平移。 要停止跟随视频,再次单击自动跟随视频按钮。 | |
显示 VMTI 图形 | 在视频和地图上显示 VMTI 图形。 | |
元数据至要素 | 除非在配置工作空间设置中对其进行重新配置,否则平台、帧中心和帧轮廓元数据将另存为工程地理数据库的要素类。 | |
元数据至 CSV | 将平台、帧中心和帧轮廓元数据保存在逗号分隔值 (CSV) 文件中。 | |
VMTI 至要素 | 将 VMTI 中心点数据保存到地理数据库中。 | |
缓冲播放 | 借助缓冲播放,可以完全控制视频播放。 |
快速启动工具条
由于 ArcGIS Pro 中的视频和元数据播放器功能不断增强,现在有许多控件可用于与视频和地图进行交互。 并非所有按钮仅限于分析师使用,因此现在您可以配置播放器按钮,以针对您的 ArcGIS Pro 实例自定义播放器。
展开自定义快速启动工具条部分以构建视频播放器窗格中的工具。 在左侧面板中选择一个项目,然后单击添加将项目移至右侧面板,以在视频播放器窗格中显示并启用该项目。 在自定义快速启动工具栏界面中使用键盘快捷键:
- R - 从列表中移除启用的按钮。
- A - 添加一个按钮到已启用的按钮列表。
视频移动目标指示器 (VMTI)
FMV 支持显示和捕获嵌入在 FMV 兼容视频数据流中的 VMTI 信息。 VMTI 是一种机器学习人工智能方法,用于检测视频中的移动物体。 对象检测将由第三方软件提供商根据动态视频影像标准委员会 (MISB) 文件中的规定执行并编码到视频流中。 如果 VMTI 数据在兼容 FMV 的视频中进行编码,则可以在视频播放的同时在视频播放器和地图中显示数据。 单击显示 VMTI 图形工具 以显示表示视频文件标识对象的矩形图形。
FMV 还支持使用深度学习方法进行对象追踪。 有关详细信息,请参阅动态影像中的对象追踪。
与每个识别的对象相关联的置信度或对象标识符也可以显示在视频播放器和地图中。 在内容窗格中选择支持 VMTI 的视频,单击独立视频 > 数据选项卡上的配置工作空间以打开全动态视频 (FMV) 属性:工作空间对话框。 在对话框中单击 VMTI 类别以指定有关视频播放器和地图中显示的 VMTI 设置。 可以指定要识别对象的置信度阈值,您可以显示在视频播放器和地图中标识的对象的置信度、对象位置或对象 ID 标注。
单击 VMTI 至要素工具 将每个视频帧中标识的所有对象保存到地理数据库。 指定地理数据库的文件名和位置以及标识对象的数据捕获频率。 记录的要素类数据包括检测到的每个对象的中心点以及与相关视频帧有关的所有 FMV 元数据。 关联要素属性表允许使用现有地理处理工具为 VMTI 要素创建对象追踪和其他统计信息。
如果 VMTI 信息存储在与特定视频相关联的单独文件中,则可以使用 FMV 多路复用器将其编码到视频文件中。 有关详细信息,请参阅视频多路复用器。
元数据至要素
单击元数据至要素工具 将视频元数据另存为地理数据库中的要素类。 对话框随即出现,您可以指定地理数据库,并将捕获频率设置为视频帧间隔或秒。 您还可以选择在创建地图时显示这些要素。 在您再次单击元数据至要素工具将其禁用之前,地理数据库将随着视频播放持续更新。
将传感器地面位置存储为点要素类,并在视频文件名中追加 Camera。 将视频帧中心存储为点要素类,并在视频文件名中追加 Center。 将视频帧轮廓元数据存储为面要素类,并在视频文件名中追加 Outline。
元数据至 CSV
单击元数据至 CSV 工具 将视频元数据保存为逗号分隔值 (CSV) 文件。 随即出现一个对话框,允许您将 CSV 保存到工程地理数据库,或将其保存到单独的目录中。 CSV 文件将包含编码到视频流中的所有 MISB 元数据。 再次单击该工具可停止将视频元数据录制到 CSV 文件。
播放实时视频流
要播放实时视频流并仅查看元数据流,您需要视频流的用户数据报协议 (UDP) 或实时流协议 (RTSP) 地址。
注:
全动态视频播放器支持 Internet 协议版本 4 (IPv4) 地址以及 UDP 和 RTSP。 MPEG TS 流可以作为 UDP 单播或多播进行播放,且可以包括 MPEG-1、MPEG-2 和 H.264 视频解码以及 KLV 元数据解析。 RTSP 回放受使用以下任何视频编解码器的实时 RTSP 流支持:MPEG-1 视频、MPEG-2 视频 H.264 和 MJPEG。
支持 HTTP Live Streaming (HLS) 加载和播放 .m3u8 文件。 HLS 是一种基于 HTTP 的自适应比特率流通信协议,用于媒体播放器、Web 浏览器、流媒体服务器和移动设备。
确认您的宽带连接处于运行状态后,请按以下方法将实时流视频添加到地图显示:单击地图选项卡上的添加数据下拉菜单,然后单击路径中的数据,在随即打开的从路径添加数据对话框中输入视频流的 UDP 或 RTSP 地址,然后单击添加。 实时流视频被加载到视频播放器中并开始播放。 在“内容”窗格中找到视频名称,右键单击并选择元数据播放器。
缓冲播放
视频播放控件在缓冲播放模式下启用,该模式可从视频播放器或播放器上下文选项卡上的实时流组访问。 所有元数据播放器工具都已被启用,与存档视频文件的操作相同。
单击缓冲播放工具以启用和禁用回放模式。 实时流视频存储在临时文件中,也可在配置全动态视频工作空间窗格中指定用于保存 UDP 实时流视频的存储位置。
全动态视频键盘快捷键
键盘快捷键使您可以高效地处理视频数据。 键盘快捷键在活动视频播放器上执行操作。 这些操作的行为与视频播放器工具列上的相应工具相同。 如果打开了多个视频播放器,则活动播放器将由键盘快捷键控制。
键盘快捷键 | 操作 | 注释 |
---|---|---|
Alt+Z | 缩放至帧。 | 地图显示内的视图包括视频帧以及成像平台的地面轨迹。 这与缩放至视频视频播放器工具相同。 |
F | 启用或禁用自动跟踪。 | 在播放时,将地图显示在传感器的视频帧和地面轨迹上保持居中。 当视频到达显示器边缘时,地图显示将平移。 这与自动跟踪视频播放器工具相同。 |
Z | 将视频窗格缩放到视频的地图位置。 | 地图显示内的视图包括视频帧以及成像平台的地面轨迹。 这与视频播放器中的缩放至视频工具相同。 |
V | 显示 VMTI。 | 在视频和地图上显示 VMTI 图形。 |
Shift +M | 元数据至要素 | 除非在配置工作空间设置中对其进行重新配置,否则平台、帧中心和帧轮廓元数据将另存为工程地理数据库的要素类。 |
Shift+Ctrl+M | 元数据至 CSV。 | 将平台、帧中心和帧轮廓元数据保存在逗号分隔值 (CSV) 文件中。 |
Shift +V | VMTI 至要素。 | 将 VMTI 中心点数据保存到地理数据库中。 |
Ctrl+Space | 缓冲播放 | 借助缓冲播放,可以完全控制视频播放。 |
M | 显示元数据 | 显示嵌入式元数据。 |