Introducción a Full Motion Video

Disponible con licencia de Image Analyst.

La funcionalidad Full Motion Video (FMV) en la extensión ArcGIS Image Analyst ofrece funcionalidades de reproducción y análisis geoespacial para vídeos compatibles con FMV. La conformidad con FMV se refiere a la combinación de una transmisión de vídeo y metadatos asociados en un archivo de vídeo, lo que hace que el vídeo tenga conocimiento geoespacial. Los sistemas de sensores recopilan información sobre la orientación de la cámara, la posición y la postura de la plataforma, y otros datos, y los codifican en la transmisión de video para que cada fotograma de vídeo esté asociado a información geoposicional.

Estos datos de vídeo habilitados geoespacialmente, junto con la funcionalidad computacional de ArcGIS Pro, le permiten ver y manipular el vídeo y conocer al mismo tiempo la dinámica y el campo de visión (FOV) de los sensores y visualizar esta información en la vista de mapa. También le permite analizar y editar datos de entidades en la vista de vídeo o la vista de mapa, lo cual le ofrece capacidad de telestración.

FMV usa los metadatos para convertir sin problemas las coordenadas entre el espacio de imagen de vídeo y el espacio de mapa, de modo similar a la forma en que el sistema de coordenadas de imagen de análisis del espacio de imagen transforma imágenes fijas. Esta conversión ofrece los fundamentos para interpretar los datos de vídeo en el contexto global del resto de datos geoespaciales e información dentro de su SIG. Por ejemplo, puede ver la huella del fotograma de vídeo, el centro del fotograma y la posición de la plataforma de imágenes en la vista de mapa a medida que se reproduce el vídeo, junto con las capas SIG, como edificios con Id., barreras geográficas y otra información pertinente.

Puede analizar los datos de FMV en tiempo real o de forma pericial inmediatamente después de una recopilación. Es muy adecuado para conocer la situación, ya que suele ser la imagen más actual disponible para una ubicación. Por ejemplo, si tiene que evaluar los daños tras un desastre natural, puede utilizar FMV para analizar los datos de vídeo más recientes capturados por un dron junto con las capas de datos SIG existentes. Dado que la huella de vídeo está visible en el mapa, usted sabe exactamente qué edificios e infraestructuras están visibles en el vídeo y puede evaluar su estado, marcar entidades de terreno en el vídeo y el mapa, marcar sus ubicaciones y describirlas en notas. FMV se ha diseñado para evaluar, analizar y distribuir rápidamente información ejecutable para respaldar unas decisiones oportunas.

Para más información sobre el FMV, consulte Preguntas frecuentes.

Características y ventajas de FMV

FMV utiliza metadatos fundamentales, ofrece herramientas de procesamiento analítico y visual y facilita las siguientes capacidades de ArcGIS Pro para respaldar los flujos de trabajo de proyectos y de misión crítica:

• El FMV está totalmente integrado en ArcGIS Pro y utiliza la arquitectura del sistema, los modelos de datos, las herramientas, funcionalidades y el uso compartido de ArcGIS.
• Vea y analice vídeos transmitidos en directo y vídeos archivados.
• Mueva el reproductor de vídeo a cualquier punto de la pantalla del equipo, cambie su tamaño, minimícelo y ciérrelo.
• El reproductor de vídeo está vinculado a la visualización del mapa, lo que permite lo siguiente:
  • Mostrar la huella del vídeo, la ubicación del sensor y el campo de visión en el mapa.
  • Cualquier información recopilada en el reproductor de vídeo se proyecta y muestra en el mapa, junto con sus datos SIG existentes.
  • Actualizar el mapa para acercarse al fotograma del vídeo y seguir vídeos por el mapa.
• Abra y reproduzca varios vídeos al mismo tiempo. Cada vídeo, junto con su información asociada, se identifica por un color único cuando se muestra en el mapa.
• Utilice controles de reproducción intuitivos, captura de recortes de imágenes y vídeos y herramientas de análisis.
• Muestra los metadatos en tiempo real.
• Cree y administre marcadores.
• Marque ubicaciones y fenómenos de interés.
• La visualización se acelera mediante GPU.

Estas capacidades funcionales constituyen la base de los flujos de trabajo que integran el contexto espacial en el proceso de análisis de vídeo.

Usos del FMV

El uso primario de FMV es para respaldar la toma de decisiones en entornos operativos. Comprender quién utiliza FMV y cómo se captura y utiliza ofrece contexto importante para evaluar la funcionalidad de FMV.

Sectores que utilizan FMV

El FMV puede utilizarse para la monitorización de ubicaciones remotas, inaccesibles o peligrosas. Entre los tipos de organizaciones que utilizan FMV se incluyen los siguientes:

• Seguridad pública y administración de urgencias
• Defensa
• Compañías petrolíferas
• Gobiernos locales y federales
• Patrulla de frontera
• Utilidades
• Profesionales de recursos naturales

Los siguientes son algunos de los tipos de aplicaciones del FMV:

• Administración de urgencias y seguridad pública
  • Conocimiento de la situación
  • Evaluación de daños
  • Respuesta
  • Mitigación
  • Monitorización de la seguridad
  • Administración de activos
• Representación cartográfica, supervisión y administración de corredores
  • Transmisión de servicios públicos, como electricidad, gas, agua y otros medios de transporte
  • Transporte, por ejemplo, carreteras, puentes, vías férreas, autopistas y embarcaderos de tierra, mar y aire
  • Comunicación, como torres e infraestructuras de telefonía móvil
  • Hidrología, como infraestructura natural y hecha por el hombre.
  • Ribereñas, como zonas de influencia de arroyos por tramo, hábitat, representación cartográfica de la diversidad y vínculos
• Defensa
  • Inteligencia, vigilancia y reconocimiento
  • Respaldo a la misión
  • Contrainteligencia
• Monitorización de infraestructuras
  • Inventario
  • Nuevo desarrollo
  • Verificación de lo construido según lo planificado
  • Cumplimiento y seguridad

Recopilación de datos de FMV

La aplicación de Full Motion Video en ArcGIS Pro utiliza datos recopilados de diversas plataformas de teledetección. Los datos de vídeo y los metadatos se recopilan simultáneamente, y los metadatos se codifican en el archivo de vídeo en tiempo real a bordo de la plataforma del sensor (compatible con el MISB) o más tarde en un paso de procesamiento denominado multiplexación.

Los datos de FMV se recopilan de diversas plataformas de sensores, entre las que se incluyen las siguientes:

• Drones (UAV, UAS y RPV)
• Plataformas aéreas de ala fija y helicópteros
• Sensores espaciales orbitales
• Cámaras montadas en vehículos
• Dispositivos y cámaras manuales móviles
• Dispositivos estacionarios para vigilancia persistente

Los formatos de vídeo compatibles, incluidos los formatos 4K de alta resolución, se enumeran en la tabla siguiente:

Descripción	Extensión
Archivo MOV	.mov
Flujo de transmisión de MPEG-2	.ts
Flujo de programa de MPEG-2	.ps
Archivo MPEG	.mpg
Archivo MPEG-2	.mpg2
Archivo MPEG-2	.mp2
Archivo MPEG	.mpeg
VLC (mpeg2)	.mpeg2
Película MPEG-4	.mp4
Archivo MPEG-4	.mpg4
MPEG-Dash	.mpd
Archivo de vídeo H264¹	.h264
Archivo de vídeo H265¹	.h265
Archivo de medios VLC (mpeg4)	.mpeg4
Archivo de medios VLC (vob)	.vob
HLS (velocidad de bits adaptable [ABR])	.m3u8
¹ Requiere multiplexación

Requisitos del sistema de Full Motion Video

Los requisitos mínimos, recomendados y óptimos para Full Motion Video en ArcGIS Pro se enumeran a continuación. Los requisitos mínimos admiten la reproducción de un solo vídeo. Los requisitos recomendados admiten el uso de herramientas de Full Motion Video durante la reproducción de un solo vídeo. Los requisitos óptimos admiten el uso de herramientas de Full Motion Video durante la reproducción de varios vídeos.

Elemento	Compatible y recomendado
CPU	Mínimo: 4 núcleos a 2,6 GHz, procesamiento múltiple simultáneo. El procesamiento múltiple simultáneo (o Hyper-Threading) de las CPU suelen presentar dos subprocesos por núcleo. Una CPU de 2 núcleos con procesamiento múltiple tendrá cuatro subprocesos disponibles para el procesamiento, mientras que una CPU de 6 núcleos con procesamiento múltiple tendrá 12 subprocesos disponibles. Recomendado: 6 núcleos. Óptimo: 10 núcleos
GPU	Tipo de GPU: NVIDIA con capacidad de computación CUDA 3.7 como mínimo, se recomienda 6.1 o posterior. Consulte la lista de tarjetas habilitadas para CUDA para determinar la capacidad de computación de una GPU. Controlador de GPU: Imágenes en movimiento recomienda el controlador NVIDIA versión 531.61 o superior para un mejor rendimiento. Memoria gráfica dedicada: 4 GB como mínimo. Recomendado: 8 GB o más, en función del número de vídeos activos simultáneos.

Recursos de Full Motion Video

Full Motion Video admite una amplia variedad de entornos operativos diferentes, desde el conocimiento de situaciones en las que el tiempo es crítico y la respuesta de emergencia mediante vídeo en directo, hasta el análisis de vídeos archivados por hora o día para su monitorización y análisis pericial de datos históricos archivados. Cada tipo de aplicación requiere herramientas de visualización y análisis intuitivas para identificar y registrar rápidamente entidades o situaciones de interés, así como para distribuir la información extraída a los responsables de tomar las decisiones y a las partes interesadas. Las capacidades de Full Motion Video para respaldar las decisiones se clasifican en la funcionalidad esencial que se describe a continuación.

Pestañas de vídeo contextual

Al cargar un vídeo en el mapa y seleccionarlo en el panel Contenido, se muestran las pestañas contextuales Vídeo independiente y Reproductor.

Pestaña Vídeo independiente

Al cargar un vídeo en la pantalla, el archivo de vídeo aparece en el panel Contenido y la pestaña Vídeo independiente está habilitada. Las herramientas de la pestaña Vídeo independiente le permiten administrar sus datos de vídeo. Esta pestaña está organizada en los grupos Abrir, Marcadores, Guardar y Administrar.

Las herramientas de la pestaña Vídeo independiente se describen en la pestaña Vídeo independiente.

Pestaña Reproductor

La pestaña Reproductor es contextual y se habilita al seleccionar un vídeo en el panel Contenido.

La pestaña Reproductor contiene herramientas para navegar por el vídeo, agregar y administrar gráficos y visualizar metadatos del vídeo. Estas herramientas también están disponibles en el reproductor.

Las operaciones de las herramientas incluyen hacer zoom en la vista de mapa asociada para mostrar el fotograma de vídeo completo en el terreno, visualizar la pista de tierra del sensor y el campo de visión del fotograma del vídeo sobre el terreno, y hacer zoom y desplazarse por el mapa para seguir el vídeo sobre el terreno. Estas herramientas le permiten disponer de contexto geográfico a la hora de trabaja con datos de vídeo.

Reproductor de vídeo

El reproductor de vídeo incluye controles de vídeo estándar, por ejemplo, reproducir, avanzar rápidamente, rebobinar, avanzar, retroceder, saltar al principio o saltar al final del vídeo. Puede acercarse y desplazarse por un vídeo mientras está en modo de reproducción o en modo pausa. El reproductor de vídeo funciona con escenas globales y locales. La entidad Orientar cámara de escena orienta la cámara de vista de escena a la perspectiva del sensor de vídeo.

Entre las herramientas adicionales se incluyen capturar, anotar y guardar marcadores de vídeo, capturar fotogramas de vídeo simples como imágenes y exportar recortes de vídeo.

Marcadores

La creación de marcadores de vídeo es una función importante para grabar fenómenos y entidades de interés a la hora de analizar un vídeo. Puede recopilar marcadores de vídeo con distintos modos de reproducción de un vídeo, como reproducir, pausa, avance rápido y rebobinar. Puede describir los marcadores en el panel Marcadores que aparece cuando recopila un marcador de vídeo. Los marcadores se capturan y administran en el panel Marcadores disponible en la pestaña Mapa de ArcGIS Pro , en el grupo Navegar.

Agregar metadatos a vídeos

Solo puede usar vídeos que contengan metadatos esenciales en FMV. Los sistemas de captura de datos de vídeo de calidad profesional suelen recopilar los metadatos requeridos y codificarlos en el archivo de vídeo en tiempo real. Estos datos se introducen fácilmente en la aplicación Full Motion Video, ya sea en el modo de transmisión en directo o desde un archivo archivado.

Los sistemas de recopilación de vídeo de nivel consumidor suelen producir archivos de metadatos y datos de vídeo independientes que se deben combinar en un único archivo de vídeo compatible con FMV. Este proceso se realiza en el software y se denomina multiplexación. Full Motion Video incluye la herramienta Multiplexor de vídeo, que codifica los metadatos adecuados en la ubicación correcta del archivo de vídeo para generar un único archivo de vídeo compatible con FMV. Cada archivo de vídeo y metadatos utiliza marcas de tiempo para sincronizar la codificación de los metadatos apropiados en la ubicación correcta del archivo de vídeo.

Los metadatos se generan a partir de sensores adecuados, por ejemplo, GPS para la posición x,y,z, altímetro y unidad de medida inercial (IMU) u otras fuentes de datos para la orientación de la cámara. El archivo de metadatos debe tener el formato de valores separados por comas (CSV).

Los metadatos FMV se utilizan para calcular la ruta de vuelo del sensor de vídeo, el centro del fotograma de imagen de vídeo y la huella del terreno de los fotogramas de imagen de vídeo. FMV también admite las especificaciones de metadatos del Consejo de Estándares de Imágenes en Movimiento (MISB). Todos los parámetros del MISB facilitados se codificarán en el vídeo final compatible con FMV.

Un conjunto de parámetros Full Motion Video incluye las coordenadas de mapa de las cuatro esquinas del marco de imagen de vídeo proyectadas en el suelo. Si se facilitan, se utilizarán estas coordenadas del mapa de cuatro esquinas. De lo contrario, la aplicación calculará la huella del vídeo a partir de un subconjunto de parámetros requeridos.

Para calcular y visualizar los puntos de esquina relativos de la huella del fotograma de vídeo como un contorno de fotograma en el mapa, se requieren los 12 campos de metadatos:

• Marca de hora de precisión
• Latitud de sensor
• Longitud de sensor
• Altura del elipsoide del sensor o altitud verdadera del sensor
• Ángulo de recorrido de plataforma
• Ángulo de inclinación de plataforma
• Ángulo de giro de plataforma
• Ángulo de giro relativo del sensor
• Ángulo de elevación relativa del sensor
• Ángulo azimutal relativo del sensor
• Campo de visión horizontal del sensor
• Campo de visión vertical del sensor

Cuando los metadatos sean completos y precisos, la aplicación calculará las esquinas del fotograma de vídeo y el tamaño, la forma y la posición del contorno del fotograma de vídeo que puede visualizarse a continuación en un mapa. Estos 12 campos comprenden los metadatos mínimos necesarios para calcular la transformación entre vídeo y mapa, mostrar la huella de vídeo en el mapa y habilitar otras funciones, como digitalizar y marcar en el vídeo y el mapa.

Full Motion Video admite datos de indicador de objetivos en movimiento de vídeo (VMTI), basados en métodos de rastreo de objetos de imágenes en movimiento. Si los datos VMTI se registran en un archivo separado del archivo de vídeo asociado, se pueden codificar en el archivo de vídeo con la herramienta Multiplexor de vídeo.

El rendimiento del archivo de vídeo multiplexado resultante depende del tipo y la calidad de los datos contenidos en el archivo de metadatos, así como de la precisión con la que se sincronizan los datos de vídeo y los archivos de metadatos. Si los metadatos no son precisos o contienen anomalías, estas discrepancias se codificarán en el vídeo y se mostrarán en el mapa cuando se reproduzca el vídeo. Si el archivo de metadata.csv solo contiene los campos UNIX Time Stamp, Sensor Latitude y Sensor Longitude, la ubicación del sensor se mostrará en el mapa, pero no se podrá visualizar la huella de los fotogramas de vídeo y algunas funcionalidades no se admitirán, por ejemplo, la digitalización de entidades y la medición de distancias en el vídeo.

Los metadatos pueden introducirse en la plantilla de metadatos de FMV_Multiplexer_Field_Mapping_Template.csv de la carpeta C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Esta plantilla contiene los 12 campos de metadatos esenciales necesarios para calcular la huella del fotograma de vídeo y campos adicionales incluidos en la especificación del MISB. Si los nombres de los campos de metadatos no coinciden con los necesarios para la plantilla de metadatos, se pueden correlacionar con los nombres de los campos de la plantilla de metadatos en la plantilla FMV_Multiplexer_Field_Mapping_Template.csv.

Lo mejor es que los datos de vídeo y los metadatos sean sincrónicos en el tiempo. Si la marca de tiempo que vincula el vídeo y los metadatos no se sincroniza con precisión, la huella del vídeo y las ubicaciones de los sensores en el mapa se desplazarán de la vista en el reproductor de vídeo. Si el cambio de tiempo es observable y consistente, el multiplexor puede ajustar la cronología de los metadatos para que coincidan con el vídeo. Los cambios de hora se aplican creando e introduciendo un archivo .csv opcional en la herramienta Multiplexor de vídeo que identifica la ubicación del desplazamiento en el vídeo y su discrepancia de tiempo asociada. Utilice la plantilla FMV_Multiplexer_TimeShift_Template.csv de la carpeta C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo para ajustar los desplazamientos. La plantilla contiene columnas etiquetadaselapsed time, que es la ubicación del vídeo donde se produce el cambio de tiempo, y time shift, que es la cantidad de desplazamiento de tiempo. Si el cambio de tiempo entre su vídeo y los metadatos es incoherente, puede enumerar en la plantilla varias posiciones en el vídeo con el cambio de tiempo asociado. Esto indica al multiplexor dónde colocar los metadatos apropiados en relación con la cronología del vídeo.

Rastreo de objetos

Full Motion Video admite dos métodos de rastreo de objetos: indicación de objetivo en movimiento de vídeo (VMTI) y rastreo basado en aprendizaje profundo. Los métodos VMTI rastrean objetos manual o automáticamente y codifican la posición del objeto dentro de un fotograma de vídeo específico. Cada objeto tiene un identificador (Id.) y un rectángulo de delimitación asociado al objeto que se guarda con el vídeo archivado. Cuando se reproduce el vídeo, se muestra la información asociada al objeto VMTI. Full Motion Video requiere que los metadatos de vídeo codificados se ajusten al estándar (ST 0903) Indicador de objetivos en movimiento de vídeo y metadatos de rastreo del Consejo de Estándares de Imágenes en Movimiento (MISB).

La funcionalidad de rastreo de objetos basada en aprendizaje profundo ofrece herramientas automatizadas y asistidas por ordenador para abordar diversas situaciones a la hora de identificar y rastrear objetos en imágenes de vídeo. Se basa en tecnología de aprendizaje profundo para ayudar en la detección, extracción y concordancia de objetos. Cree un modelo de aprendizaje profundo para identificar objetos y clases de entidades específicos y use el conjunto de herramientas para identificar, seleccionar y rastrear esos objetos de interés. Puede digitalizar los centroides del rectángulo de identificación de un objeto y guardarlos como una clase de punto en la geodatabase del proyecto. A continuación, puede mostrar los objetos a medida que se reproduce el vídeo archivado.

Nota:

Debe instalar paquetes de marco de aprendizaje profundo para realizar un seguimiento de objetos basado en aprendizaje profundo. Consulte requisitos del sistema para obtener más información.

Resumen

Las características habilitadas geoespacialmente de Full Motion Video son adecuadas para realizar análisis periciales o en tiempo real y para aplicaciones de conocimiento de la situación. La capacidad de proyectar y visualizar la huella del fotograma del vídeo y la ruta de vuelo en el mapa facilita el contexto importante del vídeo y permite la captura bidireccional de entidades en el reproductor de vídeo y el mapa.

Estas capacidades, junto con marcadores de vídeo anotados, permiten a un analista identificar fotogramas o segmentos de vídeo específicos para análisis posteriores y compartir esta información con otras partes interesadas. Al integrar vídeos compatibles con FMV con toda la funcionalidad SIG, puede sintetizar información contextual importante para respaldar la toma de decisiones informadas en los entornos operativos.