Disponible con licencia de Image Analyst.
Full Motion Video (FMV) en la extensión de ArcGIS Image Analyst ofrece capacidades para reproducir y analizar geoespacialmente datos de vídeo compatibles con FMV. La conformidad con FMV se refiere a la combinación de una transmisión de vídeo y metadatos asociados en un archivo de vídeo, lo que hace que el vídeo tenga conocimiento geoespacial. Los sistemas de sensores recopilan información de orientación de la cámara, posición y postura de la plataforma, así como otros datos, y los codifican en la transmisión de video para que cada fotograma de vídeo esté asociado con información geoposicional.
Estos datos de vídeo habilitados geoespacialmente, junto con la funcionalidad computacional de ArcGIS Pro, le permiten ver y manipular el vídeo, así como conocer al mismo tiempo la dinámica y el campo de visión (FOV) de los sensores y visualizar esta información en la vista de mapa. También le permite analizar y editar datos de entidades en la vista de vídeo o la vista de mapa, lo cual le ofrece capacidad de telestración.
FMV usa los metadatos para convertir sin problemas las coordenadas entre el espacio de imagen de vídeo y el espacio de mapa, de modo similar a la forma en que el sistema de coordenadas de imagen de Análisis del espacio de imagen transforma imágenes fijas. Esta conversión ofrece los fundamentos para interpretar los datos de vídeo en el contexto global del resto de datos geoespaciales e información dentro de su SIG. Por ejemplo, puede ver la huella del fotograma de vídeo, el centro del fotograma y la posición de la plataforma de imágenes en la vista de mapa a medida que se reproduce el vídeo, junto con las capas SIG, como edificios con ID, barreras geográficas y otra información pertinente.
Puede analizar los datos de FMV en tiempo real o de forma pericial inmediatamente después de una recopilación. Es muy adecuado para conocer la situación, ya que suele ser la imagen más actual disponible para una ubicación. Por ejemplo, si tiene que evaluar los daños tras un desastre natural, puede utilizar FMV para analizar los datos de vídeo más recientes capturados por un dron junto con las capas de datos SIG existentes. Dado que la huella de vídeo está visible en el mapa, usted sabe exactamente qué edificios e infraestructuras están visibles en el vídeo y puede evaluar su estado, marcar entidades de terreno en el vídeo y el mapa, marcar sus ubicaciones y describirlas en notas. FMV se ha diseñado para evaluar, analizar y distribuir rápidamente información ejecutable para respaldar unas decisiones oportunas.
Características y ventajas de FMV
FMV aprovecha metadatos fundamentales, ofrece herramientas de procesamiento analítico y visual, y facilita capacidades de plataforma de ArcGIS Pro para respaldar los flujos de trabajo de proyectos y de misión crítica.
- FMV está totalmente integrada en ArcGIS Pro, lo cual aprovecha la arquitectura del sistema, los modelos de datos, las herramientas y capacidades, y el uso compartido en toda la plataforma ArcGIS.
- Vea y analice vídeos transmitidos en directo y vídeos archivados.
- Puede mover el reproductor de vídeo a cualquier punto de la pantalla del equipo, cambiar su tamaño, minimizarlo y cerrarlo.
- El reproductor de vídeo está vinculado a la visualización del mapa, lo que permite lo siguiente:
- Mostrar la huella del vídeo, la ubicación del sensor y el campo de visión en el mapa.
- Cualquier información recopilada en el reproductor de vídeo se proyecta y muestra en el mapa, junto con sus datos SIG existentes.
- Actualizar el mapa para acercarse al fotograma del vídeo y seguir vídeos por el mapa.
- Puede abrir y reproducir varios vídeos al mismo tiempo. Cada vídeo, junto con su información asociada, se identifica por un color único cuando se muestra en el mapa.
- Utilice controles de grabadora de vídeo digital (DVR) intuitivos, captura de recortes de imágenes y vídeos y herramientas de análisis.
- Muestra los metadatos en tiempo real.
- Cree y administre marcadores.
- Marque ubicaciones y fenómenos de interés.
- La visualización se acelera mediante GPU.
Estas capacidades funcionales forman los bloques fundamentales de los flujos de trabajo que integran el contexto espacial enriquecido en el proceso de análisis de vídeo.
Descripción general de Full Motion Video
El uso primario de FMV es para respaldar la toma de decisiones en entornos operativos. Comprender quién utiliza FMV y cómo se captura y utiliza ofrece contexto importante para evaluar la funcionalidad de FMV.
Sectores que utilizan FMV
FMV resulta útil para supervisar ubicaciones remotas, inaccesibles o peligrosas. Entre los tipos de organizaciones que utilizan FMV se incluyen los siguientes:
- Seguridad pública y administración de urgencias
- Defensa
- Compañías petrolíferas
- Gobiernos locales y federales
- Patrulla de frontera
- Utilidades
- Profesionales de recursos naturales
Existen numerosos tipos de aplicaciones para FMV:
- Administración de urgencias y seguridad pública
- Conocimiento de la situación
- Evaluación de daños
- Respuesta
- Mitigación
- Monitorización de la seguridad
- Administración de activos
- Representación cartográfica, supervisión y administración de corredores
- Transmisión de servicios públicos, como electricidad, gas, agua y otros medios de transporte
- Transporte, por ejemplo, carreteras, puentes, vías férreas, autopistas y embarcaderos de tierra, mar y aire
- Comunicación, como torres e infraestructuras de telefonía móvil
- Hidrología, como infraestructura natural y hecha por el hombre.
- Ribereñas, como zonas de influencia de arroyos por tramo, hábitat, representación cartográfica de la diversidad y vínculos
- Defensa
- Inteligencia, vigilancia y reconocimiento
- Respaldo a la misión
- Contrainteligencia
- Monitorización de infraestructuras
- Inventario
- Nuevo desarrollo
- Verificación de lo construido según lo planificado
- Cumplimiento y seguridad
Cómo se recopilan datos de FMV
La aplicación FMV de ArcGIS Pro utiliza los datos recopilados de una amplia variedad de plataformas de teledetección. Los datos de vídeo y los metadatos se recopilan simultáneamente, y los metadatos se codifican en el archivo de vídeo en tiempo real a bordo de la plataforma del sensor (compatible con el MISB) o más tarde en un paso de procesamiento denominado multiplexación.
Los datos de FMV se recopilan desde varias plataformas de sensores:
- Drones (UAVs, UASs, RPVs, drones)
- Plataformas aéreas de ala fija y helicópteros
- Sensores espaciales orbitales
- Cámaras montadas en vehículos
- Dispositivos y cámaras manuales móviles
- Dispositivos estacionarios para vigilancia persistente
FMV admite 13 formatos de vídeo:
| Descripción | Extensión |
|---|---|
Flujo de transmisión de MPEG-2 | .ts |
Flujo de programa de MPEG-2 | .ps |
Archivo MPEG | .mpg |
Archivo MPEG-2 | .mpg2 |
Archivo MPEG-2 | .mp2 |
Archivo MPEG | .mpeg |
VLC (mpeg2) | .mpeg2 |
Película MPEG-4 | .mp4 |
Archivo MPEG-4 | .mpg4 |
MPEG-Dash | .mpd |
Archivo de vídeo H264 | .h264 |
Archivo de medios VLC (mpeg4) | .mpeg4 |
Archivo de medios VLC (vob) | .vob |
Capacidades de FMV
FMV admite una amplia variedad de entornos operativos diferentes, desde el conocimiento de situaciones en las que el tiempo es crítico y la respuesta de emergencia mediante vídeo en directo, hasta el análisis de vídeos archivados por hora o día su monitorización y el análisis pericial de datos históricos archivados. Cada tipo de aplicación requiere herramientas de visualización y análisis intuitivas para identificar y registrar rápidamente entidades o situaciones de interés, así como para distribuir la información extraída a los responsables de tomar las decisiones y a las partes interesadas. Las capacidades de FMV para respaldar las decisiones se clasifican en la siguiente funcionalidad esencial.
Pestañas de vídeo contextual
Al cargar un vídeo en el mapa y seleccionarlo en el panel Contenido, se muestran las pestañas contextuales Vídeo independiente y Reproductor.
Pestaña Vídeo independiente
Al cargar un vídeo en la pantalla, el archivo de vídeo aparece en el panel Contenido y la pestaña Vídeo independiente está habilitada. Las herramientas de la pestaña Vídeo independiente le permiten administrar sus datos de vídeo. Esta pestaña está organizada en cuatro grupos: Abrir, Marcadores, Guardar y Administrar.
Las herramientas de la pestaña Vídeo independiente se describen en la pestaña Vídeo independiente.
Pestaña Reproductor
La pestaña Reproductor es contextual y se habilita al seleccionar un vídeo en el panel Contenido.
La pestaña Reproductor contiene herramientas para navegar por el vídeo, agregar y administrar gráficos y visualizar metadatos del vídeo. Estas herramientas también están disponibles en el grabador de vídeo digital (DVR) para facilitar la operación.
Las operaciones de las herramientas incluyen hacer zoom en la vista de mapa asociada para mostrar el fotograma de vídeo completo en el terreno, visualizar la pista de tierra del sensor y el campo de visión del fotograma del vídeo sobre el terreno, y hacer zoom y desplazarse por el mapa para seguir el vídeo sobre el terreno. Estas herramientas le permiten disponer de contexto geográfico a la hora de trabajar con sus datos de vídeo.
Reproductor de vídeo
El reproductor de vídeo se denomina DVR y tiene el aspecto habitual de un DVR común. El reproductor de vídeo incluye controles de vídeo estándar, por ejemplo, reproducir, avanzar rápidamente, rebobinar, avanzar, retroceder, saltar al principio o saltar al final del vídeo. Puede acercarse y desplazarse por un vídeo mientras está en modo de reproducción o en modo pausa.
Entre las herramientas adicionales se incluyen capturar, anotar y guardar marcadores de vídeo, capturar fotogramas de vídeo simples como imágenes y exportar recortes de vídeo.
Agregar gráficos
Puede recopilar entidades de terreno de interés que estén visibles en el reproductor de vídeo marcándolas con una entidad, la cual también se muestra en el mapa. Por el contrario, puede marcar las entidades de terreno en la vista de mapa y las entidades también se muestran en el reproductor de vídeo. Puede guardar estos puntos como una clase de entidad y utilizarlos más tarde para análisis posteriores.
Marcadores
La creación de marcadores de vídeo es una función importante para grabar fenómenos y entidades de interés a la hora de analizar un vídeo. Puede recopilar marcadores de vídeo con distintos modos de reproducción de un vídeo, como reproducir, pausa, avance rápido y rebobinar. Puede describir los marcadores en el panel Marcadores que aparece cuando recopila un marcador de vídeo. Los marcadores se capturan y administran en el panel Marcadores disponible en la pestaña Mapa de ArcGIS Pro , en el grupo Navegar.
Agregar metadatos a vídeos
Solo puede usar vídeos que contengan metadatos esenciales en FMV. Los sistemas de captura de datos de vídeo de calidad profesional suelen recopilar los metadatos requeridos y codificarlos en el archivo de vídeo en tiempo real. Estos datos se introducen fácilmente en la aplicación FMV, ya sea en el modo de transmisión en directo o desde un archivo archivado.
Los sistemas de recopilación de vídeo de nivel consumidor suelen producir archivos de metadatos y datos de vídeo independientes que se deben combinar en un único archivo de vídeo compatible con FMV. Este proceso se realiza en el software y se denomina multiplexación. FMV ofrece la herramienta Multiplexor de vídeo, que codifica los metadatos adecuados en la ubicación correcta del archivo de vídeo para generar un único archivo de vídeo compatible con FMV. Cada archivo de vídeo y metadatos utiliza marcas de tiempo para sincronizar la codificación de los metadatos apropiados en la ubicación correcta del archivo de vídeo.
Los metadatos se generan a partir de sensores adecuados, por ejemplo, GPS para la posición x,y,z, altímetro y unidad de medida inercial (IMU) u otras fuentes de datos para la orientación de la cámara. El archivo de metadatos debe tener el formato de valores separado por comas (CSV).
Los metadatos FMV se utilizan para calcular la ruta de vuelo del sensor de vídeo, el centro del fotograma de imagen de vídeo y la huella del terreno de los fotogramas de imagen de vídeo. FMV también admite las especificaciones de metadatos del Consejo de Estándares de Imágenes en Movimiento (MISB), compuesto por más de 80 parámetros. Todos los parámetros del MISB facilitados se codificarán en el vídeo final compatible con FMV, incluidos más de 80 parámetros o un subconjunto.
Un conjunto de parámetros FMV incluye las coordenadas de mapa de las cuatro esquinas del marco de imagen de vídeo proyectadas en el suelo. Si se facilitan, se utilizarán estas coordenadas del mapa de cuatro esquinas. De lo contrario, la herramienta calculará la huella del vídeo a partir de un subconjunto de parámetros requeridos.
Para calcular y visualizar los puntos de esquina relativos de la huella del fotograma de vídeo como un contorno de cuadro en el mapa, FMV necesita los 12 campos de metadatos esenciales que se enumeran a continuación:
- Marca de hora de precisión
- Latitud de sensor
- Longitud de sensor
- Altura del elipsoide del sensor o altitud verdadera del sensor
- Ángulo de recorrido de plataforma
- Ángulo de inclinación de plataforma
- Ángulo de giro de plataforma
- Ángulo de giro relativo del sensor
- Ángulo de elevación relativa del sensor
- Ángulo azimutal relativo del sensor
- Campo de visión horizontal del sensor
- Campo de visión vertical del sensor
Cuando los metadatos sean completos y precisos, la herramienta calculará las esquinas del cuadro de vídeo y, por tanto, el tamaño, la forma y la posición del contorno del cuadro de vídeo que se visualizará a continuación en un mapa. Estos 12 parámetros comprenden los metadatos mínimos necesarios para calcular la transformación entre vídeo y mapa, mostrar la huella de vídeo en el mapa y habilitar otras funciones, como digitalizar y marcar en el vídeo y el mapa.
FMV admite datos de indicador de objetivos en movimiento de vídeo (VMTI), basados en métodos de seguimiento de objetos de imágenes en movimiento. Si los datos VMTI se registran en un archivo separado del archivo de vídeo asociado, se pueden codificar en el archivo de vídeo con la herramienta Multiplexor de vídeo.
El rendimiento del archivo de vídeo multiplexado resultante depende del tipo y la calidad de los datos contenidos en el archivo de metadatos, así como de la precisión con la que se sincronizan los datos de vídeo y los archivos de metadatos. Si los metadatos no son precisos o contienen anomalías, estas discrepancias se codificarán en el vídeo y se mostrarán en el mapa cuando se reproduzca el vídeo. Si su archivo de metadata.csv solo contiene los campos UNIX Time Stamp, Sensor Latitude y Sensor Longitude, la ubicación del sensor se mostrará en el mapa, pero no se podrá visualizar la huella de los fotogramas de vídeo y algunas funcionalidades no se admitirán, por ejemplo, la digitalización de entidades y la medición de distancias en el vídeo.
Los metadatos se pueden introducir en la plantilla de metadatos FMV, FMV_Multiplexer_Field_Mapping_Template.csv, obtenida a partir de C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Esta plantilla contiene los 12 campos de metadatos esenciales necesarios para calcular la huella del fotograma de vídeo y campos adicionales incluidos en la especificación del MISB. Si los nombres de campo de sus metadatos no coinciden con los necesarios para FMV, pueden coincidir con los nombres de campo FMV de la plantilla de FMV_Multiplexer_Field_Mapping_Template.csv.
Lo mejor es que los datos de vídeo y los metadatos sean sincrónicos en el tiempo. Si la marca de tiempo que vincula el vídeo y los metadatos no se sincroniza con precisión, la huella del vídeo y la ubicación del sensor del mapa se desplazarán de la vista en el reproductor de vídeo. Si el cambio de tiempo es observable y consistente, el multiplexor puede ajustar la cronología de los metadatos para que coincidan con el vídeo. Los cambios de hora se aplican creando e introduciendo un archivo CSV opcional en la herramienta Multiplexor de vídeo que identifica la ubicación del desplazamiento en el vídeo y su discrepancia de tiempo asociada. Utilice la plantilla FMV_Multiplexer_TimeShift_Template.csv obtenida a partir de C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo para ajustar los desplazamientos. La plantilla contiene columnas etiquetadaselapsed time, que es la ubicación del vídeo donde se produce el cambio de tiempo, y time shift, que es la cantidad de desplazamiento de tiempo. Si el cambio de tiempo entre su vídeo y los metadatos es incoherente, puede enumerar en la plantilla varias posiciones en el vídeo con el cambio de tiempo asociado. Esto indica al multiplexor dónde colocar los metadatos apropiados en relación con la cronología del vídeo.
Rastreo de objetos
FMV admite dos métodos de rastreo de objetos, indicación de objetivo en movimiento de vídeo (VMTI) y rastreo basado en aprendizaje profundo. Los métodos VMTI rastrean objetos manual o automáticamente y codifican la posición del objeto dentro de un fotograma de vídeo específico. Cada objeto tiene un identificador (Id.) y un rectángulo de delimitación asociado al objeto que se guarda con el vídeo archivado. Cuando se reproduce el vídeo, se muestra la información asociada al objeto VMTI. FMV requiere que los metadatos de vídeo codificados se ajusten al estándar (ST 0903) Indicador de objetivo móvil de vídeo y metadatos de seguimiento del Consejo de Estándares de Imágenes en Movimiento (MISB).
La funcionalidad de rastreo de objetos basada en aprendizaje profundo ofrece herramientas automatizadas y asistidas por ordenador para abordar diversas situaciones a la hora de identificar y rastrear objetos en imágenes de vídeo. Se basa en tecnología de aprendizaje profundo para ayudar en la detección, extracción y concordancia de objetos. Cree su modelo de aprendizaje profundo para identificar objetos y clases de entidades específicos y use el conjunto de herramientas para identificar, seleccionar y rastrear esos objetos de interés. Puede digitalizar los centroides del rectángulo de identificación de un objeto y guardarlos como una clase de punto en la geodatabase del proyecto. A continuación, puede mostrar los objetos a medida que se reproduce el vídeo archivado.
Nota:
Debe instalar paquetes de marco de aprendizaje profundo para realizar un seguimiento de objetos basado en aprendizaje profundo. Consulte requisitos del sistema para obtener más información.
Resumen
Las características habilitadas geoespacialmente de FMV son adecuadas realizar análisis periciales o en tiempo real y para aplicaciones de conocimiento de la situación. La capacidad de proyectar y visualizar la huella del fotograma del vídeo y la ruta de vuelo en el mapa facilita el contexto importante del vídeo y permite la captura bidireccional de entidades en el reproductor de vídeo y el mapa.
Estas capacidades, junto con marcadores de vídeo anotados, permiten a un analista identificar fotogramas o segmentos de vídeo específicos para análisis posteriores y compartir esta información con otras partes interesadas. Al integrar vídeos compatibles con FMV con toda la funcionalidad SIG, puede sintetizar información contextual importante para respaldar la toma de decisiones informadas en los entornos operativos.