Rastrear objetos en imágenes en movimiento—ArcGIS Pro

Disponible con licencia de Image Analyst.

Una de las funcionalidades de las imágenes en movimiento es el rastreo de objetos específicos en datos de vídeo durante la reproducción. Estos objetos pueden ser fijos o moverse, pueden quedar ocultos y aparecer de nuevo, o bien cambiar de forma (como una persona que entra en un vehículo). La funcionalidad de rastreo de objetos en vídeo de movimiento completo (FMV) proporciona herramientas automatizadas y asistidas por ordenador para abordar diversas situaciones al rastrear objetos en imágenes de vídeo. Se basa en el aprendizaje profundo y la tecnología de visión informática para ayudar en el rastreo de objetos, la extracción de entidades y la concordancia. Puede crear un modelo de rastreo de objetos de aprendizaje profundo y utilizar el conjunto de herramientas para seleccionar y rastrear un objeto de interés. Los centroides correspondientes a los rectángulos de identificación del objeto se pueden digitalizar y guardar como una clase de punto en la geodatabase del proyecto. Los puntos guardados se pueden visualizar a medida que se reproduce el vídeo archivado.

Requisitos

La funcionalidad de rastreo de objetos de FMV está disponible en ArcGIS Pro con la extensión ArcGIS Image Analyst.

Nota:

Asegúrese de que los controladores de la tarjeta de vídeo estén actualizados.

Modelo de aprendizaje profundo

El rastreo de objetos en un vídeo requiere uno o más modelos de aprendizaje profundo entrenados. La eficacia del rastreo depende de la calidad de los datos de muestras de entrenamiento de aprendizaje profundo y de lo estrechamente asociado que esté el objeto de interés con los datos de entrenamiento. Por ejemplo, para rastrear un camión en movimiento a lo largo de una autopista, debe haber etiquetado muestras de entrenamiento de camiones desde muchos ángulos. El origen de las muestras de entrenamiento (imágenes anotadas) debe ser imágenes en movimiento. Las muestras de entrenamiento etiquetadas se utilizan para entrenar el modelo de aprendizaje profundo para rastrear objetos, por ejemplo, camiones en este caso. El modelo tendrá una capacidad limitada para rastrear objetos con una apariencia diferente, como los coches, pero puede tener éxito en el rastreo de vehículos recreativos más grandes o autobuses.

Debe instalar paquetes de marco de aprendizaje profundo para realizar flujos de trabajo de aprendizaje profundo en ArcGIS Pro. Utilice toda una variedad de herramientas para preparar datos de entrenamiento de imágenes fijas y vídeos, etiquetar objetos, crear modelos de aprendizaje profundo, inferencia y revisar resultados. Para obtener más información sobre cómo instalar estos paquetes, consulte Instalar marcos de aprendizaje profundo para ArcGIS.

El aprendizaje profundo requiere una gran potencia de cómputo y se recomienda contar con una GPU potente compatible con capacidad de computación CUDA, versión 6.0 o posterior.

Para obtener más información sobre el aprendizaje profundo y sus flujos de trabajo, consulte Introducción al aprendizaje profundo y Aprendizaje profundo en ArcGIS Pro. Para obtener más información sobre el conjunto de herramientas de aprendizaje profundo de ArcGIS, consulte Descripción general del conjunto de herramientas Aprendizaje profundo.

Pestaña Rastreo de objetos

La pestaña contextual Rastreo de objetos se habilita al seleccionar un vídeo en el panel Contenido.

Nota:

La pestaña Rastreo de objetos está disponible una vez instalados y habilitados los paquetes de aprendizaje profundo en ArcGIS Pro.

Las secciones siguientes describen las herramientas de los distintos grupos de la pestaña Rastreo de objetos.

Grupo Objetos rastreados

Las herramientas de los grupos Objetos rastreados le permiten identificar y administrar el rastreo de objetos en los datos de vídeo:

Habilitar rastreo: active el rastreo de objetos utilizando la configuración especificada del rastreador de objetos.
Agregar objeto: agregue un objeto para realizar el rastreo del objeto haciendo clic, o dibujando interactivamente, un rectángulo alrededor del objeto. Haga doble clic para habilitar el modo de persistencia.
Mover objeto: haga clic en el rectángulo de rastreo de un objeto existente para seleccionarlo y vuelva a dibujar el rectángulo alrededor de la posición actualizada del objeto. Haga doble clic para habilitar el modo de persistencia.
Quitar objeto: quite los objetos rastreados del reproductor de vídeo haciendo clic, o dibujando, un recuadro alrededor del objeto. Haga doble clic para habilitar el modo de persistencia.
Eliminar objetos: elimine los objetos rastreados del reproductor de vídeo y del administrador de objetos rastreados haciendo clic, o dibujando, un recuadro alrededor de los objetos. Haga doble clic para habilitar el modo de persistencia.
Objetos a entidad: guarde los centroides de los rectángulos de detección de objetos como una nueva clase de entidad.

Grupo Guardar

Utilice la herramienta Objetos a entidades del grupo Guardar para guardar los centroides de los objetos rastreados en una geodatabase.

Administrar grupo

Las herramientas del grupo Administrar le ayudan a administrar el rastreador de objetos:

Configurar rastreador: configure el rastreador de objetos y aplique las actualizaciones a los modelos predeterminados del rastreador de objetos.
Objetos rastreados: visualice el panel Administrador de objetos rastreados.

Panel Configurar rastreador de objetos

Haga clic en el botón Configurar rastreador para abrir el panel Configurar rastreador de objetos. El panel contiene los ajustes Modelo de rastreo de objetos y Modelo de detección automático.

Configuración

El parámetro Modelo de rastreo de objetos le permite elegir el modelo de aprendizaje profundo y establecer parámetros adicionales para el rastreo de objetos.

Haga clic en el botón Examinar Datos desde ruta para abrir el cuadro de diálogo Agregar modelo de aprendizaje profundo desde ruta. Especifique la ruta al archivo del paquete del modelo de aprendizaje profundo (.dlpk) proporcionando una URL o examinando el archivo en un directorio local. Puede asignar un alias para el nombre del modelo en el cuadro de texto Modelo. Haga clic en Agregar para cargar el modelo y cierre el cuadro de diálogo. El nombre del modelo aparece en la lista desplegable Modelo y se selecciona en ella.

Los ajustes contienen opciones para controlar el rastreo de objetos, como Tamaño mínimo del objeto (píxeles), Detectar rastreos perdidos, Recuperar rastreos perdidos y Modelo de detección automática.

Detectar rastreos perdidos: especifique si se realiza correctamente el rastreo de objetos en función de los cambios de apariencia, como cambios en el ángulo de visión, oscurecimiento o movimiento fuera del fotograma. El valor predeterminado está activado.
- Intervalo (fotogramas): establezca el intervalo, en número de fotogramas, en el cual la aplicación comprueba si hay cambios en la apariencia del objeto. El valor predeterminado es 5.
Recuperar rastreos perdidos: especifique si se intenta encontrar un objeto después de que se haya perdido el rastreo. El valor predeterminado está activado.
- Umbral de confianza (0-1): establezca el ratio mínimo entre las entidades de imagen de origen coincidentes y las entidades de objeto buscadas para una recuperación correcta. El umbral de confianza es un número entre 0 y 1. El valor predeterminado es 0,1.
- Umbral de superposición (0 - 1): establezca el ratio mínimo de superposición entre el objeto detectado y el objeto buscado para una recuperación correcta. El umbral es un número entre 0 y 1. El valor predeterminado es 0,1.
- Intervalo máx. de búsqueda (fotogramas): establezca el intervalo máximo de búsqueda, definido en unidades de fotogramas de vídeo, cuando se pierde un objeto. El valor predeterminado es 60.
- Tamaño de cola de estado: la cantidad de marcos para los que se mantiene el estado de un objeto cuando se pierde el objeto antes de que caduque el intervalo de búsqueda.
Modelo de detección automática: especifique si la detección e identificación de los objetos objetivo se realiza automáticamente utilizando un modelo de detector basado en aprendizaje profundo. El valor predeterminado no está activado. Especifique la ruta al archivo del paquete del modelo de aprendizaje profundo yendo al archivo en un directorio local mediante el botón Examinar y seleccionando el archivo .dlpk o proporcionando una URL.
- Intervalo (fotogramas): establezca el intervalo, en número de fotogramas, en el que se comprueban los campos de apariencia de los objetos. El valor predeterminado es de 5 fotogramas.
- Umbral de confianza (0-1): establezca el ratio mínimo entre las entidades de imagen de origen coincidentes y las entidades de objeto buscadas para una recuperación correcta. El umbral de confianza es un número entre 0 y 1. El valor predeterminado es 0,1.

Panel Administrador de objetos rastreados

La pestaña Objetos rastreados es donde se pueden ver y administrar objetos rastreados. Los valores Estado, Id. y Origen, que se describen a continuación, de cada objeto rastreado se enumeran en la tabla.

Estado: el estado de cada objeto rastreado: rastreo activo, perdido o en una búsqueda.
Id.: el identificador único de cada objeto rastreado.
Origen: el archivo de vídeo de origen en el que se identifica el objeto.

El panel Administrador de objetos rastreados interactúa con la cinta Objetos rastreados cuando Habilitar rastreo está activado.

Habilitar rastreo: active el rastreo de objetos utilizando la configuración especificada del rastreador de objetos.
Agregar objeto: agregue un objeto para realizar el rastreo del objeto haciendo clic, o dibujando interactivamente, un rectángulo alrededor del objeto. Haga doble clic para habilitar el modo de persistencia.
Mover objeto: mueva un objeto existente haciendo clic en su rectángulo de rastreo para seleccionarlo y vuelva a dibujar el rectángulo alrededor de la posición actualizada del objeto. Haga doble clic para habilitar el modo de persistencia.
Quitar objeto: quite los objetos rastreados del reproductor de vídeo haciendo clic, o dibujando, un recuadro alrededor de los objetos. Haga doble clic para habilitar el modo de persistencia.
Eliminar objetos: elimine los objetos rastreados del reproductor de vídeo y del panel Administrador de objetos rastreados haciendo clic, o dibujando, un recuadro alrededor de los objetos. Haga doble clic para habilitar el modo de persistencia.