Detectar objetos con aprendizaje profundo (Image Analyst)

Disponible con licencia de Image Analyst.

Resumen

Ejecuta un modelo de aprendizaje profundo entrenado en un ráster de entrada para generar una clase de entidad con los objetos que encuentre. Las entidades pueden ser cuadros o polígonos de delimitación alrededor de los objetos encontrados o puntos en el centro de los objetos.

Esta herramienta requiere un archivo de definición de modelo que contenga información del modelo entrenado. El modelo puede entrenarse usando la herramienta Entrenar un modelo de aprendizaje profundo o mediante software de entrenamiento de terceros como, por ejemplo, TensorFlow, PyTorch o Keras. El archivo de definición de modelo puede ser un archivo JSON de definición de modelo de Esri (.emd) o un paquete de modelo de aprendizaje profundo, y debe contener la ruta a la función ráster de Python que se llamará para procesar cada objeto y la ruta al archivo de modelo de aprendizaje profundo binario entrenado.

Uso

• Debe instalar la API de Python de marco de aprendizaje profundo adecuada (como PyTorch o Keras) en el entorno de ArcGIS Pro de Python; de lo contrario, se producirá un error al agregar el archivo de definición de modelo de Esri a la herramienta. La información de marco adecuada se obtiene del creador del archivo de definición de modelo de Esri.

  Para configurar su equipo para usar marcos de aprendizaje profundo en ArcGIS Pro, consulte Instalar marcos de aprendizaje profundo para ArcGIS.

• Esta herramienta llama a una API de Python de aprendizaje profundo de terceros (como TensorFlow, PyTorch o Keras) y usa la función ráster de Python especificada para procesar cada objeto.

• Ejemplos de casos de uso de esta herramienta se encuentran en la página de GitHub sobre la función ráster de Python de Esri. También puede escribir módulos de Python personalizados con los siguientes ejemplos e instrucciones del repositorio de GitHub.

• El valor del parámetro definición de modelo de Esri puede ser un archivo JSON de definición de modelo de Esri (.emd), una cadena de caracteres JSON o un paquete de modelo de aprendizaje profundo (.dlpk). Una cadena de caracteres JSON es útil cuando esta herramienta se utiliza en el servidor para pegar la cadena de caracteres JSON, en lugar de cargar el archivo .emd. El archivo .dlpk debe almacenarse localmente.

• Consulte el siguiente ejemplo del archivo .emd.

  {
      "Framework" :"TensorFlow",
      "ModelConfiguration": "ObjectDetectionAPI",
      
      "ModelFile": ".\\CoconutTreeDetection.model",
      "ModelType": "ObjectDetection",
      "ImageHeight": 850,
      "ImageWidth": 850,
      "ExtractBands": [0,1,2],
      "ImageSpaceUsed": "MAP_SPACE"
      "Classes": [
      {
          "Value": 0,
          "Name": "CoconutTree",
          "Color": [0, 255, 0]
      }
      ]
  }

• La herramienta puede procesar imágenes de entrada que estén en el espacio de mapa o en el espacio de píxeles. Las imágenes en el espacio de mapa se encuentran en un sistema de coordenadas basado en mapa. Las imágenes en el espacio de píxeles están en un espacio de imagen sin procesar, sin rotación ni distorsión. El sistema de referencia puede especificarse al generar los datos de entrenamiento en la herramienta Exportar datos de entrenamiento para aprendizaje profundo usando el parámetro Sistema de referencia. Si el modelo se entrena en un software de entrenamiento de terceros, el sistema de referencia debe especificarse en el archivo .emd usando el parámetro ImageSpaceUsed, que puede establecerse como MAP_SPACE o PIXEL_SPACE.

• Aumentar el tamaño de lote puede mejorar el rendimiento de la herramienta; sin embargo, a medida que aumenta el tamaño del lote, se utiliza más memoria. Si se produce un error de memoria insuficiente, utilice un tamaño de lote más pequeño. El valor de batch_size se puede ajustar con el parámetro Argumentos.

• Los tamaños de lote son números cuadrados, como 1, 4, 9, 16, 25, 64, etc. Si el valor de entrada no es un cuadrado perfecto, se utiliza el valor cuadrado más alto posible. Por ejemplo, si se especifica un valor de 6, significa que el tamaño de lote se establece en 4.

• Use el parámetro Supresión no máxima para identificar y eliminar entidades duplicadas de la detección de objetos.

• El ráster de entrada puede ser un ráster simple, varios rásteres o una clase de entidad con imágenes adjuntas. Para obtener más información sobre los adjuntos, consulte Agregar o eliminar archivos adjuntos.

• Para obtener información sobre los requisitos para ejecutar esta herramienta y los problemas que pueden presentarse, consulte Preguntas frecuentes sobre el aprendizaje profundo.

• Para obtener más información sobre el aprendizaje profundo, consulte Aprendizaje profundo en ArcGIS Pro.

Parámetros

Cuadro de diálogo

Etiqueta	Explicación	Tipo de datos
Ráster de entrada	La imagen de entrada usada para detectar objetos. La entrada puede ser un solo ráster o varios rásteres de un dataset de mosaico, un servicio de imágenes o una carpeta de imágenes. También se admite una clase de entidad con adjuntos de imagen.	Raster Dataset; Raster Layer; Mosaic Layer; Image Service; Map Server; Map Server Layer; Internet Tiled Layer; Folder; Feature Layer; Feature Class
Objetos de salida detectados	Clase de entidad de salida que contendrá geometrías que rodean al objeto u objetos detectados en la imagen de entrada.	Feature Class
Definición de modelo	Este parámetro puede ser un archivo JSON de definición de modelo de Esri (.emd), una cadena de caracteres JSON o un paquete de modelo de aprendizaje profundo (.dlpk). Una cadena de caracteres JSON es útil cuando esta herramienta se utiliza en el servidor para pegar la cadena de caracteres JSON, en lugar de cargar el archivo .emd. El archivo .dlpk debe almacenarse localmente. Contiene la ruta al archivo de modelo binario de aprendizaje profundo, la ruta a la función ráster de Python que se va a usar y otros parámetros, como el tamaño de tesela preferido o el relleno.	File; String
Argumentos (Opcional)	Los argumentos de función definidos en la clase de función ráster de Python. Aquí es donde se enumeran los argumentos y parámetros de aprendizaje profundo adicionales para experimentos y refinamiento, como un umbral de confianza para ajustar la sensibilidad. Los nombres de los argumentos se toman del módulo de Python.	Value Table
Supresión no máxima (Opcional)	Especifica si se realizará la supresión no máxima, en la cual se identifican los objetos duplicados y se eliminan las entidades duplicadas con el valor de confianza más bajo. Desactivado: no se realizará la supresión no máxima. Todos los objetos detectados estarán en la clase de entidad de salida. Esta es la opción predeterminada. Activado: se realizará la supresión no máxima y se eliminarán los objetos duplicados detectados.	Boolean
Campo de puntuación de confianza (Opcional)	Nombre del campo de la clase de entidad que contendrá las puntuaciones de confianza generadas por el método de detección de objetos. Este parámetro es obligatorio cuando está activado el parámetro Supresión no máxima.	String
Campo de valor de clase (Opcional)	El nombre del campo de valor de clase de la clase de entidad de entrada. Si el nombre de campo no se especifica, se utilizará un campo Classvalue o Value. Si estos campos no existen, se identificará que todos los registros pertenecen a una sola clase.	String
Máx. ratio de superposición (Opcional)	El ratio de superposición máximo para dos entidades de superposición, definido como la relación del área de intersección sobre el área de combinación. El valor predeterminado es 0.	Double
Modo de procesamiento (Opcional)	Especifica cómo se procesarán todos los elementos de ráster en un dataset de mosaico o un servicio de imágenes. Este parámetro se aplica si el ráster de entrada es un dataset de mosaico o un servicio de imágenes. Procesar como imagen en mosaico—Se creará un mosaico con todos los elementos de ráster del dataset de mosaico o del servicio de imágenes y se procesarán. Esta es la opción predeterminada. Procesar todos los elementos de ráster por separado—Todos los elementos de ráster del dataset de mosaico o del servicio de imágenes se procesarán como imágenes separadas.	String

Salida derivada

Etiqueta	Explicación	Tipo de datos
Ráster clasificado de salida	El ráster clasificado de salida para la clasificación de píxeles. El nombre del dataset ráster será el mismo que el valor del parámetro Objetos de salida detectados. Este parámetro solo es aplicable cuando el tipo de modelo es Segmentación panóptica.	Raster Dataset

Python

DetectObjectsUsingDeepLearning(in_raster, out_detected_objects, in_model_definition, {arguments}, {run_nms}, {confidence_score_field}, {class_value_field}, {max_overlap_ratio}, {processing_mode})

Nombre	Explicación	Tipo de datos
in_raster	La imagen de entrada usada para detectar objetos. La entrada puede ser un solo ráster o varios rásteres de un dataset de mosaico, un servicio de imágenes o una carpeta de imágenes. También se admite una clase de entidad con adjuntos de imagen.	Raster Dataset; Raster Layer; Mosaic Layer; Image Service; Map Server; Map Server Layer; Internet Tiled Layer; Folder; Feature Layer; Feature Class
out_detected_objects	Clase de entidad de salida que contendrá geometrías que rodean al objeto u objetos detectados en la imagen de entrada.	Feature Class
in_model_definition	El valor del parámetro in_model_definition puede ser un archivo JSON de definición de modelo de Esri (.emd), una cadena de caracteres JSON o un paquete de modelo de aprendizaje profundo (.dlpk). Una cadena de caracteres JSON es útil cuando esta herramienta se utiliza en el servidor para pegar la cadena de caracteres JSON, en lugar de cargar el archivo .emd. El archivo .dlpk debe almacenarse localmente. Contiene la ruta al archivo de modelo binario de aprendizaje profundo, la ruta a la función ráster de Python que se va a usar y otros parámetros, como el tamaño de tesela preferido o el relleno.	File; String
arguments [arguments,...] (Opcional)	Los argumentos de función definidos en la clase de función ráster de Python. Aquí es donde se enumeran los argumentos y parámetros de aprendizaje profundo adicionales para experimentos y refinamiento, como un umbral de confianza para ajustar la sensibilidad. Los nombres de los argumentos se toman del módulo de Python.	Value Table
run_nms (Opcional)	Especifica si se realizará la supresión no máxima, en la cual se identifican los objetos duplicados y se eliminan las entidades duplicadas con el valor de confianza más bajo. NO_NMS—No se realizará la supresión no máxima. Todos los objetos detectados estarán en la clase de entidad de salida. Esta es la opción predeterminada. NMS—Se realizará la supresión no máxima y se eliminarán los objetos duplicados detectados.	Boolean
confidence_score_field (Opcional)	Nombre del campo de la clase de entidad que contendrá las puntuaciones de confianza generadas por el método de detección de objetos. Este parámetro es obligatorio si el parámetro run_nms se define como NMS.	String
class_value_field (Opcional)	El nombre del campo de valor de clase de la clase de entidad de entrada. Si el nombre de campo no se especifica, se utilizará un campo Classvalue o Value. Si estos campos no existen, se identificará que todos los registros pertenecen a una sola clase.	String
max_overlap_ratio (Opcional)	El ratio de superposición máximo para dos entidades de superposición, definido como la relación del área de intersección sobre el área de combinación. El valor predeterminado es 0.	Double
processing_mode (Opcional)	Especifica cómo se procesarán todos los elementos de ráster en un dataset de mosaico o un servicio de imágenes. Este parámetro se aplica si el ráster de entrada es un dataset de mosaico o un servicio de imágenes. PROCESS_AS_MOSAICKED_IMAGE—Se creará un mosaico con todos los elementos de ráster del dataset de mosaico o del servicio de imágenes y se procesarán. Esta es la opción predeterminada. PROCESS_ITEMS_SEPARATELY—Todos los elementos de ráster del dataset de mosaico o del servicio de imágenes se procesarán como imágenes separadas.	String

Salida derivada

Nombre	Explicación	Tipo de datos
out_classified_raster	El ráster clasificado de salida para la clasificación de píxeles. El nombre del dataset ráster será el mismo que el valor del parámetro out_detected_objects. Este parámetro solo es aplicable cuando el tipo de modelo es Segmentación panóptica.	Raster Dataset

Muestra de código

Ejemplo 1 de DetectObjectsUsingDeepLearning (ventana de Python)

En este ejemplo se crea una clase de entidad basada en la detección de objetos.

# Import system modules
import arcpy
from arcpy.ia import *

# Check out the ArcGIS Image Analyst extension license
arcpy.CheckOutExtension("ImageAnalyst")

DetectObjectsUsingDeepLearning("c:/detectobjects/moncton_seg.tif", 
     "c:/detectobjects/moncton_seg.shp", "c:/detectobjects/moncton.emd", 
     "padding 0; threshold 0.5; batch_size 4", "NO_NMS", "Confidence", 
     "Class", 0, "PROCESS_AS_MOSAICKED_IMAGE")

Ejemplo 2 de DetectObjectsUsingDeepLearning (script independiente)

En este ejemplo se crea una clase de entidad basada en la detección de objetos.

# Import system modules
import arcpy
from arcpy.ia import *

"""
Usage: DetectObjectsUsingDeepLearning( in_raster, out_detected_objects, 
       in_model_definition, {arguments}, {run_nms}, {confidence_score_field}, 
       {class_value_field}, {max_overlap_ratio}, {processing_mode})
"""

# Set local variables
in_raster = "c:/classifydata/moncton_seg.tif"
out_detected_objects = "c:/detectobjects/moncton.shp"
in_model_definition = "c:/detectobjects/moncton_sig.emd"
model_arguments = "padding 0; threshold 0.5; batch_size 4"
run_nms = "NO_NMS"
confidence_score_field = "Confidence"
class_value_field = "Class"
max_overlap_ratio = 0
processing_mode = "PROCESS_AS_MOSAICKED_IMAGE"
# Check out the ArcGIS Image Analyst extension license
arcpy.CheckOutExtension("ImageAnalyst")

# Execute 
DetectObjectsUsingDeepLearning( in_raster, out_detected_objects, 
   in_model_definition, model_arguments, run_nms, confidence_score_field, 
   class_value_field, max_overlap_ratio, processing_mode)

Entornos

Tamaño de celda, Espacio de trabajo actual, Extensión, Transformaciones geográficas, Id. de GPU, Máscara, Sistema de coordenadas de salida, Factor de procesamiento en paralelo, Tipo de procesador, Espacio de trabajo temporal

Información de licenciamiento

• Basic: Requiere Image Analyst
• Standard: Requiere Image Analyst
• Advanced: Requiere Image Analyst