Обучение с использованием AutoDL (GeoAI)

Доступно с лицензией Image Analyst.

Краткая информация

Тренирует модель глубокого обучения путем создания конвейеров обучения и автоматизации большей части процесса обучения. Это, в том числе, приращение данных, выбор модели, настройка гиперпараметров и вычитание размера пакета. Его выходные данные включают показатели производительности лучшей модели на обучающих данных, а также обученный пакет модели глубокого обучения (файл .dlpk), которую можно использовать в качестве входной в инструменте Извлечь объекты, используя модели ИИ для прогнозирования на новых изображениях.

Более подробно о работе AutoDL

Использование

  • Вы должны установить соответствующую среду глубокого обучения для Python в ArcGIS Pro.

    Узнайте, как установить среду глубокого обучения для ArcGIS

  • Если вы будете обучать модели в автономной среде, см. дополнительную информацию в разделе Установка для автономной среды.

  • Время, необходимое инструменту для создания обученной модели, зависит от следующих факторов:

    • Объем данных, предоставленных при обучении.
    • Значение параметра Режим AutoDL
    • Значение параметра Общий лимит времени (часы)

    По умолчанию таймер для всех режимов установлен на 2 часа. В Базовом режиме выбранные сети будут обучаться на магистрали по умолчанию в течение заданного времени. В Расширенном режиме общее время будет разделено на две половины: в первой половине будет выполнена оценка модели, а во второй будут выбраны две наиболее эффективные модели для оценки на других магистралях. Если объем обучаемых данных велик, все выбранные модели могут не успеть оцениться в течение 2 часов. В таких случаях оптимальной моделью будет считаться наиболее эффективная модель, определенная в течение 2 часов. Затем вы можете либо использовать эту модель, либо повторно запустить инструмент с более высоким значением параметра Общий лимит времени (часы).

  • Этот инструмент также можно использовать для тонкой настройки существующей обученной модели. Например, существующую модель, обученную для автомобилей, можно настроить для обучения модели идентификации грузовиков.

  • Чтобы запустить этот инструмент, нужен компьютер с GPU. Если у вас более одного графического процессора, задайте параметр среды GPU ID.

  • Входные обучающие данные для этого инструмента должны включать папки с изображениями и метками, созданными с помощью инструмента Экспорт обучающих данных для глубокого обучения.

  • Потенциальные варианты использования этого инструмента включают обучение моделей обнаружения объектов и классификации пикселов для извлечения таких объектов, как контуры зданий, бассейны, солнечные батареи, типы почвенно-растительного покрова и т.д.

  • Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Параметры

ПодписьОписаниеТип данных
Входные обучающие данные

Папки, содержащие кусочки изображений, метки и статистику, необходимые для обучения модели. Это результат работы инструмента Экспорт обучающих данных для глубокого обучения. Форматами метаданных экспортируемых данных могут быть Classified_Tiles, PASCAL_VOC_rectangles или KITTI_rectangles.

Folder
Выходная модель

Выходная обученная модель, которая будет сохранена как пакет глубокого обучения (файл .dlpk).

File
Предварительно обученная модель
(Дополнительный)

Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. Входными данными является файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk).

Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.

File
Общий лимит времени (часы)
(Дополнительный)

Общий лимит времени в часах, который нужен для обучения модели AutoDL. Значение по умолчанию - 2 часа.

Double
Режим AutoDL
(Дополнительный)

Определяет, какой режим AutoDL будет использоваться и насколько интенсивным будет поиск AutoDL.

  • ОснованиеБудет применен базовый режим. Этот режим используется для обучения всех выбранных сетей без настройки гиперпараметров.
  • ДополнительноБудет применен расширенный режим. Этот режим используется для настройки гиперпараметров на двух наиболее эффективных моделях.
String
Нейронные сети
(Дополнительный)

Указывает архитектуры, которые будут использоваться для обучения модели.

По умолчанию будут использоваться все сети.

  • SingleShotDetectorДля обучения модели будет использоваться архитектура SingleShotDetector. SingleShotDetector используется для обнаружения объектов.
  • RetinaNetДля обучения модели будет использоваться архитектура RetinaNet. RetinaNet используется для обнаружения объектов.
  • FasterRCNNДля обучения модели будет использоваться архитектура FasterRCNN. FasterRCNN используется для обнаружения объектов.
  • YOLOv3Для обучения модели будет использоваться архитектура YOLOv3. YOLOv3 используется для обнаружения объектов.
  • HRNetДля обучения модели будет использоваться архитектура HRNet. HRNet используется для классификации пикселов.
  • ATSSДля обучения модели будет использоваться архитектура ATSS. ATSS используется для обнаружения объектов.
  • CARAFEДля обучения модели будет использоваться архитектура CARAFE. CARAFE используется для обнаружения объектов.
  • CascadeRCNNДля обучения модели будет использоваться архитектура CascadeRCNN. CascadeRCNN используется для обнаружения объектов.
  • CascadeRPNДля обучения модели будет использоваться архитектура CascadeRPN. CascadeRPN используется для обнаружения объектов.
  • DCNДля обучения модели будет использоваться архитектура DCN. DCN используется для обнаружения объектов.
  • DeepLabДля обучения модели будет использоваться архитектура DeepLab. DeepLab используется для классификации пикселов.
  • UnetClassifierДля обучения модели будет использоваться архитектура UnetClassifier. UnetClassifier используется для классификации пикселов.
  • PSPNetClassifierДля обучения модели будет использоваться архитектура PSPNetClassifier. PSPNetClassifier используется для классификации пикселов.
  • ANNДля обучения модели будет использоваться архитектура ANN. ANN используется для классификации пикселов.
  • APCNetДля обучения модели будет использоваться архитектура APCNet. APCNet используется для классификации пикселов.
  • CCNetДля обучения модели будет использоваться архитектура CCNet. CCNet используется для классификации пикселов.
  • CGNetДля обучения модели будет использоваться архитектура CGNet. CGNet используется для классификации пикселов.
String
Сохранить оцененные модели
(Дополнительный)

Определяет, будут ли сохраняться все оцененные модели.

  • Отмечено - будут сохраняться все оцененные модели.
  • Не отмечено - сохраняться будет только наилучшая модель. Это значение по умолчанию
Boolean

Производные выходные данные

ПодписьОписаниеТип данных
Файл выходной модели

Файл выходной модели.

File

arcpy.geoai.TrainUsingAutoDL(in_data, out_model, {pretrained_model}, {total_time_limit}, {autodl_mode}, {networks}, {save_evaluated_models})
ИмяОписаниеТип данных
in_data

Папки, содержащие кусочки изображений, метки и статистику, необходимые для обучения модели. Это результат работы инструмента Экспорт обучающих данных для глубокого обучения. Форматами метаданных экспортируемых данных могут быть Classified_Tiles, PASCAL_VOC_rectangles или KITTI_rectangles.

Folder
out_model

Выходная обученная модель, которая будет сохранена как пакет глубокого обучения (файл .dlpk).

File
pretrained_model
(Дополнительный)

Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. Входными данными является файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk).

Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.

File
total_time_limit
(Дополнительный)

Общий лимит времени в часах, который нужен для обучения модели AutoDL. Значение по умолчанию - 2 часа.

Double
autodl_mode
(Дополнительный)

Определяет, какой режим AutoDL будет использоваться и насколько интенсивным будет поиск AutoDL.

  • BASICБудет применен базовый режим. Этот режим используется для обучения всех выбранных сетей без настройки гиперпараметров.
  • ADVANCEDБудет применен расширенный режим. Этот режим используется для настройки гиперпараметров на двух наиболее эффективных моделях.
String
networks
[networks,...]
(Дополнительный)

Указывает архитектуры, которые будут использоваться для обучения модели.

  • SingleShotDetectorДля обучения модели будет использоваться архитектура SingleShotDetector. SingleShotDetector используется для обнаружения объектов.
  • RetinaNetДля обучения модели будет использоваться архитектура RetinaNet. RetinaNet используется для обнаружения объектов.
  • FasterRCNNДля обучения модели будет использоваться архитектура FasterRCNN. FasterRCNN используется для обнаружения объектов.
  • YOLOv3Для обучения модели будет использоваться архитектура YOLOv3. YOLOv3 используется для обнаружения объектов.
  • HRNetДля обучения модели будет использоваться архитектура HRNet. HRNet используется для классификации пикселов.
  • ATSSДля обучения модели будет использоваться архитектура ATSS. ATSS используется для обнаружения объектов.
  • CARAFEДля обучения модели будет использоваться архитектура CARAFE. CARAFE используется для обнаружения объектов.
  • CascadeRCNNДля обучения модели будет использоваться архитектура CascadeRCNN. CascadeRCNN используется для обнаружения объектов.
  • CascadeRPNДля обучения модели будет использоваться архитектура CascadeRPN. CascadeRPN используется для обнаружения объектов.
  • DCNДля обучения модели будет использоваться архитектура DCN. DCN используется для обнаружения объектов.
  • DeepLabДля обучения модели будет использоваться архитектура DeepLab. DeepLab используется для классификации пикселов.
  • UnetClassifierДля обучения модели будет использоваться архитектура UnetClassifier. UnetClassifier используется для классификации пикселов.
  • PSPNetClassifierДля обучения модели будет использоваться архитектура PSPNetClassifier. PSPNetClassifier используется для классификации пикселов.
  • ANNДля обучения модели будет использоваться архитектура ANN. ANN используется для классификации пикселов.
  • APCNetДля обучения модели будет использоваться архитектура APCNet. APCNet используется для классификации пикселов.
  • CCNetДля обучения модели будет использоваться архитектура CCNet. CCNet используется для классификации пикселов.
  • CGNetДля обучения модели будет использоваться архитектура CGNet. CGNet используется для классификации пикселов.

По умолчанию будут использоваться все сети.

String
save_evaluated_models
(Дополнительный)

Определяет, будут ли сохраняться все оцененные модели.

  • SAVE_ALL_MODELSВсе оцененные модели будут сохраняться.
  • SAVE_BEST_MODELСохраняться будет только наилучшая модель. Это значение по умолчанию
Boolean

Производные выходные данные

ИмяОписаниеТип данных
output_model_file

Файл выходной модели.

File

Пример кода

TrainUsingAutoDL (окно Python)

Это пример использования функции TrainUsingAutoDL.


# Name: TrainUsingAutoDL.py
# Description: Train a deep learning model on imagery data with
# automatic hyperparameter selection.
  
# Import system modules
import arcpy
import os

# Set local variables

datapath = "path_to_training_data" 
out_path = "path_to_trained_model"

out_model = os.path.join(out_path, "mymodel")

# Run Train Using AutoML Model
arcpy.geoai.TrainUsingAutoDL(
    datapath, out_model, None, 2, "BASIC", 
    ["ATSS", "DCN", "FasterRCNN", "RetinaNet", "SingleShotDetector", "YOLOv3"], 
    "SAVE_BEST_MODEL")

Параметры среды

Информация о лицензиях

  • Basic: Нет
  • Standard: Нет
  • Advanced: Обязательно Image Analyst