Обучение с использованием AutoDL (Image Analyst)

Доступно с лицензией Image Analyst.

Краткая информация

Тренирует модель глубокого обучения путем создания конвейеров обучения и автоматизации большей части процесса обучения. Это, в том числе, приращение данных, выбор модели, настройка гиперпараметров и вычитание размера пакета. Его выходные данные включают показатели производительности лучшей модели на обучающих данных, а также обученный пакет модели глубокого обучения (файл .dlpk), которую можно использовать в качестве входной в инструменте Извлечь объекты, используя модели ИИ для прогнозирования на новых изображениях.

Более подробно о работе AutoDL

Использование

• Вы должны установить соответствующую среду глубокого обучения для Python в ArcGIS Pro.

  Узнайте, как установить среду глубокого обучения для ArcGIS

• Если вы будете обучать модели в автономной среде, см. дополнительную информацию в разделе Установка для автономной среды.

• Время, необходимое инструменту для создания обученной модели, зависит от следующих факторов:

  • Объем данных, предоставленных при обучении.
  • Значение параметра Режим AutoDL
  • Значение параметра Общий лимит времени (часы)

  По умолчанию таймер для всех режимов установлен на 2 часа. В Базовом режиме выбранные сети будут обучаться на магистрали по умолчанию в течение заданного времени. В Расширенном режиме общее время будет разделено на две половины: в первой половине будет выполнена оценка модели, а во второй будут выбраны две наиболее эффективные модели для оценки на других магистралях. Если объем обучаемых данных велик, все выбранные модели могут не успеть оцениться в течение 2 часов. В таких случаях оптимальной моделью будет считаться наиболее эффективная модель, определенная в течение 2 часов. Затем вы можете либо использовать эту модель, либо повторно запустить инструмент с более высоким значением параметра Общий лимит времени (часы).

• Этот инструмент также можно использовать для тонкой настройки существующей обученной модели. Например, существующую модель, обученную для автомобилей, можно настроить для обучения модели идентификации грузовиков.

• Чтобы запустить этот инструмент, нужен компьютер с GPU. Если у вас более одного графического процессора, задайте параметр среды GPU ID.

• Входные обучающие данные для этого инструмента должны включать папки с изображениями и метками, созданными с помощью инструмента Экспорт обучающих данных для глубокого обучения.

• Потенциальные варианты использования этого инструмента включают обучение моделей обнаружения объектов и классификации пикселов для извлечения таких объектов, как контуры зданий, бассейны, солнечные батареи, типы почвенно-растительного покрова и т.д.

• Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Параметры

Диалог

Подпись	Описание	Тип данных
Входные обучающие данные	Папки, содержащие кусочки изображений, метки и статистику, необходимые для обучения модели. Это результат работы инструмента Экспорт обучающих данных для глубокого обучения. Форматами метаданных экспортируемых данных могут быть Classified_Tiles, PASCAL_VOC_rectangles или KITTI_rectangles.	Folder
Выходная модель	Выходная обученная модель, которая будет сохранена как пакет глубокого обучения (файл .dlpk).	File
Предварительно обученная модель (Дополнительный)	Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. Входными данными является файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.	File
Общий лимит времени (часы) (Дополнительный)	Общий лимит времени в часах, который нужен для обучения модели AutoDL. Значение по умолчанию - 2 часа.	Double
Режим AutoDL (Дополнительный)	Определяет, какой режим AutoDL будет использоваться и насколько интенсивным будет поиск AutoDL. Основание—Будет применен базовый режим. Этот режим используется для обучения всех выбранных сетей без настройки гиперпараметров. Дополнительно—Будет применен расширенный режим. Этот режим используется для настройки гиперпараметров на двух наиболее эффективных моделях.	String
Нейронные сети (Дополнительный)	Указывает архитектуры, которые будут использоваться для обучения модели. По умолчанию будут использоваться все сети. SingleShotDetector—Для обучения модели будет использоваться архитектура SingleShotDetector. SingleShotDetector используется для обнаружения объектов. RetinaNet—Для обучения модели будет использоваться архитектура RetinaNet. RetinaNet используется для обнаружения объектов. FasterRCNN—Для обучения модели будет использоваться архитектура FasterRCNN. FasterRCNN используется для обнаружения объектов. YOLOv3—Для обучения модели будет использоваться архитектура YOLOv3. YOLOv3 используется для обнаружения объектов. HRNet—Для обучения модели будет использоваться архитектура HRNet. HRNet используется для классификации пикселов. ATSS—Для обучения модели будет использоваться архитектура ATSS. ATSS используется для обнаружения объектов. CARAFE—Для обучения модели будет использоваться архитектура CARAFE. CARAFE используется для обнаружения объектов. CascadeRCNN—Для обучения модели будет использоваться архитектура CascadeRCNN. CascadeRCNN используется для обнаружения объектов. CascadeRPN—Для обучения модели будет использоваться архитектура CascadeRPN. CascadeRPN используется для обнаружения объектов. DCN—Для обучения модели будет использоваться архитектура DCN. DCN используется для обнаружения объектов. DeepLab—Для обучения модели будет использоваться архитектура DeepLab. DeepLab используется для классификации пикселов. UnetClassifier—Для обучения модели будет использоваться архитектура UnetClassifier. UnetClassifier используется для классификации пикселов. PSPNetClassifier—Для обучения модели будет использоваться архитектура PSPNetClassifier. PSPNetClassifier используется для классификации пикселов. ANN—Для обучения модели будет использоваться архитектура ANN. ANN используется для классификации пикселов. APCNet—Для обучения модели будет использоваться архитектура APCNet. APCNet используется для классификации пикселов. CCNet—Для обучения модели будет использоваться архитектура CCNet. CCNet используется для классификации пикселов. CGNet—Для обучения модели будет использоваться архитектура CGNet. CGNet используется для классификации пикселов.	String
Сохранить оцененные модели (Дополнительный)	Определяет, будут ли сохраняться все оцененные модели. Отмечено - будут сохраняться все оцененные модели. Не отмечено - сохраняться будет только наилучшая модель. Это значение по умолчанию	Boolean

Производные выходные данные

Подпись	Описание	Тип данных
Файл выходной модели	Файл выходной модели.	File

Python

TrainUsingAutoDL(in_data, out_model, {pretrained_model}, {total_time_limit}, {autodl_mode}, {networks}, {save_evaluated_models})

Имя	Описание	Тип данных
in_data	Папки, содержащие кусочки изображений, метки и статистику, необходимые для обучения модели. Это результат работы инструмента Экспорт обучающих данных для глубокого обучения. Форматами метаданных экспортируемых данных могут быть Classified_Tiles, PASCAL_VOC_rectangles или KITTI_rectangles.	Folder
out_model	Выходная обученная модель, которая будет сохранена как пакет глубокого обучения (файл .dlpk).	File
pretrained_model (Дополнительный)	Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. Входными данными является файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.	File
total_time_limit (Дополнительный)	Общий лимит времени в часах, который нужен для обучения модели AutoDL. Значение по умолчанию - 2 часа.	Double
autodl_mode (Дополнительный)	Определяет, какой режим AutoDL будет использоваться и насколько интенсивным будет поиск AutoDL. BASIC—Будет применен базовый режим. Этот режим используется для обучения всех выбранных сетей без настройки гиперпараметров. ADVANCED—Будет применен расширенный режим. Этот режим используется для настройки гиперпараметров на двух наиболее эффективных моделях.	String
networks [networks,...] (Дополнительный)	Указывает архитектуры, которые будут использоваться для обучения модели. SingleShotDetector—Для обучения модели будет использоваться архитектура SingleShotDetector. SingleShotDetector используется для обнаружения объектов. RetinaNet—Для обучения модели будет использоваться архитектура RetinaNet. RetinaNet используется для обнаружения объектов. FasterRCNN—Для обучения модели будет использоваться архитектура FasterRCNN. FasterRCNN используется для обнаружения объектов. YOLOv3—Для обучения модели будет использоваться архитектура YOLOv3. YOLOv3 используется для обнаружения объектов. HRNet—Для обучения модели будет использоваться архитектура HRNet. HRNet используется для классификации пикселов. ATSS—Для обучения модели будет использоваться архитектура ATSS. ATSS используется для обнаружения объектов. CARAFE—Для обучения модели будет использоваться архитектура CARAFE. CARAFE используется для обнаружения объектов. CascadeRCNN—Для обучения модели будет использоваться архитектура CascadeRCNN. CascadeRCNN используется для обнаружения объектов. CascadeRPN—Для обучения модели будет использоваться архитектура CascadeRPN. CascadeRPN используется для обнаружения объектов. DCN—Для обучения модели будет использоваться архитектура DCN. DCN используется для обнаружения объектов. DeepLab—Для обучения модели будет использоваться архитектура DeepLab. DeepLab используется для классификации пикселов. UnetClassifier—Для обучения модели будет использоваться архитектура UnetClassifier. UnetClassifier используется для классификации пикселов. PSPNetClassifier—Для обучения модели будет использоваться архитектура PSPNetClassifier. PSPNetClassifier используется для классификации пикселов. ANN—Для обучения модели будет использоваться архитектура ANN. ANN используется для классификации пикселов. APCNet—Для обучения модели будет использоваться архитектура APCNet. APCNet используется для классификации пикселов. CCNet—Для обучения модели будет использоваться архитектура CCNet. CCNet используется для классификации пикселов. CGNet—Для обучения модели будет использоваться архитектура CGNet. CGNet используется для классификации пикселов. По умолчанию будут использоваться все сети.	String
save_evaluated_models (Дополнительный)	Определяет, будут ли сохраняться все оцененные модели. SAVE_ALL_MODELS—Все оцененные модели будут сохраняться. SAVE_BEST_MODEL—Сохраняться будет только наилучшая модель. Это значение по умолчанию	Boolean

Производные выходные данные

Имя	Описание	Тип данных
output_model_file	Файл выходной модели.	File

Пример кода

TrainUsingAutoDL (окно Python)

Это пример использования функции TrainUsingAutoDL.

# Name: TrainUsingAutoDL.py
# Description: Train a deep learning model on imagery data with
# automatic hyperparameter selection.
  
# Import system modules
import arcpy
import os

# Set local variables

datapath = "path_to_training_data" 
out_path = "path_to_trained_model"

out_model = os.path.join(out_path, "mymodel")

# Run Train Using AutoML Model
arcpy.geoai.TrainUsingAutoDL(
    datapath, out_model, None, 2, "BASIC", 
    ["ATSS", "DCN", "FasterRCNN", "RetinaNet", "SingleShotDetector", "YOLOv3"], 
    "SAVE_BEST_MODEL")

TrainUsingAutoDL (окно Python)

Это пример использования функции TrainUsingAutoDL.

# Name: TrainUsingAutoDL.py
# Description: Train a deep learning model on imagery data with 
# automatic hyperparameter selection.
  
# Import system modules
import arcpy
import os

# Set local variables
datapath  = "path_to_training_data" 
out_path = "path_to_trained_model"
out_model = os.path.join(out_path, "mymodel")

# Run Train Using AutoML Model
arcpy.ia.TrainUsingAutoDL(datapath, out_model, None, 2, "BASIC", 
                    "ATSS;DCN;FasterRCNN;RetinaNet;SingleShotDetector;YOLOv3", 
                    "SAVE_BEST_MODEL")

Параметры среды

GPU ID

Информация о лицензиях

• Basic: Нет
• Standard: Нет
• Advanced: Обязательно Image Analyst