Использование мастера Тренировать модель глубокого обучения

Доступно с лицензией Advanced.

Доступно с лицензией Image Analyst.

Мастер Тренировать модель глубокого обучения - это упрощенный рабочий процесс, который поможет вам создать модель глубокого обучения, используя собранные вами обучающие данные. При наличии обучающих данных откройте мастер Тренировать модель глубокого обучения на вкладке Изображения под ниспадающим меню Инструменты глубокого обучения .

Для этого мастера предусмотрено три страницы: Начало работы, Обучение и Результат.

Для использования мастера Тренировать модель глубокого обучения выполните следующие шаги:

1. Щелкните вкладку Изображения.
2. Щелкните ниспадающее меню Инструменты глубокого обучения и выберите Тренировать модель глубокого обучения .

   Появится панель мастера Тренировать модель глубокого обучения.

Начало работы

В этом мастере на странице Начало работы необходимо указать, как следует тренировать модель глубокого обучения.

1. Укажите, как вы хотите тренировать модель.
   • Задать параметры автоматически - Тип модели, параметры и гиперпараметры задаются автоматически для создания наилучшей модели. Для этой опции необходима лицензия ArcGIS Pro Advanced.
   • Задать собственные параметры - Вы сами задаете тип модели, параметры и гиперпараметры для создания модели. Для этой опции необходим дополнительный модуль ArcGIS Image Analyst.
2. Нажмите кнопку Далее, чтобы перейти на страницу Тренировать.

Тренировать

На странице Тренировать вы задаете информацию о параметрах для обучения. В зависимости от опции, указанной вами на странице Начало работы, параметры могут отличаться.

1. Укажите необходимые параметры.

   Входные обучающие данные	Папки, содержащие фрагменты изображений, метки и статистику, необходимые для обучения модели. Это результат работы инструмента Экспорт обучающих данных для глубокого обучения.
   Выходная модель (Обучение в автоматическом режиме)	Выходная обученная модель, которая будет сохранена в виде пакета глубокого обучения (файла .dlpk).
   Выходная папка (Обучение в ручном режиме)	Местоположение выходной папки, в которой будет храниться обученная модель.

2. Если необходимо, задайте другие параметры.

   Параметры обучения в автоматическом режиме

   Параметр	Описание
   Предварительно обученная модель	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. На входе берется файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученная модель с похожими классами может быть уточнена для соответствия новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и опорной модели, которые будут использоваться для обучения новой модели.
   Общее ограничение по времени (часы)	Общее ограничение по времени в часах, которое потребуется для обучения модели с использованием AutoDL. По умолчанию равно 2 часам.
   Автоматический режим глубокого обучения (Auto DL Mode)	Определяет режим AutoDL, который будет использоваться, и насколько интенсивным будет поиск AutoDL. Базовый - Используется для обучения всех выбранных сетей без настройки гиперпараметров. Продвинутый - используется для настройки гиперпараметров на двух самых производительных моделях.
   Нейронные сети	Определяет архитектуры, которые будут использоваться для обучения модели. По умолчанию будут использоваться все сети.
   Сохранение оцененных моделей	Определяет, будут ли сохранены все оцененные модели. Отмечено — все оцененные модели будут сохранены. Не отмечено — будет сохранена только наиболее эффективная модель. Используется по умолчанию.

   Параметры обучения в ручном режиме

   Параметр	Описание
   Максимальное число периодов времени	Максимальное количество периодов времени, для которых будет обучаться модель. Максимальный период времени, равный 1, означает, что набор данных будет передаваться вперед и назад через нейронную сеть один раз. Значение по умолчанию равно 20.
   Предварительно обученная модель	Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. На входе берется файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.
   Тип модели	Указывает тип модели, который будет использоваться для обучения модели глубокого обучения. Дополнительные сведения о различных типах моделей см. в разделе Структура моделей глубокого обучения
   Аргументы модели	Информация из параметра Тип модели будет использоваться для заполнения этого параметра. Аргументы различаются в зависимости от архитектуры модели. Поддерживаемые аргументы модели для моделей, обученных в ArcGIS, описаны ниже. Предварительно обученные модели ArcGIS и пользовательские модели глубокого обучения могут включать дополнительные аргументы, которые поддерживаются инструментом. Более подробную информацию о том, какие аргументы доступны для каждого типа модели, см. в разделе Аргументы глубокого обучения.
   Увеличение данных	Указывает тип увеличения данных, который будет использоваться. Увеличение данных — это метод искусственного увеличения обучающего набора путем создания модифицированных копий набора данных с использованием существующих данных. По умолчанию - Будут использоваться параметры и значения увеличения данных по умолчанию. Включенные по умолчанию методы увеличения данных: crop, dihedral_affine, brightness, contrast и zoom. Эти значения по умолчанию обычно хорошо подходят для спутниковых снимков. Без увеличения - Увеличение данных производиться не будет. Пользовательский - Укажите пользовательские значения увеличения данных в параметре Параметры увеличения. Файл - Укажите преобразования fastai для увеличения данных обучающих и проверочных наборов данных. Они указаны в файле .json с именем transforms.json, который находится в той же папке, что и обучающие данные. Дополнительные сведения о различных преобразованиях см. fastai vision transforms.
   Параметры увеличения	Задает значение для каждого преобразования в параметре увеличения. rotate — Изображение будет повернуто случайным образом (в градусах) по вероятности (p). Если градусы представляют диапазон (a,b), значение будет равномерно присвоено от a до b. Значение по умолчанию – 30.0; 0.5. brightness — яркость изображения будет произвольно регулироваться в зависимости от значения изменения с вероятностью (p). Изменение 0 преобразует изображение в самое темное, а изменение 1 преобразует изображение в самое светлое. Изменение 0,5 не отрегулирует яркость. Если изменение представляет диапазон (a,b), увеличение будет равномерно назначать значение от a до b. Значение по умолчанию – (0.4,0.6); 1.0. contrast — контрастность изображения будет случайным образом регулироваться в зависимости от значения масштаба, с вероятностью (p). Масштаб 0 преобразует изображение в оттенки серого, а масштаб больше 1 преобразует изображение в суперконтрастное. Масштаб 1 не регулирует контрастность. Если масштаб представляет диапазон (a,b), увеличение будет равномерно назначать значение отa до b. Значение по умолчанию (0.75, 1.5); 1.0. zoom — Изображение будет произвольно увеличиваться в зависимости от значения масштаба. Значение масштаба имеет вид scale(a,b); p. Значение по умолчанию — (1.0, 1.2); 1.0, где p - вероятность. Только масштаб больше 1.0 приведет к увеличению изображения. Если масштаб представляет диапазон (a,b), будет равномерно назначено значение от a до b. crop — Изображение будет обрезано случайным образом. Значение обрезки имеет вид size;p;row_pct;col_pct, где p - вероятность. Положение задается (col_pct, row_pct), с помощью col_pct и row_pct, нормализованными между 0 и 1. Если col_pct или row_pct это диапазон (a,b), будет равномерно назначено значение от a до b. Значение по умолчанию chip_size;1.0; (0, 1); (0, 1), где 224 — размер чипа по умолчанию.
   Размер пакета	Количество обучающих выборок, которые будут обрабатываться для обучения за один раз. Увеличение размера пакета может улучшить производительность инструмента, но при этом увеличение размера пакета приводит к расходованию большего объема памяти. Если для пакета заданного размера недостаточно памяти графического процессора, попробуйте установить и использовать оптимальный размер пакета. Если возникает ошибка нехватки памяти, используйте меньший размер пакета.
   Проверка %	Процент обучающих выборок, которые будут использоваться для проверки модели. Значением по умолчанию является 10.
   Размер фрагмента	Размер изображения, которое будет использоваться для обучения модели. Изображения будут обрезаны до указанного размера чипа.
   Изменить размер до	Изменяет размеры фрагментов изображения. После изменения размера чипа блоки пикселов будут обрезаны по размеру чипа и использованы для обучения. Этот параметр применяется только к обнаружению объектов (PASCAL VOC), классификации объектов (помеченные листы) и данным сверхвысокого разрешения. Значение изменения размера часто составляет половину значения размера чипа. Если значение изменения размера меньше значения размера фрагмента, значение изменения размера используется для создания блоков пикселов для обучения.
   Скорость обучения	Скорость, с которой существующая информация будет перезаписываться вновь полученной информацией в процессе обучения. Если значение не указано, оптимальная скорость обучения будет получена из кривой обучения в процессе.
   Опорная модель	Указывает предварительно настроенную нейронную сеть, которая будет использоваться в качестве архитектуры для обучения новой модели. Этот метод известен как Трансферное обучение. Кроме того, поддерживаемые нейронные сети свертки из моделей изображений PyTorch (timm) можно указать, используя timm в качестве префикса, например, timm:resnet31 , timm:inception_v4 , timm:efficientnet_b3 и т.д.
   Мониторинг метрик	Задает метрику, которая будет отслеживаться при проверке контрольных точек и ранней остановке.
   Завершить, когда модель перестанет улучшаться	Указывает, будет ли реализована ранняя остановка. Отмечено — будет реализована ранняя остановка, и обучение модели остановится, когда модель перестанет улучшаться, независимо от указанного значения параметра Максимальное число периодов времени. Это значение по умолчанию Не отмечено — ранняя остановка не будет реализована, и обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра Максимальное число периодов времени.
   Закрепление модели	Указывает, будут ли закреплены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально разработаны. Отмечено — опорные слои будут закреплены, а предопределенные веса и смещения не будут изменены в параметре Опорная модель. Это значение по умолчанию Не отмечено — опорные слои не будут закреплены, а веса и смещения параметра Опорная модель могут быть изменены для соответствия обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты.
   Схема инициализации весов	Задает схему, в которой будут инициализироваться веса для слоя. Чтобы обучить модель с помощью мультиспектральных данных, модель должна учитывать различные типы доступных каналов. Это делается путем повторной инициализации первого слоя модели. Произвольно (Random) - Для каналов не RGB будут инициализированы случайные веса, а предварительно обученные веса будут сохранены для каналов RGB. Используется по умолчанию. Красный канал - Веса, соответствующие красному каналу из слоя предварительно обученной модели, будут клонированы для каналов, отличных от RGB, а предварительно обученные веса будут сохранены для каналов RGB. Все произвольно - Случайные веса будут инициализированы как для каналов RGB, так и для каналов, отличных от RGB. Эта опция применима только к мультиспектральным изображениям. Этот параметр применим только в том случае, если в модели используются мультиспектральные изображения.

3. Нажмите кнопку Далее, чтобы перейти на страницу Результат.

Результат

На странице Результат показаны ключевые сведения об обученной модели, чтобы вы могли их просматривать. Здесь же можно сравнить обученную модель с другими моделями. Понимание моделей глубокого обучения очень важно для их использования при построении выводов. Просмотр модели дает вам представление о том, как она была обучена и как может работать. Во многих случаях у вас может быть несколько моделей для сравнения.

Элемент	Описание
Модель	Используйте кнопку Обзор , чтобы найти модель, которую вы хотите просмотреть. Все модели, связанные с ним, будут добавлены в ниспадающий список Модель. Вы можете переключаться между моделями и удалять модели из ниспадающего списка.
Сравнение	Используйте кнопку Сравнить , чтобы скомпилировать измерения всех загруженных в данный момент моделей в отчет для сравнения и оценки.
Тип модели	Имя архитектуры модели.
Опорная	Имя предварительно настроенной нейросети, которая была использована в качестве архитектуры для обучения модели.
Скорость обучения	Скорость обучения, используемая при обучении нейронных сетей. Если значение не указано, оно будет рассчитано обучающим инструментом.
Потери при обучении и проверке	В этом разделе отображается график, который показывает потери при обучении и проверке в ходе обучения модели.
Анализ модели	Показатель или число, в зависимости от архитектуры модели. Например, модели пиксельной классификации будут отображать следующие показатели для каждого класса: точность, отклик и оценка f1. Модели обнаружения объектов будут отображать среднюю оценку точности.
Примеры результатов	Показаны примеры пар наземных привязок и прогнозов.
Подробные сведения об эпохе	Таблица, содержащая информацию для каждой эпохи, такую как потери при обучении, потери при проверке, время и другие показатели.