Использование мастера Тренировать модель глубокого обучения

Доступно с лицензией Advanced.

Доступно с лицензией Image Analyst.

Мастер Тренировать модель глубокого обучения - это упрощенный рабочий процесс, который поможет вам создать модель глубокого обучения, используя собранные вами обучающие данные. При наличии обучающих данных откройте мастер Тренировать модель глубокого обучения на вкладке Изображения под ниспадающим меню Инструменты глубокого обучения .

Для этого мастера предусмотрено три страницы: Начало работы, Обучение и Результат.

Для использования мастера Тренировать модель глубокого обучения выполните следующие шаги:

1. Щелкните вкладку Изображения.
2. Щелкните ниспадающее меню Инструменты глубокого обучения и выберите Тренировать модель глубокого обучения .

   Появится панель мастера Тренировать модель глубокого обучения.

Начало работы

В этом мастере на странице Начало работы необходимо указать, как следует тренировать модель глубокого обучения.

1. Укажите, как вы хотите тренировать модель.
   • Задать параметры автоматически - Тип модели, параметры и гиперпараметры задаются автоматически для создания наилучшей модели. Для этой опции необходима лицензия ArcGIS Pro Advanced.
   • Задать собственные параметры - Вы сами задаете тип модели, параметры и гиперпараметры для создания модели. Для этой опции необходим дополнительный модуль ArcGIS Image Analyst.
2. Нажмите кнопку Далее, чтобы перейти на страницу Тренировать.

Обучить модель

На странице Тренировать вы задаете информацию о параметрах для обучения. В зависимости от опции, указанной вами на странице Начало работы, параметры могут отличаться.

1. Укажите необходимые параметры.

   Входные обучающие данные	Папки, содержащие кусочки изображений, метки и статистику, необходимые для обучения модели. Это результат работы инструмента Экспорт обучающих данных для глубокого обучения.
   Выходная модель (Обучение в автоматическом режиме)	Выходная обученная модель, которая будет сохранена как пакет глубокого обучения (файл .dlpk).
   Выходная папка (Обучение в ручном режиме)	Местоположение выходной папки, в которой будет храниться обученная модель.

2. Если необходимо, задайте другие параметры.

   Параметры обучения в автоматическом режиме

   Параметр	Описание
   Предварительно обученная модель	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. На входе берется файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученная модель с похожими классами может быть уточнена для соответствия новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели. Тонкая настройка поддерживается только для моделей, обученных с использованием ArcGIS.
   Общее ограничение по времени (часы)	Общий лимит времени в часах, который нужен для обучения модели AutoDL. Значение по умолчанию - 2 часа.
   Автоматический режим глубокого обучения (Auto DL Mode)	Определяет, какой режим AutoDL будет использоваться и насколько интенсивным будет поиск AutoDL. Базовый - Используется для обучения всех выбранных сетей без настройки гиперпараметров. Продвинутый - используется для настройки гиперпараметров на двух самых производительных моделях.
   Нейронные сети	Указывает архитектуры, которые будут использоваться для обучения модели. По умолчанию будут использоваться все сети.
   Сохранение оцененных моделей	Определяет, будут ли сохраняться все оцененные модели. Отмечено - будут сохраняться все оцененные модели. Не отмечено - сохраняться будет только наилучшая модель. Это значение по умолчанию

   Параметры обучения в ручном режиме

   Параметр	Описание
   Максимальное число периодов времени	Максимальное число эпох, для которых будет обучаться модель. Максимальная эпоха, равная 1, означает, что набор данных будет передан через нейронную сеть вперед и назад один раз. Значение по умолчанию равно 20.
   Предварительно обученная модель	Предварительно обученная модель, которая будет использоваться для уточнения новой модели. На входе берется файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk). Предварительно обученная модель с похожими классами может быть уточнена для соответствия новой модели. Предварительно обученная модель должна быть обучена с помощью модели того же типа и базовой моделью, которые будут использоваться для обучения новой модели. Тонкая настройка поддерживается только для моделей, обученных с использованием ArcGIS.
   Тип модели	Задает тип модели, который будет применен для обучения модели глубокого обучения. Дополнительные сведения о различных типах моделей см. в разделе Структура моделей глубокого обучения.
   Аргументы модели	Информация из параметра Тип модели будет использоваться для заполнения этого параметра. Эти аргументы меняются в зависимости от архитектуры модели. Поддерживаемые аргументы модели для моделей, обученных в ArcGIS, описаны ниже. Предварительно обученные модели ArcGIS и пользовательские модели глубокого обучения могут иметь дополнительные аргументы, поддерживаемые инструментом. Дополнительные сведения о том, какие аргументы доступны для каждого типа модели, см. в разделе Аргументы глубокого обучения.
   Увеличение данных	Указывает тип увеличения данных, который будет использоваться. Увеличение данных — это метод искусственного увеличения обучающего набора путем создания модифицированных копий набора данных с использованием существующих данных. По умолчанию - Будут использоваться параметры и значения увеличения данных по умолчанию. Включенные по умолчанию методы увеличения данных: crop, dihedral_affine, brightness, contrast и zoom. Эти значения по умолчанию обычно хорошо подходят для спутниковых снимков. Без увеличения - Увеличение данных производиться не будет. Пользовательский - Укажите пользовательские значения увеличения данных в параметре Параметры увеличения. Файл - Укажите преобразования fastai для увеличения данных обучающих и проверочных наборов данных. Они указаны в файле .json с именем transforms.json, который находится в той же папке, что и обучающие данные. Для получения дополнительной информации о различных преобразованиях см. fastai vision transforms на веб-сайте fastai.
   Параметры увеличения	Задает значение для каждого преобразования в параметре увеличения. rotate — Изображение будет повернуто случайным образом (в градусах) по вероятности (p). Если градусы представляют диапазон (a,b), значение будет равномерно присвоено от a до b. Значение по умолчанию – 30.0; 0.5. brightness — Яркость изображения будет произвольно регулироваться в зависимости от значения изменения с вероятностью (p). Изменение 0 преобразует изображение в самое темное, а изменение 1 преобразует изображение в самое светлое. Изменение 0,5 не отрегулирует яркость. Если изменение представляет диапазон (a,b), увеличение будет равномерно назначать значение от a до b. Значение по умолчанию – (0.4,0.6); 1.0. contrast — Контрастность изображения будет случайным образом регулироваться в зависимости от значения масштаба с вероятностью (p). Масштаб 0 преобразует изображение в оттенки серого, а масштаб больше 1 преобразует изображение в суперконтрастное. Масштаб 1 не регулирует контрастность. Если масштаб представляет диапазон (a,b), увеличение будет равномерно назначать значение отa до b. Значение по умолчанию (0.75, 1.5); 1.0. zoom — Изображение будет произвольно увеличиваться в зависимости от значения масштаба. Значение масштаба имеет вид scale(a,b); p. Значение по умолчанию — (1.0, 1.2); 1.0, где p - вероятность. Только масштаб больше 1.0 приведет к увеличению изображения. Если масштаб представляет диапазон (a,b), будет равномерно назначено значение от a до b. crop — Изображение будет обрезано случайным образом. Значение обрезки имеет вид size;p;row_pct;col_pct, где p - вероятность. Положение задается (col_pct, row_pct), с помощью col_pct и row_pct, нормализованными между 0 и 1. Если col_pct или row_pct это диапазон (a,b), будет равномерно назначено значение от a до b. Значение по умолчанию chip_size;1.0; (0, 1); (0, 1), где 224 — размер фрагмента по умолчанию.
   Размер пакета	Число обучающих выборок, которые будут обрабатываться для обучения по одной за раз. Увеличение размера пакета может повысить производительность инструмента, но по мере его увеличения используется все больше памяти. Если для пакета заданного размера недостаточно памяти графического процессора, попробуйте установить и использовать оптимальный размер пакета. При появлении ошибки переполнения памяти задайте меньший размер пакета.
   Проверка %	Процент обучающих выборок, которые будут использоваться для проверки модели. Значением по умолчанию является 10.
   Размер фрагмента	Размер изображения, которое будет использоваться для обучения модели. Изображения будут обрезаны до указанного размера фрагмента.
   Изменить размер до	Изменяет размеры фрагментов изображения. После изменения размера фрагмента блоки пикселов будут обрезаны по размеру фрагмента и использованы для обучения. Этот параметр применяется только к обнаружению объектов (PASCAL VOC), классификации объектов (помеченные листы) и данным сверхвысокого разрешения. Значение изменения размера часто составляет половину значения размера фрагмента. Если значение изменения размера меньше значения размера фрагмента, значение изменения размера используется для создания блоков пикселей для обучения.
   Скорость обучения	Скорость, с которой существующая информация будет перезаписываться вновь полученными данными в процессе обучения. Если значение не задано, оптимальная скорость обучения будет извлечена из кривой обучения в процессе обучения.
   Опорная модель	Задает предварительно настроенную нейросеть, которая будет использоваться в качестве архитектуры для обучения новой модели. Это метод называется Transfer Learning (передача модели обучения). Кроме того, поддерживаемые нейронные сети свертки из моделей изображений PyTorch (timm) можно указать, используя timm в качестве префикса, например, timm:resnet31 , timm:inception_v4 , timm:efficientnet_b3 и т.д.
   Мониторинг метрик	Задает метрику, которая будет отслеживаться при проверке контрольных точек и ранней остановке.
   Завершить, когда модель перестанет улучшаться	Определяет, будут ли реализованы новые остановки. Отмечено – будет реализована ранняя остановка, и обучение модели остановится, когда модель перестанет улучшаться, независимо от заданного значения параметра Максимальное число эпох. Используется по умолчанию. Не отмечено – ранняя остановка не будет реализована, и обучение модели будет продолжаться до тех пор, пока не будет достигнуто значение параметра Максимальное число эпох.
   Закрепление модели	Указывает, будут ли заморожены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально задуманы. Отмечено – опорные слои будут закреплены, а предзаданные веса и смещения не будут изменены в параметре Опорная модель. Используется по умолчанию. Не отмечено — опорные слои не будут закреплены, а веса и смещения параметра Опорная модель можно изменить, чтобы они соответствовали обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты.
   Схема инициализации весов	Задает схему, в которой будут инициализироваться веса для слоя. Чтобы обучить модель с помощью мультиспектральных данных, модель должна учитывать различные типы доступных каналов. Это делается путем повторной инициализации первого слоя модели. Произвольно (Random) - Для каналов не RGB будут инициализированы случайные веса, а предварительно обученные веса будут сохранены для каналов RGB. Используется по умолчанию. Красный канал - Веса, соответствующие красному каналу из слоя предварительно обученной модели, будут клонированы для каналов, отличных от RGB, а предварительно обученные веса будут сохранены для каналов RGB. Все произвольно - Случайные веса будут инициализированы как для каналов RGB, так и для каналов, отличных от RGB. Эта опция применима только к мультиспектральным изображениям. Этот параметр применим только в том случае, если в модели используются мультиспектральные изображения.
   Включить Tensorboard	Указывает, будут ли включены метрики Tensorboard во время обучения инструмента. Доступ к Tensorboard можно получить, используя URL-адрес в сообщениях инструмента. Не отмечено — метрики Tensorboard не будут включены. Используется по умолчанию. Отмечено — метрики Tensorboard будут включены. Этот параметр поддерживается только для следующих моделей: CycleGAN, DeepLab, Faster RCNN, Feature Classifier, Image Captioner, Mask RCNN, Multi-Task Road Extractor, Pix2Pix, PSPNet Classifier, RetinaNet, Single-Shot Detector, SuperResolution и U-Net Classifier.

3. Нажмите кнопку Далее, чтобы перейти на страницу Результат.

Просмотр результатов

На странице Результат показаны ключевые сведения об обученной модели, чтобы вы могли их просматривать. Здесь же можно сравнить обученную модель с другими моделями. Понимание моделей глубокого обучения очень важно для их использования при построении выводов. Просмотр модели дает вам представление о том, как она была обучена и как может работать. Во многих случаях у вас может быть несколько моделей для сравнения.

Элемент	Описание
Модель	Используйте кнопку Обзор , чтобы найти модель, которую вы хотите просмотреть. Все модели, связанные с ним, будут добавлены в ниспадающий список Модель. Вы можете переключаться между моделями и удалять модели из ниспадающего списка.
Сравнение	Используйте кнопку Сравнить , чтобы скомпилировать измерения всех загруженных в данный момент моделей в отчет для сравнения и оценки.
Тип модели	Имя архитектуры модели.
Опорная	Имя предварительно настроенной нейросети, которая была использована в качестве архитектуры для обучения модели.
Скорость обучения	Скорость обучения, используемая при обучении нейронных сетей. Если значение не указано, оно будет рассчитано обучающим инструментом.
Потери при обучении и проверке	В этом разделе отображается график, который показывает потери при обучении и проверке в ходе обучения модели.
Анализ модели	Показатель или число, в зависимости от архитектуры модели. Например, модели пиксельной классификации будут отображать следующие показатели для каждого класса: точность, отклик и оценка f1. Модели обнаружения объектов будут отображать среднюю оценку точности.
Примеры результатов	Показаны примеры пар наземных привязок и прогнозов.
Подробные сведения об эпохе	Таблица, содержащая информацию для каждой эпохи, такую как потери при обучении, потери при проверке, время и другие показатели.