Разметка объектов для глубокого обучения

Доступно с лицензией Image Analyst.

Доступно с лицензией Spatial Analyst.

Все задачи контролируемого глубокого обучения зависят от отмеченных наборов данных, а это означает, что люди должны применять свои знания для обучения нейронной сети идентификации или нахождения объектов интереса. Отмеченные объекты будут использоваться нейронной сетью для обучения модели, с помощью которой можно сделать выводы о данных.

Расстановка отметок - это процесс отбора репрезентативных образцов объекта интереса. Объекты, выбранные для отметок, должны точно отражать пространственные и спектральные характеристики, ориентацию, размер и состояние объектов интереса. Чем лучше отмеченные объекты представляют объект интереса, тем лучше будет обучение модели глубокого обучения и тем точнее будет классификация и обнаружение логических выводов.

Аннотация изображения или отмечание, жизненно важны для задач глубокого обучения, таких как компьютерное зрение и обучение. Для обучения хорошей модели глубокого обучения требуется большой объем отмеченных данных. Когда доступны правильные обучающие данные, системы глубокого обучения могут быть точными в извлечении пространственных объектов, распознавании закономерностей и решении сложных задач. Для расстановки отметок можно использовать панель Отметить объекты для глубокого обучения.

Кнопка Отметить объекты для глубокого обучения находится в ниспадающем меню Инструменты глубокого обучения в группе Классификация изображений на вкладке Изображения. Когда инструмент открыт, выберите использование существующего слоя или создание коллекции изображений. Для создания новой коллекции изображений перейдите в папку с изображениями, будет создан слой с коллекцией изображений.

Как только значение параметра Изображения/Коллекция изображений задано, откроется панель Отметить объекты. Панель разделена на две части. Верхняя часть панели используется для управления классами, а нижняя часть панели для управления набором примеров и для экспорта данных обучения для сред глубокого обучения.

Создать классы и отметить объекты

В верхней части панели можно управлять классами объектов и создавать объекты, используемые для обучения модели глубокого обучения. Для создания отмеченных объектов доступны следующие инструменты создания эскизов и инструменты с поддержкой искусственного интеллекта (ИИ):

Инструмент	Описание
	Создать отмеченный объект, нарисовав прямоугольник вокруг пространственного объекта или объекта на растре.
	Создать отмеченный объект, нарисовав многоугольник вокруг пространственного объекта или объекта на растре.
	Создать отмеченный объект, нарисовав окружность вокруг пространственного объекта или объекта на растре.
	Создать отмеченный объект, нарисовав произвольную форму вокруг пространственного объекта или объекта на растре.
	Автоматическое определение и обозначение объекта или элемента. Вокруг объекта или элемента будет создан полигон. Этот инструмент доступен только если установлены библиотеки рабочей среды глубокого обучения.
	Создать пространственный объект, выбрав сегмент из сегментированного слоя. Эта опция доступна только, если на панели Содержание есть сегментированный слой. Активируйте Выбор сегмента, выделив сегментированный слой на панели Содержание, и выберите слой из ниспадающего списка Выбор сегмента.
	Назначить выбранный класс текущему изображению. Этот инструмент доступен только в режиме Коллекция изображений.
	Выбрать и отредактировать отмеченный объект.
	Создать схему классификации.
	Выберите опцию схемы классификации. Перейдите к существующей схеме. Создайте новую схему из существующего класса объектов обучающей выборки. Создайте новую схему из существующего классифицированного растра. Создайте новую схему, используя схему по умолчанию 2011 National Land Cover Database.
	Сохраните изменения в схеме.
	Сохраните копию схемы.
	Добавьте категорию класса в схему. Выбрать сначала имя схемы для создания нового родительского класса на самом верхнем уровне. Выберите имя существующего класса для создания подкласса.
	Удалите выбранную категорию класса или подкласса из схемы.

Инструменты отметок с поддержкой искусственного интеллекта

Существует два типа инструментов искусственного интеллекта для расстановки отметок для объектов: Автоматическое определение и Текстовая подсказка.

Инструмент Автоматическое определение

Инструмент Автоматическое определение автоматического рисует прямоугольник вокруг объекта. Щелкните объект, и вокруг него будет нарисован ограничивающий прямоугольник. Если вы хотите создать полигональную границу объекта, нажмите клавишу Shift при щелчке по объекту, вокруг геометрии объекта будет создан периметр. Чтобы инструмент работал хорошо, требуется, чтобы на карте отображалось значительное количество пикселов объектов, что требует увеличения масштаба и приближения к объектам.

Инструмент Автоматическое определение хорошо работает с отчетливыми объектами, с характерными формами, четкими краями и высокой контрастностью. Оно не рекомендуется для работы с непрерывными объектами в непосредственной близости друг от друга.

Примечание:

Среда глубокого обучения для ArcGIS должна быть установлена для использования этой функциональности.

Инструмент Текстовая подсказка

Используя инструмент Текстовые подсказки, вы можете использовать функцию обнаружения для облегчения расстановки отметок. Введите имя объекта в текстовое поле Имя класса и щелкните кнопку Выявить. Для этой функции рекомендуется использовать графический процессор высокого класса с объемом оперативной памяти не менее 12 ГБ.

Чтобы улучшить результаты, установите значения Порог рамки и Порог текста в опциях Настройки:

• Порог рамки - это значение используется для обнаружения объекта на изображении. Более высокое значение делает модель более избирательной, идентифицируя только наиболее достоверные экземпляры объектов, что приводит к меньшему количеству обнаружений. Более низкое значение делает модель более толерантной, что приводит к увеличению числа обнаружений, в том числе потенциально менее достоверных. Значения порога находятся в диапазоне от 0 до 1.
• Порог текста - значение используется для связи обнаруженных объектов с предоставленной текстовой подсказкой. Более высокое значение требует более сильной ассоциации между объектом и текстовой подсказкой, что приводит к более точным, но потенциально меньшим ассоциациям. Меньшее значение допускает более слабые ассоциации, что может увеличить их количество, но также привести к менее точным совпадениям. Значения порога находятся в диапазоне от 0 до 1.

Примечание:

Среда глубокого обучения для ArcGIS должна быть установлена для использования этой функциональности.

Диалоговое окно Задать класс

Диалоговое окно Задать класс позволяет вам создать класс или задать существующий класс. Если вы выберете Использовать существующий класс, выберите соответствующий параметр Имя класса для этого объекта. Если вы выберете Добавить новый класс, вы можете отредактировать информацию и нажать ОК, чтобы создать класс.

Вкладка Отмеченные объекты

Вкладка Отмеченные объекты расположена в нижней части панели Отметить объекты и предназначена для управления обучающими выборками, собранными для каждого класса. Соберите репрезентативные участки или обучающие выборки для каждого класса на изображении. У обучающей выборки есть информация о местоположении (многоугольник) и связанный с ней класс. Алгоритм классификации изображений использует обучающие выборки, сохраненные как класс пространственных объектов, для определения классов покрова на всем изображении.

Вы можете просматривать обучающие выборки и управлять ими, добавляя, группируя или удаляя выборки. Когда вы щелкаете обучающую выборку, она также выделяется на карте. Дважды щелкните на обучающей выборке в таблице, чтобы приблизиться к ней на карте.

Инструменты на вкладке Отмеченные объекты описаны в следующей таблице:

Инструмент	Описание
	Откройте существующий класс объектов обучающих выборок.
	Сохраните изменения, внесенные в текущий класс отмеченных пространственных объектов.
	Сохранить текущие отмеченные объекты как новый класс пространственных объектов.
	Удалить выбранные отмеченные объекты.

Вкладка Экспорт учебных данных

После того, как примеры собраны, вы можете экспортировать их в обучающие данные, щелкнув вкладку Экспорт обучающих данных. Затем обучающие данные можно использовать в модели глубокого обучения. Как только вы установите значения параметров, описанные ниже, нажмите кнопку Выполнить, чтобы создать обучающие данные.

Параметр	Описание
Выходная папка	Выходная папку, в которой будут сохранены обучающие данные.
Полигональные объекты маски	Полигональный класс объектов, который обозначает области, где будут создаваться кусочки изображений. Будут создаваться только те кусочки, которые полностью находятся в пределах полигонов.
Формат изображения	Задает формат растра для выходных фрагментов изображения. TIFF - используется по умолчанию. MRF (Формат Мета Растр) PNG JPEG Форматы PNG и JPEG поддерживают до трех каналов.
Размер листа по X	Размер кусочков изображений по измерению X.
Размер листа по Y	Размер кусочков изображений по измерению Y.
Шаг по X	Расстояние для смещения по направлению X, при создании следующих кусочков изображения. Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.
Шаг по Y	Расстояние для смещения по направлению Y, при создании следующих кусочков изображения. Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.
Угол поворота	Угол поворота, который будет использоваться для генерации кусочков изображений. Фрагмент изображения сначала генерируется без поворота. Затем он будет повернут на указанный угол для создания дополнительного фрагмента изображения. Изображение будет поворачиваться, будут создаваться фрагменты, пока изображение не будет полностью повернуто. Например, если вы задали угол поворота 45 градусов, инструмент создаст восемь фрагментов изображения. Восемь фрагментов изображения будут созданы на следующих углах: 0, 45, 90, 135, 180, 25, 270 и 315.
Выходные листы Нет объектов	Определяет, будут ли экспортироваться кусочки изображения, не захватывающие обучающие выборки. Не отмечено – экспортируются только кусочки изображений, которые захватывают обучающие выборки. Используется по умолчанию. Отмечено – экспортируются все кусочки, включая те, которые не захватывают обучающие выборки. Сбор фрагментов изображений, не содержащих обучающих выборок, может помочь модели идентифицировать объекты, которые не следует рассматривать как часть результатов, например ложноположительные объекты. Это также может уменьшить эффект переобучения.
Формат метаданных	Задает формат, который будет использован для надписей выходных метаданных. Если ваши входные данные обучающей выборки являются слоем класса объектов, например, слоем зданий или файлом обучающей выборки стандартной классификации, используйте опцию меток KITTI или PASCAL Visual Object Classes (KITTI_rectangles или PASCAL_VOC_rectangles в Python). Выходные метаданные – это файл .txt или .xml, содержащий обучающие выборки данных, которые попадают в минимальный ограничивающий прямоугольник. Имя файла метаданных соответствует имени входного изображения. Если ваши входные данные обучающих выборок – карта классов, используйте опцию Классифицированные листы (Classified_Tiles в Python) в качестве выходного формата метаданных. KITTI Labels – метаданные соответствуют формату Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI) Object Detection Evaluation dataset. Набор данных KITTI представляет собой набор зрительных тестов. Файлы меток – это файлы с простым текстом. Все значения, как числовые так и строковые, разделены пробелами, и каждая строка соответствует одному объекту. PASCAL Visual Object Classes – метаданные соответствуют формату набора данных Pattern Analysis, Statistical Modeling and Computational Learning, Visual Object Classes (PASCAL_VOC). Набор данных PASCAL VOC – стандартизированные данные изображений, предназначенные для распознавания объектных классов. Файлы меток – это файлы .xml, они содержат информацию об имени изображения, значении класса и ограничивающих прямоугольниках. Используется по умолчанию. Классифицированные листы - выходными данными будет один классифицированный кусочек изображения на один входной кусочек изображения. Другие метаданные для кусочков изображений не используются. Только выходные данные статистики содержат больше информации для классов, включая имя класса, значение класса и выходную статистику. RCNN Masks – выходными данными будет кусочек изображения, имеющий маску в областях, где присутствует образец. Модель генерирует ограничивающие рамки и маски сегментации для каждого экземпляра объекта на изображении. Модель основана на Feature Pyramid Network (FPN) и опорной сети ResNet101 в модели глубокого обучения. Отмеченные листы - каждый выходной лист будет отмечен определенным классом. Если вы выберете этот формат метаданных, вы можете выполнить дополнительную тонкую настройку параметров Объект с затемнением вокруг и Режим обрезания. Листы с несколькими метками - каждый выходной лист будет отмечен одним или несколькими классами. Например, лист может быть отмечен как "сельскохозяйственные земли" и "облачно". Этот формат используется для классификации объектов. Экспорт листов - выходными данными будут кусочки изображений без отметки. Этот формат используется для методов преобразования изображений, таких как Pix2Pix и Super Resolution. CycleGAN - выходными данными будут кусочки изображений без отметки. Этот формат используется для метода преобразования изображений CycleGAN, который используется для обучения не перекрывающихся изображений. Imagenet - каждый выходной лист будет отмечен определенным классом. Этот формат используется для классификации объектов; однако его также можно использовать для отслеживания объектов, когда во время обучения используется тип модели Deep Sort. Для формата метаданных KITTI создается 15 столбцов, но только 5 из них будут использованы инструментом. Первый столбец – значение класса. Следующие три столбца пропускаются. Столбцы c 5 по 8 задают минимальный ограничивающий прямоугольник, который состоит из четырех координат местоположений изображения: левый, верхний, правый и нижний пиксел, соответственно. Минимальный ограничивающий прямоугольник определяет обучающий кусочек изображения, который используется классификатором глубокого обучения. Остальные столбцы не используются.
Объект с затемнением вокруг	Определяет, будут ли маскироваться пикселы вокруг каждого объекта или пространственного объекта в каждом листе изображения. Не отмечено — пикселы, окружающие объекты или явления, затемнены не будут. Это значение по умолчанию Отмечено — пикселы, окружающие объекты или явления, будут затемнены. Этот параметр применяется только в случае, когда в качестве Формата метаданных указаны Надписанные листы, а также указан входной класс объектов или классифицированный растр.
Режим кадрирования	Определяет, будут ли экспортированные листы обрезаться так, чтобы они все стали одинакового размера. Фиксированный размер - экспортированные листы будут того же размеры и будут центрированы на объектах. Используется по умолчанию. Ограничивающий прямоугольник - экспортированные листы будут обрезаны таким образом, чтобы ограничивающая геометрия окружала только объект внутри листа. Этот параметр применяется только в случае, когда в качестве Формата метаданных указаны Надписанные листы или Imagenet, а также указан входной класс объектов или классифицированный растр.
Система привязки	Определяет тип системы привязки, которая будет использоваться при интерпретации входного изображения. Указанная система привязки по возможности должна совпадать с привязкой, которая использовалась для тренировки модели глубокого обучения. Пространство карты - входное изображение находится в системе координат карты. Используется по умолчанию. Пиксельное пространство - входное изображение находится в пространстве изображения (строки и столбцы), без поворота и искажения.
Дополнительный входной растр	Дополнительный источник входных изображений для методов преобразования изображений. Этот параметр действителен, если для параметра Формат метаданных установлено значение Классифицированные листы, Экспорт листов или CycleGAN.

Экспортированные обучающие данные теперь можно использовать в модели глубокого обучения.