Отметить объекты для глубокого обучения

Доступно с лицензией Image Analyst.

Доступно с лицензией Spatial Analyst.

Все задачи контролируемого глубокого обучения зависят от отмеченных наборов данных, а это означает, что люди должны применять свои знания для обучения нейронной сети тому, что она идентифицирует. Отмеченные объекты будут использоваться нейронной сетью для обучения модели, с помощью которой можно сделать выводы о данных.

Аннотация изображения или отмечание, жизненно важны для задач глубокого обучения, таких как компьютерное зрение и обучение. Для обучения хорошей модели глубокого обучения требуется большой объем отмеченных данных. Когда доступны правильные обучающие данные, системы глубокого обучения могут быть очень точными в извлечении пространственных объектов, распознавании закономерностей и решении сложных задач. Панель Отметить объекты для глубокого обучения может быть использована для быстрого и точного отмечания данных.

Кнопка Отметить объекты для глубокого обучения находится в ниспадающем меню Инструменты классификации в группе Классификация изображений на вкладке Изображения. Панель разделена на две части. Верхняя часть панели используется для управления классами, а нижняя часть панели используется для управления набором примеров и для экспорта данных обучения для сред глубокого обучения.

Создать классы и отметить объекты

Верхняя часть панели позволяет управлять классами объектов и вручную создавать объекты, используемые для обучения модели глубокого обучения. Существует множество инструментов, которые помогут вам создавать отмеченные объекты.

Инструмент	Функция
	Создать отмеченный объект, нарисовав прямоугольник вокруг пространственного объекта или объекта на растре.
	Создать отмеченный объект, нарисовав многоугольник вокруг пространственного объекта или объекта на растре.
	Создать отмеченный объект, нарисовав окружность вокруг пространственного объекта или объекта на растре.
	Создать отмеченный объект, нарисовав произвольную форму вокруг пространственного объекта или объекта на растре.
	Создать пространственный объект, выбрав сегмент из сегментированного слоя. Эта опция доступна только, если на панели Содержание есть сегментированный слой. Активируйте Выбор сегмента, выделив сегментированный слой на панели Содержание, а затем выберите слой из ниспадающего списка Выбор сегмента.
	Назначить выбранный класс текущему изображению. Это доступно только в режиме Коллекция Изображений.
	Выбрать и отредактировать отмеченный объект.
	Создать схему классификации.
	Выбрать опцию схемы классификации. Перейти к существующей схеме. Создать новую схему из существующего класса объектов обучающей выборки. Создать новую схему из существующего классифицированного растра. Использовать схему по умолчанию 2011 National Land Cover Database.
	Сохранить изменения в схеме.
	Сохранить новую копию схемы.
	Добавить категорию класса в схему. Выбрать сначала имя схемы для создания нового родительского класса на самом верхнем уровне. Выбрать имя существующего класса для создания подкласса.
	Удалить выбранную категорию класса или подкласса из схемы.

1. Щелкните один из инструментов скетча, например Прямоугольник, Многоугольник, Окружность или Произвольная, чтобы начать сбор примеров объектов.
2. С помощью инструментов скетча очертите объект изображения, представляющий объект на карте.
   1. Если вы создаете объект без указания класса, появится диалоговое окно Задать класс. Дополнительные сведения об этом диалоговом окне см. в разделе Задать класс.
3. Продолжайте создавать и отмечать объекты, как указано в шагах выше.
4. Вы можете использовать вкладку Отмеченные объекты (в нижней части панели), чтобы удалить и упорядочить примеры отмеченных объектов.
5. Когда вы будете удовлетворены всеми вашими отмеченными объектами, сохраните примеры, нажав кнопку Сохранить на вкладке Отмеченные объекты.

Теперь, когда вы вручную отметили репрезентативные образцы объектов, их можно использовать для экспорта обучающих данных.

Задать класс

Диалоговое окно Задать класс позволяет вам создать новый класс или задать существующий класс. Если вы выберете Использовать существующий класс, выберите соответствующий параметр Имя класса для этого объекта. Если вы выберете Добавить новый класс, вы можете дополнительно отредактировать информацию и нажать ОК, чтобы создать новый класс.

Отметить коллекции изображений

Если у вас есть коллекция изображений или вы хотите отметить отдельные изображения в наборе данных мозаики, используйте вкладку Коллекция изображений. Дополнительные сведения о коллекциях изображений см. в разделе Наборы данных мозаики.

Используя слой мозаики, вы можете отметить каждое из изображений. Используя вкладку Коллекция изображений, вы можете получить доступ к списку изображений в ниспадающем списке. Выбранное изображение будет нарисовано на карте. Затем вы можете отметить изображение подходящим классом. Используйте кнопки со стрелками, чтобы выбрать следующее изображение, которое вы хотите просмотреть и отметить.

Когда ваше изображение находится в системе координат изображения (ICS), изображение может иметь необычную ориентацию, особенно при работе с наклонными или перспективными изображениями. Чтобы просмотреть изображение в пиксельном пространстве, включите опцию Отметка в пиксельном пространстве. Это нарисует изображение в ориентации, более подходящей для интуитивной интерпретации изображения.

Отметить все изображение

В случаях, когда вы не хотите рисовать границу вокруг объекта, вы можете использовать кнопку Отметить изображение , чтобы отметить все изображение выбранным классом, независимо от пространственного аспекта объекта.

Отмеченные объекты

Вкладка Отмеченные объекты расположена в нижней части панели и управляет обучающими выборками, которые вы собрали для каждого класса. Соберите репрезентативные участки или обучающие выборки для каждого класса на изображении. У обучающей выборки есть информация о местоположении (многоугольник) и связанный с ней класс. Алгоритм классификации изображений использует обучающие выборки, сохраненные как класс пространственных объектов, для определения классов почвенно-растительного покрова на всем изображении.

Вы можете просматривать обучающие выборки и управлять ими, добавляя, группируя или удаляя их. Когда вы выделяете обучающую выборку, она также выделяется на карте. Дважды щелкните на обучающей выборке в таблице, чтобы приблизиться к ней на карте.

Инструмент	Функция
	Открыть существующий класс объектов обучающих выборок.
	Сохраните изменения, внесенные в текущий класс отмеченных пространственных объектов.
	Сохранить текущие отмеченные объекты как новый класс пространственных объектов.
	Удалить выбранные отмеченные объекты.

Экспорт учебных данных

После того, как примеры собраны, вы можете экспортировать их в обучающие данные, щелкнув вкладку Экспорт обучающих данных. Затем обучающие данные можно использовать в модели глубокого обучения. После заполнения параметров щелкните Запустить, чтобы создать обучающие данные.

Параметр	Описание
Выходная папка	Выберите выходную папку, в которой будут сохранены обучающие данные.
Полигональные объекты маски	Полигональный класс объектов, который обозначает области, где будут создаваться кусочки изображений. Будут создаваться только те кусочки, которые полностью находятся в пределах полигонов.
Формат изображения	Задает формат растра для выходных кусочков изображения. TIFF. Используется по умолчанию. MRF (Формат Мета Растр) PNG. JPEG. Форматы PNG и JPEG поддерживают до трех каналов.
Размер листа по X	Размер кусочков изображений по измерению X.
Размер листа по Y	Размер кусочков изображений по измерению Y.
Шаг по X	Расстояние для смещения по направлению X, при создании следующих кусочков изображения. Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.
Шаг по Y	Расстояние для смещения по направлению Y, при создании следующих кусочков изображения. Когда шаг равен размеру листа, наложения (перекрытия) не будет. Если шаг равен половине размера листа, величина перекрытия будет равна 50.
Угол поворота	Угол поворота, который будет использоваться для генерации дополнительных кусочков изображений. Кусочек изображения генерируется с углом поворота 0, т.е. без поворота. Затем он будет повернут на указанный угол для создания дополнительного кусочка изображения. Такие же обучающие выборки будут захвачены с несколькими углами в нескольких кусочках изображений для приращения данных. Угол поворота по умолчанию равен 0.
Выходные листы Нет объектов	Определяет, будут ли экспортироваться кусочки изображения, не захватывающие обучающие выборки. Не отмечено – экспортируются только кусочки изображений, которые захватывают обучающие выборки. Используется по умолчанию. Отмечено – экспортируются все кусочки, включая те, которые не захватывают обучающие выборки.
Формат метаданных	Задает формат, который будет использован для надписей выходных метаданных. Если ваши входные данные обучающей выборки являются слоем класса объектов, например, слоем зданий или файлом обучающей выборки стандартной классификации, используйте опцию меток KITTI или PASCAL Visual Object Classes (KITTI_rectangles или PASCAL_VOC_rectangles в Python). Выходные метаданные – это файл .txt или .xml, содержащий обучающие выборки данных, которые попадают в минимальный ограничивающий прямоугольник. Имя файла метаданных соответствует имени входного изображения. Если ваши входные данные обучающих выборок – карта классов, используйте опцию Классифицированные листы (Classified_Tiles в Python) в качестве выходного формата метаданных. KITTI Labels – Метаданные соответствуют формату Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI) Object Detection Evaluation dataset. Набор данных KITTI представляет собой набор зрительных тестов. Файлы меток – это файлы с простым текстом. Все значения, как числовые так и строковые, разделены пробелами, и каждая строка соответствует одному объекту. PASCAL Visual Object Classes – Метаданные соответствуют формату набора данных Pattern Analysis, Statistical Modeling and Computational Learning, Visual Object Classes (PASCAL_VOC). Набор данных PASCAL VOC – стандартизированные данные изображений, предназначенные для распознавания объектных классов. Файлы меток – это файлы XML, и они содержат информацию об имени изображения, значении класса и ограничивающих прямоугольниках. Используется по умолчанию. Классифицированные листы - Выходными данными будет один классифицированный кусочек изображения на один входной кусочек изображения. Другие метаданные для кусочков изображений не используются. Только выходные данные статистики содержат больше информации для классов, включая имя класса, значение класса и выходную статистику. RCNN Masks – Выходными данными будет кусочек изображения, имеющий маску в областях, где присутствует образец. Модель генерирует ограничивающие рамки и маски сегментации для каждого экземпляра объекта на изображении. Модель основана на Feature Pyramid Network (FPN) и опорной сети ResNet101 в модели глубокого обучения. Отмеченные листы - Каждый выходной лист будет отмечен определенным классом. Если вы выберете этот формат метаданных, вы можете выполнить дополнительную тонкую настройку параметров Объект с затемнением вокруг и Режим обрезания. Мульти-отмеченные листы - Каждый выходной лист будет отмечен одним или несколькими классами. Например, тайл может быть подписан как "сельскохозяйственные земли" и "облачно". Этот формат используется для классификации объектов. Экспорт листов - Выходными данными будут кусочки изображений без отметки. Этот формат используется для методов преобразования изображений, таких как Pix2Pix и Super Resolution. CycleGAN - Выходными данными будут кусочки изображений без отметки. Этот формат используется для метода преобразования изображений CycleGAN, который используется для обучения не перекрывающихся изображений. Imagenet - Каждый выходной лист будет отмечен определенным классом. Этот формат используется для классификации объектов; однако его также можно использовать для отслеживания объектов, когда во время обучения используется тип модели Deep Sort. Для формата метаданных KITTI создается 15 столбцов, но только 5 из них будут использованы инструментом. Первый столбец – значение класса. Следующие три столбца пропускаются. Столбцы c 5 по 8 задают минимальный ограничивающий прямоугольник, который состоит из четырех координат местоположений изображения: левый, верхний, правый и нижний пиксел, соответственно. Минимальный ограничивающий прямоугольник определяет обучающий кусочек изображения, который используется классификатором глубокого обучения. Остальные столбцы не используются.
Объект с затемнением вокруг	Определяет, будут ли маскироваться пикселы вокруг каждого объекта или пространственного объекта в каждом листе изображения. Не отмечено — пикселы, окружающие объекты или явления, затемнены не будут. Это значение по умолчанию Отмечено — пикселы, окружающие объекты или явления, будут затемнены. Этот параметр применяется только в случае, когда в качестве Формата метаданных указаны Надписанные листы, а также указан входной класс объектов или классифицированный растр.
Режим кадрирования	Определяет, будут ли экспортированные листы обрезаться так, чтобы они все стали одинакового размера. Фиксированный размер - Экспортированные листы будут того же размеры и будут центрированы на объектах. Используется по умолчанию. Ограничивающий прямоугольник - Экспортированные листы будут обрезаны таким образом, чтобы ограничивающая геометрия окружала только объект внутри листа. Этот параметр применяется только в случае, когда в качестве Формата метаданных указаны Надписанные листы или Imagenet, а также указан входной класс объектов или классифицированный растр.
Система привязки	Определяет тип системы привязки, которая будет использоваться при интерпретации входного изображения. Указанная система привязки по возможности должна совпадать с привязкой, которая использовалась для тренировки модели глубокого обучения. Пространство карты - Входное изображение находится в системе координат карты. Используется по умолчанию. Пиксельное пространство - Входное изображение находится в пространстве изображения (строки и столбцы), без поворота и искажения.
Дополнительный входной растр	Дополнительный источник входных изображений для методов преобразования изображений. Этот параметр действителен, если для параметра Формат метаданных установлено значение Классифицированные листы, Экспорт листов или CycleGAN.

Экспортированные обучающие данные теперь можно использовать в модели глубокого обучения.