Ресурсы данных модели глубокого обучения

Доступно с лицензией Image Analyst.

Данные обучения глубокого обучения, созданные в ArcGIS Pro, с помощью инструмента Экспорт данных обучения, обычно содержат следующие папки и файлы.

  • Папка изображений — содержит фрагменты изображений, извлеченные из исходных изображений и экспортированные с помощью инструмента Экспорт обучающих данных.
  • Папка меток — содержит соответствующую метку для каждого фрагмента изображения. Метки указывают на конкретные объекты, присутствующие на фрагменте изображения, например, здания, дороги или деревья.
  • Файл esri_accumulated_stats.json - содержит статистическую информацию об обучающих данных.
  • Файл esri_model_definition.emd — файл определения модели Esri (.emd) содержит информацию об экспортированных обучающих данных.
  • Файл map.txt — содержит список соответствующих фрагментов изображений и их меток, чтобы гарантировать, что модель глубокого обучения может точно связать каждое изображение с его правильной меткой во время обучения.
  • Файл stats.txt - содержит статистическую информацию об обучающих данных. Обычно он включает в себя такие сведения, как изображения, объекты, объекты каждого изображения, классы и статистику по классам.

Структуры папок обучающих данных

Файл накопленной статистики Esri

Файл esri_accumulated_stats.json - содержит статистическую информацию об экспортированных обучающих данных. Эта информация имеет следующие ключевые параметры:

  • Version - номер версии файла.
  • NumBands - общее количество спектральных каналов во входных изображениях.
  • TileSizeX - размер X фрагментов изображений.
  • TileSizeY - размер Y фрагментов изображений.
  • NumClasses - общее количество категорий или классов объектов.
  • NumTiles - общее количество фрагментов изображения.
  • OutputFeatures - указывает, будет ли модель настроена на вывод объектов или пикселей. Если параметр установлен на true, выходными данными будут объекты. Если параметр установлен на false, выходными данными будут пикселы.
  • MetaDataMode - формат метаданных, используемый для меток. Например, для задачи обнаружения объекта тип может быть PASCAL_VOC_rectangles или KITTI_rectangles. Список доступных форматов см. в параметре Формат метаданных инструмента Экспорт обучающих данных для глубокого обучения.
  • MinCellSize — Минимальный размер пикселя входного растра и информация о пространственной привязке.
  • MaxCellSize — Максимальный размер пикселя входного растра и информация о пространственной привязке.
  • Classes - список классов, включая их значение, название и цвет.
  • FeatureStats - статистика объектов.
    • NumImagesTotal - общее количество фрагментов изображения.
    • NumFeaturesTotal - общее количество объектов.
    • NumImagesPerClass - количество изображений на класс.
    • NumFeaturesPerClass - количество объектов на класс.
    • NumFeaturesPerImage - статистическая информация о распределении объектов на изображении, такая как минимум, максимум, среднее значение, сумма и количество.
    • FeatureAreaPerClass - статистическая информация о размере объектов класса, такая как минимум, максимум, среднее значение, сумма и количество.
  • InputRastersProps — Информация о входном растре, такая как количество растров, имя сенсора и названия каналов.
    • RasterCount - количество каналов входного растра.
    • SensorName - имя сенсора входного растра.
    • BandNames - имена каналов входного растра.
  • BandStatsState - статистическая информация о каждом канале входного изображения, такая как минимум, максимум, среднее значение и стандартное отклонение.

Этот файл предназначен в первую очередь для внутреннего использования. Не рекомендовано редактировать этот файл вручную, это может привести к неожиданным результатам.

Файл определения модели Esri

Файл определения модели Esri (.emd) содержит информацию об экспортированных обучающих данных. Эта информация имеет следующие ключевые параметры:

  • ImageHeight - размер высоты фрагментов изображений.
  • ImageWidth - размер ширины фрагментов изображений.
  • MetaDataMode - формат метаданных, используемый для меток. Например, для задачи обнаружения объекта тип может быть PASCAL_VOC_rectangles или KITTI_rectangles. Список доступных форматов см. в параметре Формат метаданных инструмента Экспорт обучающих данных для глубокого обучения.
  • BlackenAroundFeature - определяет, где затемнять пикселы вокруг каждого объекта или элемента в каждом фрагменте изображения. Возможные значения - true илиfalse.
  • IsMultidimensional - указывает, являются ли входные данные многомерными или учитывающими время. Возможные значения - true илиfalse.
  • CropTileMode - определяет, обрезаются ли экспортированные листы так, чтобы они все стали одинакового размера.
    • Fixed size - экспортированные листы одинакового размеры и центрированы на объектах. Используется по умолчанию.
    • Bounding box - экспортированные листы обрезаны таким образом, чтобы ограничивающая геометрия окружала только объект внутри листа.
  • MinCellSize — Минимальный размер пикселя входного растра и информация о пространственной привязке.
  • MaxCellSize — Максимальный размер пикселя входного растра и информация о пространственной привязке.
  • ImageSpaceUsed — Тип системы привязки, используемый для создания обучающих данных. Возможные опции: MAP_SPACE или PIXEL_SPACE.
  • Classes - общее количество различных категорий или классов объектов. Каждый класс содержит следующую информацию:
    • Value — Уникальный числовой идентификатор класса.
    • Name — имя класса.
    • Color — цветовой код, используемый для визуализации класса в выходных данных.
  • InputRastersProps — Информация о входном растре, такая как количество растров, имя сенсора и названия каналов.
    • RasterCount - количество каналов входного растра.
    • SensorName - имя сенсора входного растра.
    • BandNames - имена каналов входного растра.
  • AllTilesStats - статистическая информация о каждом фрагменте изображения, такая как минимум, максимум, среднее значение и стандартное отклонение.

Более старые файлы esri_model_definition.emd могут включать дополнительные необязательные параметры, такие как Framework, ModelConfiguration, ModelType, ModelFile, Description, ExtractBands, DataRange, ModelPadding, BatchSize, PerProcessGPUMemoryFraction или WellKnownBandNames.

Текстовый файл карты

Файл map.txt — содержит список соответствующих фрагментов изображений и их меток, чтобы гарантировать, что модель глубокого обучения может точно связать каждое изображение с его правильной меткой во время обучения.

Пример файла map.txt

Файл статистики

Файл stats.txt - содержит статистическую информацию об обучающих данных. Обычно он включает в себя такие сведения, как изображения, объекты, объекты каждого изображения, классы и статистику по классам:

  • images — Информация о фрагментах изображений, такая как общее количество фрагментов изображения, количество каналов и информация о размерах.
  • features - общее количество объектов на изображении.
  • features per image - статистическая информация о распределении объектов на изображении, минимальные, средние и максимальные значения.
  • classes - общее количество различных категорий или классов объектов.
  • Статистика по классам — информация для каждого класса, такая как имя класса, значение класса, количество изображений, количество объектов, минимальный размер, средний размер и максимальный размер объектов, принадлежащих этому классу.

Пример файла stats.txt

Связанные разделы