Введение в дополнительный модуль ArcGIS Pro Image Analyst

Доступно с лицензией Image Analyst.

Дополнительный модуль ArcGIS Image Analyst предоставляет функции, инструменты и функции для аналитиков изображений и геопространственных данных, которые фокусируются на следующих областях:

• Интерпретация и описание изображений
• Создание информационных продуктов из изображений
• Расширенная интерпретация объектов и измерения по изображениям
• Подробная компиляция объектов и измерения с помощью стереоизображений
• Использование расширенных рабочих процессов анализа растров и изображений для машинного обучения и извлечения объектов

Аналитики извлекают данные и информацию из изображений с помощью ручных и компьютерных методов. Дополнительный модуль Image Analyst предоставляет расширенные возможности для поддержки обоих методов обработки изображений.

Приложения для интерпретации изображений вручную включают Stereo Mapping, Image Space Analysis и Full Motion Video (FMV). Эти приложения поддерживают сбор данных 2D и 3D объектов с использованием стандартных инструментов создания и редактирования объектов, сохранение данных классов объектов в базе геоданных или в виде файлов, а также совместное использование их в ArcGIS Enterprise.

Компьютерная обработка изображений включает в себя расширенную классификацию и набор растровых функций и инструментов геообработки. Функции и инструменты могут быть объединены в пользовательские алгоритмы с использованием растровых функций, шаблонов и моделей соответственно. Эти цепочки обработки могут быть развернуты на настольных компьютерах или в распределенных средах обработки в ArcGIS Enterprise, как локально, так и через портал.

Набор функций, инструментов и возможностей для расширенного анализа изображений требует дополнительного модуля Image Analyst.

Функциональные возможности

Возможности, функции и инструменты, предоставляемые в дополнительном модуле Image Analyst, ориентированы на аналитиков изображений, которые выполняют ручную интерпретацию изображений, расширенное дистанционное зондирование и полуавтоматическое извлечение объектов при обработке изображений. Эти действия по обработке изображений сгруппированы по следующим функциональным категориям:

• Перспективное изображение – работайте с перспективными снимками, ориентированными в режиме естественной перспективы, что способствует эффективному использованию приложений интерпретации изображений.
• Классификация изображений и распознавание образов - набор инструментов геообработки ArcGIS, содержащий инструменты, которые находят, идентифицируют и количественно определяют закономерности в данных изображений. Выполняйте объектно-ориентированный и традиционный анализ изображений, используя инструменты и возможности сегментации изображений, классификации и регрессионного анализа.
• Глубокое обучение - выполнение распознавания объектов изображения с использованием методов глубокого обучения.
• Обнаружение изменений - сравнение нескольких изображений или растров, чтобы определить тип, величину или направление изменений между датами.
• Многомерный анализ - выполнение комплексного анализа многомерных растровых данных для изучения научных трендов и аномалий.
• Редактор пикселов - редактируйте отдельные пикселы и объекты, группы пикселов и объектов, а также области в растровых данных и изображениях.
• Стереокартография - визуализируйте изображения и захватывайте данные 3D-объектов в стереовизуальной среде.
• Движущиеся изображения - работайте с геопространственными видеоданными вместе с данными ГИС для обеспечения своевременной, обоснованной системе принятия решений.
• Радар с синтезированной апертурой - генерируйте готовые к анализу данные радара с синтезированной апертурой Sentinel-1 Ground Range Detected (GRD) (SAR) и визуализируйте их с помощью составляющих псевдоцветов.
• Растровые функции - выполняйте растровый анализ в реальном времени и обработку изображений на обширном наборе типов данных дистанционного зондирования и сохраняйте результаты, если необходимо. Создавайте цепочки растровых функций и развертывайте их на рабочем столе или в распределенных средах обработки и хранения данных локально или в облаке.
• Инструменты геообработки - выполняйте анализ дистанционного зондирования и обработку изображений с помощью отдельных инструментов, а также создавайте и развертывайте их в моделях обработки локально на рабочем столе или в распределенных средах обработки и хранения данных локально или в облаке.

Эти возможности, функции и инструменты подробно описаны ниже.

Анализ перспективных изображений

Снимки часто получаются под значительными углами, они называются перспективными снимками. Это полезно для получения информации о таких объектах, как здания, мосты, башни и инженерная инфраструктура, которую невозможно получить с помощью вертикальных изображений. Спутниковые изображения, а также аэро снимки и снимки беспилотников, часто получаются под углами больше 15 градусов от надира. Отображение наклонных изображений в системе картографической проекции приводит к тому, что здания и другие наземные объекты кажутся наклоненными под различными дезориентирующими углами, что затрудняет интерпретацию таких изображений. Изображение также может быть сильно искажено при его исправлении в соответствии с проекцией карты.

ArcGIS Pro позволяет просматривать наклонные изображения и работать с ними в режиме перспективы. Он показывает здания и объекты ориентированными вертикально, в направлении к верху дисплея, что лучше подходит для приложений интерпретации изображений. В режиме перспективы изображения отображаются в пространстве изображений (в столбцах и строках), а не в пространстве карты (в системе картографической проекции), при помощи системы координат изображения (ICS). ICS способствует беспрепятственному преобразованию между пространством изображений и пространством карты и позволяет точно регистрировать на снимке дополнительные изображения и ГИС-слои. ICS использует метаданные, содержащие информацию об ориентировании и позиционировании, а также другую необходимую информацию о том, как и где было получено изображение, чтобы обеспечить преобразование между пространством изображений и пространством карты. Включение отображения изображений в пространстве изображений в режиме просмотра карты называется режимом перспективы.

Наклонные изображения отображаются в системе картографической проекции и в режиме перспективы.

Перспективный снимок содержит информацию, не доступную на вертикальном снимке, например, о фасадах зданий, точках входа и выхода, профилях объектов и др. Наклонные изображения, показанные в режиме перспективы используются для приложений интерпретации изображений вручную и для сбора и записи информации об объектах. Важной функциональностью перспективных снимков является возможность создания и редактирования объектов в пространстве изображений и сохранения их в выбранной картографической проекции. Кроме того, объекты могут быть интерактивно измерены в перспективном режиме, а результаты отображаются и записываются в выбранных вами единицах измерения.

Классификация изображений и распознавание образов

Классификация изображений является одним из наиболее эффективных способов преобразования непрерывных изображений в категорийные данные и информацию для инвентаризации активов и земельных единиц и управления ими. Это компьютерный подход к обработке изображений, при котором аналитик изображений инициирует шаги и методы для классификации, а компьютер выполняет вспомогательные вычисления. Аналитик вмешивается в критические моменты для принятия решений, которые определяют тип и характеристики результатов классификации.

Поддерживаются два основных типа подходов к классификации: объектно-ориентированная классификация и классификация на основе пикселов. Объектно-ориентированная классификация основана на сегментации изображения, при которой соседние пикселы со схожими мультиспектральными или пространственными характеристиками группируются в объекты. Эти объекты, иногда называемые суперпикселами, представляют частичные или полные объекты и обрабатываются с использованием различных классификаторов для создания карты классов. Классификация на основе пикселов следует аналогичному процессу, в котором пикселы классифицируются по категориям, определенным аналитиком.

Поддерживаемые классификаторы включают как традиционные, так и расширенные подходы к машинному обучению. Традиционные классификаторы основаны на статистических методах, таких как неконтролируемый изокластер и контролируемая классификация с максимальным подобием. Продвинутые классификаторы основаны на сложных методах машинного обучения, включая случайное ветвление, машину опорных векторов и глубокое обучение.

Как только изображения первоначально классифицированы, оценивается точность и уточняется карта классов для итеративной корректировки категорий классов или регионов внутри карты классов. Оценка точности может быть выполнена как на входных данных обучения, так и на результирующих выходных данных карты классов.

Процесс классификации обычно требует выполнения нескольких обязательных шагов для тщательной предварительной обработки изображения, назначения классов категорий и создания корректных обучающих данных, выполнения классификации, оценки и повышения точности результатов. Мастер классификации проводит специалиста через этапы рабочего процесса классификации и помогает получить результаты надлежащего качества.

Карта классов с соответствующей символикой может быть сохранена или преобразована в векторный файл ГИС с соответствующей таблицей атрибутов.

Инструменты непараметрического регрессионного анализа машинного обучения моделируют взаимосвязь между независимыми полосами изображений и растровыми данными и базовой информацией (истинной точностью). Регрессионный анализ выявляет закономерности в изображениях, связанные с классами объектов, а также прогнозирует появление различных классов в изображениях.

Глубокое обучение

Инструменты глубокого обучения обнаруживают объекты в изображениях, используя несколько слоев в нейронных сетях, где каждый слой способен извлекать один или несколько уникальных объектов изображения. Эти инструменты используют преимущества обработки с помощью GPU, которая позволяет быстро выполнять анализ.

Рабочий процесс глубокого обучения заключается в том, что сначала выбираются обучающие выборки для интересующих вас классов с помощью Менеджера обучающих выборок в ArcGIS Pro. Обучающие выборки помечаются и используются в среде глубокого обучения, такой как TensorFlow, CNTK или PyTorch, для разработки модели глубокого обучения. Затем модель вводится в инструменты классификации или обнаружения из набора инструментов Глубокое обучение для извлечения информации из изображений.

Выявление изменений

Выявление изменений является одним из фундаментальных требований при работе с изображениями и дистанционным зондированием. Это сравнение нескольких наборов растровых данных, обычно собранных в одной области, но в разное время, для выявления типа, магнитуды и местоположения изменений. Изменения могут произойти из-за антропогенной деятельности, неожиданных природных катаклизмов, или долгосрочных воздействий, обусловленных климатом или экологией.

Вы можете выполнять обнаружение изменений в ArcGIS Pro между несколькими категорийными наборами растровых данных, такими как растительный покров, или несколькими непрерывными наборами данных, такими как температура или многоканальные изображения. Вы можете использовать многоканальные изображения для вычисления разницы в спектральном отражении объектов между двумя датами, или вы можете вычислить индекс канала перед сравнением результатов.

Мастер обнаружения изменений предоставляет управляемый интерфейс для трех различных рабочих процессов обнаружения изменений. Набор инструментов Обнаружение изменений содержит инструмент, который поддерживает определение изменений категорийных данных и значений пикселей. Группа инструментов Многомерный анализ содержит дополнительные инструменты для обнаружения изменений во временном ряду изображений.

Многомерный анализ

Инструменты и возможности Многомерного анализа позволяют выполнять и визуализировать комплексный анализ многомерных растровых данных для изучения научно значимых трендов и аномалий. Многомерные данные представляют собой данные, полученные в разные моменты времени и/или на различной глубине или высоте. Эти типы данных часто используются в науках, связанных с изучением атмосферных явлений и Земли, а также в океанографии. Многомерные растровые данные можно получить с помощью спутниковых наблюдений, когда данные собираются через определенные промежутки времени, или сгенерировать с помощью числовых моделей, когда данные агрегируются, интерполируются или выполняется симуляция из других источников данных.

Добавление многомерного растрового слоя в вид карты позволяет отображать или изучать переменные в одном файле. Вкладка Многомерность активируется и предоставляет возможности для управления, визуализации и обработки многомерных растровых данных и публикации результатов в виде веб-сервиса.

Редактор пикселов

Редактор пикселов предоставляет набор инструментов для интерактивной работы со значениями пикселов для данных растров и изображений. Он позволяет редактировать отдельные пикселы и объекты, группы пикселов и объектов, а также области в растровых данных и изображениях. Типы операций, которые можно выполнять, зависят от типа источника данных набора растровых данных.

Редактор пикселов обеспечивает выполнение следующих задач редактирования наборов растровых данных:

• Редактировать мультиспектральные и одноканальные снимки.
• Редактировать данные высот для заполнения пустот и удаления выступов и пробелов.
• Переклассифицировать пикселы, регионы или объекты.
• Переклассифицировать пикселы, используя векторные данные.
• Использовать предустановленные фильтры для сглаживания областей.
• Удалять объекты над поверхностью земли, чтобы создать поверхность высот собственно земли.
• Заменять регионы облачности другими регионами пикселов.
• Затемнять или редактировать некоторые пикселы.

Стереокартография

С помощью функции стереокартографии вы можете собирать данные 3D-объектов в системе стереопросмотра и картографирования. Эта функция позволяет визуально анализировать изображения и точно отбирать объекты интереса.

Функция стерео-картографирования в Image Analystвключает вьюер стереокарт, который отображает и управляет стереопарами изображений, полученных со спутниковых снимков, аэрофотоснимков и с БПЛА. Стерео отображение поддерживает мультиспектральные, трехканальные и панхроматические снимки, непосредственное улучшение снимков, стерео позиционирование ГИС-данных 3D на стереоизображении, масштабирование и перемещение, а также другие настройки изображений.

Фотограмметрически точный 3D-курсор измеряет и собирает объекты земной поверхности непосредственно в классы объектов. Поддерживаются два типа 3D-очков: легкие активные затворные и красно-синие анаглифные.

Стерео картография, настроенная для сбора данных об объектах.

Вкладка Стереокарта, содержит инструменты для настройки, улучшения и управления стереомоделями, а также для позиционирования векторных ГИС-данных на стерео изображении, инструменты измерения объектов на земной поверхности и Менеджер стереомодели. Для компилирования 3D-объектов в классы объектов можно применять обычные инструменты создания и редактирования объектов. Вновь созданные или обновленные объекты соответствуют существующим шаблонам объектов и сохраняют топологию, стили, атрибуты и другие элементы объектов при сохранении.

Full Motion Video

Полномасштабное видео (FMV) поддерживает функции просмотра и выполнения геопространственного анализа видеоданных, совместимых с FMV. FMV-совместимые видеоданные объединяют видеопоток и связанные с ним метаданные в один видеофайл, что делает видео геопространственным. Эти геопространственные видеоданные, наряду с вычислительными возможностями ArcGIS Pro, позволяют просматривать видео и манипулировать им, полностью используя динамику датчика и поле зрения (FOV), и отображать эту информацию в виде карты. Это также позволяет анализировать, создавать и редактировать данные объектов либо в режиме просмотра видео, либо в режиме просмотра карты. Эти возможности доступны с видеоданными в режиме прямой трансляции или с архивированными видеоданными.

Если видеоданные не содержат необходимых метаданных, инструмент Видео-Мультиплексор объединяет видеофайлы и метаданных в один файл, совместимый с FMV. Кроме того, если существует смещение между видео и метаданными, так что видеозапись, отображаемая на земле, не соответствует изображениям, отображаемым в проигрывателе, вы можете внести коррективы для их синхронизации.

Функция FMV важна для приложений информирования о ситуации, таких как оценка стихийных бедствий и реагирование на них. FMV использует глубокое обучение для отслеживания объектов в видеоплеере. Вы можете загружать слои ГИС на карту и одновременно воспроизводить видеопотоки с нескольких дронов в нескольких проигрывателях FMV, а также просматривать видеозаписи, отображаемые на карте. Оценивайте и собирайте признаки повреждений или стихийных бедствий, отображаемых на видео, и смотрите, как эти признаки отображаются на карте вместе с другими данными и информацией из ГИС. Интегрируя геопространственные аспекты видео, совместимого с FMV, с функциональностью ГИС, FMV обеспечивает поддержку принятия хорошо обоснованных решений в операционных сценариях.

Радар с синтезированной апертурой

Группа инструментов Радар с синтезированной апертурой позволяет создавать готовые к анализу изображения на основе данных Sentinel-1 Interferometric Wide (IW) swath, Extra Wide (EW) swath и Stripmap (SM) GRD. Возможности обработки включают загрузку и обновление векторов состояния орбиты, коррекцию теплового шума, калибровку, радиометрическую и геометрическую коррекцию рельефа, удаление пятен и преобразование децибел. Инструменты предлагают множество параметров, обеспечивающих гибкость при адаптации обработки к потребностям вашего приложения. Создавайте псевдоцветовые компоненты для визуализации данных SAR и выделяйте объекты с помощью характеристик рассеяния.

Шаги для обработки включают загрузку и обновление векторов состояния орбиты, коррекцию теплового шума, калибровку, радиометрическую и геометрическую коррекцию рельефа, удаление пятен и преобразование децибел.

Готовые к анализу VV поляризованные данные SAR в децибелах, VH поляризованные данные SAR в децибелах и псевдоцветовые компоненты (R: VV, G: VH, B: VV-VH), демонстрирующие наводнения во время урагана Мэтью.

Функции растра

Специалисты по анализу изображений и дистанционному зондированию часто разрабатывают и внедряют свои собственные цепочки обработки изображений и алгоритмы, адаптированные для конкретных приложений и наборов данных. Хотя рабочие процессы, как правило, могут быть четко определены, аналитикам часто приходится корректировать и уточнять настройки параметров в зависимости от физических, атмосферных, экологических характеристик и характеристик данных. Растровые функции обеспечивают гибкий и мощный способ разработки и совершенствования рабочих процессов обработки изображений.

Растровые функции - это динамические операции, которые применяются "на лету" непосредственно к пикселям отображаемого изображения. Вы сразу же видите результаты обработки изображений при перемещении и масштабировании изображения на экране. Поскольку промежуточные наборы данных не создаются, обработка и настройка параметров могут быть применены быстро. По умолчанию результаты не сохраняются в файл на диске.

Растровые функции можно комбинировать в последовательности, которые можно сохранять как шаблоны растровых функций с помощью Редактора функций. Шаблоны растровых функций также могут использоваться совместно в качестве шаблонов обработки в вашей организации ArcGIS Online или в развертывании ArcGIS Enterprise.

Вместе с дополнительным модулем Image Analyst предоставляется большое количество растровых функций. Эти функции, сгруппированные по категориям в соответствии с функциональными возможностями, показаны в следующей таблице. Каждая функция связана в таблице с подробным описанием.

Категория функций Image Analyst

Категория функций	Описание
Анализ	Используйте функции анализа для изучения многомерных наборов данных и наборов данных изображений.
Классификация	Используйте функции сегментации и классификации для подготовки сегментированных растров или основанных на пикселах наборов растровых данных для использования в создании классифицированных наборов растровых данных.
Математические	Общие математические функции применяют математические функции к входным растрам. Эти инструменты попадают в несколько категорий. Арифметические инструменты выполняют базовые арифметические операции, например, сложение или умножение. Существуют инструменты, которые выполняют различные типы операций возведения в степень, которые включают экспоненты и логарифмы, в дополнение к основным операциям степени. Остальные инструменты используются либо для конвертации знаков, либо для конвертации между целочисленными типами данных и типами данных с плавающей запятой.
Математические: Условия	Функции математических условий позволяют управлять выходными значениями на основе условий, заданных для входных значений. Существует два типа условий, которые могут применяться: запросы к атрибутам или условие, основанное на позиции условного утверждения в списке.
Математические: Логические	Функции Логические математические оценивают значения входных данных и определяют выходные значения на основании Булевой логики. Эти функции обрабатывают наборы растровых данных в пяти основных областях: побитовое, булево, комбинаторное, логическое и реляционное.
Математические: Тригонометрические	Тригонометрические математические функции выполняют различные тригонометрические вычисления над значениями во входном растре.
Статистические	Используйте статистические функции для выполнения статистических операций с растрами на локальной, окрестностной или зональной основе.

Инструменты геообработки

Как отмечалось выше, аналитики изображений и специалисты по дистанционному зондированию часто разрабатывают и внедряют свои собственные рабочие процессы обработки для конкретных приложений. Эти специалисты могут комбинировать инструменты геообработки в модели геообработки, аналогичные шаблонам растровых функций (RFT). Основное различие между моделями геообработки и RFT заключается в том, что результаты модели геообработки всегда сохраняются на диске. Модели также могут быть доступны пользователям вашего предприятия и развернуты в распределенных средах обработки данных, локально или в облаке, с помощью ArcGIS Enterprise.

Вместе с дополнительным модулем Image Analyst предоставляется большое количество инструментов геообработки. Эти инструменты, сгруппированные по категориям в соответствии с функциональными возможностями, показаны в следующей таблице. Каждый инструмент связан в таблице с подробным описанием.

Группы инструментов геообработки Image Analyst

Группа инструментов	Описание
Выявление изменений	Группа инструментов Выявление изменений содержит инструмент для определения изменений между наборами растровых данных.
Глубокое обучение	Обнаружение объектов или классификация изображений с помощью инструментов глубокого обучения.
Извлечение	Набор инструментов Извлечение позволяет извлечь поднабор пикселей из растра по их атрибутам или по пространственному положению.
Алгебры карт	Алгебра карт – это способ выполнения пространственного анализа путем создания выражений на алгебраическом языке. С помощью инструмента Калькулятор растра вы можете создавать и запускать выражения Алгебры карт, которые выдают набор растровых данных.
Математические (общие)	Общие математические инструменты применяют математические функции к входным данным. Эти инструменты попадают в несколько категорий. Арифметические инструменты выполняют базовые арифметические операции, например, сложение или умножение. Существуют инструменты, которые выполняют различные типы операций возведения в степень, которые включают экспоненты и логарифмы, в дополнение к основным операциям степени. Остальные инструменты используются либо для конвертации знаков, либо для конвертации между целочисленными типами данных и типами данных с плавающей запятой.
Математические: Условия	Инструменты математических условий позволяют контролировать выходные значения на основании условий, применяемых ко входным значениям. Существует два типа условий, которые могут применяться: запросы к атрибутам или условие, основанное на позиции условного утверждения в списке.
Математические (Логические)	Логические математические инструменты оценивают значения входных данных и определяют выходные значения на основе Булевой логики. Инструменты сгруппированы в пять основных категорий: Битовые, Булевы, Комбинаторные, Логические и Относительные.
Математические (Тригонометрические)	Тригонометрические математические инструменты выполняют различные тригонометрические вычисления над значениями во входном растре.
Motion Imagery	Группа инструментов Движущиеся изображения содержит инструменты для управления, обработки и анализа движущихся изображений, в том числе полноформатного видео.
Многомерный анализ	Выполнение анализа научных данных по нескольким переменным и измерениям.
Наложение	Инструменты наложения позволяют наложить несколько растров и выполнять с ними различные операции.
Радар с синтезированной апертурой	Набор инструментов Радар с синтезированной апертурой содержит инструменты, которые корректируют, обрабатывают и позволяют анализировать данные SAR.
Сегментация и классификация	Выполнение классификации изображений с традиционным или расширенным машинным обучением на основе сегментированных или пиксельных изображений.
Статистические	Используйте статистические инструменты для выполнения статистических операций с растрами на локальной, окрестностной или зональной основе.