Отслеживание объектов в motion imagery

Доступно с лицензией Image Analyst.

Одной из возможностей движущихся изображений является отслеживание определенных объектов в видеоданных во время их воспроизведения. Эти объекты могут быть неподвижными или движущимися, могут заслоняться и вновь появляться или изменять форму (например, человек, садящийся в транспортное средство). Функция отслеживания объектов в full-motion видео (FMV) предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на глубокое обучение и технологию компьютерного зрения, чтобы помочь в отслеживании объектов, извлечении объектов и сопоставлении. Вы можете создать модель отслеживания объектов глубокого обучения и использовать набор инструментов для выбора и отслеживания интересующего объекта. Центроиды, соответствующие прямоугольникам идентификации объекта, могут быть оцифрованы и сохранены как класс точек в базе геоданных проекта. Сохраненные точки затем могут отображаться при воспроизведении архивного видео.

Требования

Возможность отслеживания объектов в FMV доступна в ArcGIS Pro с дополнительным модулем ArcGIS Image Analyst.

Примечание:

Убедитесь, что драйверы вашей видеокарты актуальны.

Модель глубокого обучения

Для отслеживания объектов на видео требуется одна или несколько обученных моделей глубокого обучения. Эффективность отслеживания зависит от качества обучающих данных глубокого обучения и от того, насколько тесно интересующий объект связан с обучающими данными. Например, чтобы отследить грузовик, движущийся по шоссе, у вас должны быть отмеченные обучающие выборки грузовиков со многих ракурсов. Источником обучающих выборок (изображений с аннотациями) должны быть движущиеся изображения. Отмеченные обучающие выборки используются для обучения модели глубокого обучения отслеживанию объектов, например, в данном случае грузовиков. Модель будет иметь ограниченную способность отслеживать объекты с различным внешним видом, такие как автомобили, но может иметь успех в отслеживании более крупных транспортных средств для отдыха или автобусов.

Вы должны установить пакеты среды глубокого обучения, чтобы выполнять рабочие процессы глубокого обучения в ArcGIS Pro. Используйте различные инструменты для подготовки обучающих данных видео и неподвижных изображений, отмечания объектов, создания моделей глубокого обучения, логического вывода и просмотра результатов. Для получения информации об установке этих пакетов см. раздел Установка среды глубокого обучения для ArcGIS.

Глубокое обучение требует больших вычислительных ресурсов, поэтому рекомендуется использовать мощную видеокарту (GPU) с поддержкой вычислительных возможностей CUDA версии 6.0 или более поздней.

Подробнее о глубоком обучении и рабочих процессах глубокого обучения см. Введение в глубокое обучение и Глубокое обучение в ArcGIS Pro. Для получения дополнительной информации о наборе инструментов глубокого обучения в ArcGIS см. Обзор набора инструментов глубокого обучения.

Вкладка Отслеживание объектов

Контекстная вкладка Отслеживание объектов включается, когда вы выбираете видео на панели Содержание.

Примечание:

Вкладка Отслеживание объектов доступна после установки и включения пакетов глубокого обучения в ArcGIS Pro.

В приведенных ниже разделах описываются инструменты в различных группах на вкладке Отслеживание объектов.

Группа Отслеженные объекты

Следующие инструменты в группе Отслеженные объекты позволяют идентифицировать и управлять отслеживанием объектов в видеоданных:

• Включить отслеживание - активирует отслеживание объектов, используя указанную конфигурацию трекера объектов.
• Добавить объект - добавить объект, чтобы выполнить отслеживание объекта, щелкнув или нарисовав прямоугольник вокруг объекта. Дважды щелкните, чтобы включить режим сохранения.
• Переместить объект - щелкните существующий трек объекта в Менеджере отслеживаемых объектов и затем Переместить объект. Прямоугольник вокруг объекта станет синим, и вы сможете перерисовать прямоугольник вокруг обновленного положения объекта. Дважды щелкните, чтобы включить режим сохранения.
• Удалить объект - удаление отслеживаемых объектов из видеоплеера по щелчку на треке в Менеджере отслеживаемых объектов и выборе опции Удалить объекты. Это оставит трек в таблице, но удалит прямоугольник отслеживания в окне видео. Дважды щелкните, чтобы включить режим сохранения.
• Удалить объекты - удалите отслеживаемые объекты из видеоплеера и Менеджера отслеживаемых объектов, щелкнув объекты или нарисовав рамку вокруг них. Дважды щелкните, чтобы включить режим сохранения. Отслеживаемые объекты также можно удалить с помощью опции Удалить объекты на панели Менеджер отслеживаемых объектов.

Группа Сохранить

Используйте инструмент Объекты в пространственные объекты в группе Сохранить, чтобы сохранить центроиды отслеживаемых объектов в базе геоданных.

Группа Управление

Следующие инструменты в группе Управление помогают в управлении системой отслеживания объектов:

• Настроить трекер - настройте трекер объектов и примените обновления к моделям трекера объектов по умолчанию.
• Отслеженные объекты - отображение панели Менеджер отслеженных объектов.

Панель Настройка трекера объектов

Щелкните кнопку Настроить трекер, чтобы открыть панель Настройка трекера объектов. На панели находятся настройки Модель отслеживания объектов и Модель автоматического выявления.

Настройки

Используйте параметр Модель отслеживания объектов, чтобы выбрать модель глубокого обучения и задать дополнительные параметры для отслеживания объектов.

Щелкните кнопку обзора , чтобы открыть диалоговое окно Добавить модель глубокого обучения из пути. Укажите путь к файлу пакета модели глубокого обучения (.dlpk), указав URL-адрес или перейдя к файлу в локальном каталоге. Вы можете назначить псевдоним для имени модели в текстовом окне Модель. Нажмите кнопку Добавить, чтобы загрузить модель и закрыть диалоговое окно. Название модели отображается в раскрывающемся списке Модель и выбирается из него.

Настройки содержат опции для управления отслеживанием объектов, включая Минимальный размер объекта (пиксели), Выявить потерянные треки, Восстановить потерянные треки и Модель автоматического обнаружения.

• Выявить потерянные треки - определите, успешно ли отслеживается объект на основе изменений внешнего вида, таких как изменение угла обзора, затемнение или перемещение за пределы кадра. Эта опция по умолчанию включена.
  • Интервал (кадры) - задайте интервал, измеренный количеством кадров, в котором приложение проверяет наличие изменений внешнего вида объекта. Значение по умолчанию равно 5.
• Восстановить потерянные треки - указывает, предпринимается ли попытка найти объект после потери трека. Эта опция по умолчанию включена.
  • Порог достоверности (0-1) - минимальное соотношение между сопоставленными характеристиками исходного изображения и характеристиками искомого объекта для успешного восстановления. Порог достоверности - это число от 0 до 1. Значение по умолчанию равно 0.1.
  • Порог перекрытия (0-1) - задайте минимальное соотношение перекрытия между обнаруженным объектом и искомым объектом для успешного восстановления. Пороговое значение - это число от 0 до 1. Значение по умолчанию равно 0.1.
  • Максимальный интервал поиска - задайте максимальный интервал поиска, в единицах видеокадров, при потере объекта. Значение по умолчанию – 60.
  • Размер очереди состояния — количество кадров, для которых сохраняется статус объекта, когда объект теряется до истечения интервала поиска.
• Модель автоматического обнаружения - указывает, будет ли обнаружение и идентификация целевых объектов выполняться автоматически с использованием модели детектора, основанной на глубоком обучении. По умолчанию не отмечен. Укажите путь к файлу пакета модели глубокого обучения, выбрав файл в локальном каталоге с помощью кнопки обзора и выбрав файл .dlpk или указав URL-адрес.
  • Интервал (кадры) - задайте интервал, измеренный количеством кадров, в котором проверяется наличие изменений внешнего вида объекта. Значение по умолчанию - 5 кадров.
  • Порог достоверности (0-1) - минимальное соотношение между сопоставленными характеристиками исходного изображения и характеристиками искомого объекта для успешного восстановления. Порог достоверности - это число от 0 до 1. Значение по умолчанию равно 0.1.

Панель Менеджер отслеживаемых объектов

Вкладка Отслеживаемые объекты - это место, где вы можете просматривать отслеживаемые объекты и управлять ими. В таблице перечислены значения Статус, ID и Источник, описанные ниже, каждого отслеженного объекта.

• Статус — статус каждого отслеживаемого объекта: активно отслеживается, потерян или находится в поиске.
• ID — Уникальный идентификатор для каждого отслеживаемого объекта.
• Источник — исходный видеофайл, в котором идентифицирован объект.

Панель Менеджер отслеживаемых объектов взаимодействует с лентой Отслеженные объекты, когда активировано Включить отслеживание.

• Включить отслеживание - активирует отслеживание объектов, используя указанную конфигурацию трекера объектов.
• Добавить объект - добавить объект, чтобы выполнить отслеживание объекта, щелкнув или нарисовав прямоугольник вокруг объекта. Дважды щелкните, чтобы включить режим сохранения.
• Переместить объект - переместите объект, щелкнув его прямоугольник отслеживания, чтобы выбрать его, и перерисуйте прямоугольник вокруг обновленного положения объекта. Дважды щелкните, чтобы включить режим сохранения.
• Удалить объект - удаление отслеживаемых объектов из видеоплеера, с помощью выбора или рисования рамки вокруг объектов. Дважды щелкните, чтобы включить режим сохранения.
• Удалить объекты - удалите отслеживаемые объекты из видеоплеера и Менеджера отслеживаемых объектов, щелкнув объекты или нарисовав рамку вокруг них. Дважды щелкните, чтобы включить режим сохранения.

Отслеживание объектов

Для отслеживания объектов выполните следующие шаги:

1. На панели Отобразить отслеживание объектов загрузите модель глубокого обучения и задайте параметры отслеживания на панели Настроить трекер.
2. Щелкните Включить отслеживание, чтобы активировать инструменты отслеживания объектов.
3. Нажмите Добавить объект, чтобы нарисовать прямоугольник вокруг объекта, или щелкнуть объект, который вы хотите отслеживать в видеоплеере.

   Этот шаг не требуется при использовании режима Автоматического детектора.

   Объект будет отслеживаться в каждом видеокадре.

4. На панели Менеджер отслеживаемых объектов просмотрите статус отслеживаемых объектов.
5. Если объект становится затемненным и отслеживание теряется, щелкните Переместить объект и перерисуйте прямоугольник вокруг обновленного положения объекта, чтобы возобновить отслеживание.

   Этот шаг не требуется при использовании режима Автоматического детектора.

6. При необходимости нажмите Добавить, чтобы добавить объект для отслеживания.

   Этот шаг не требуется при использовании режима Автоматического детектора.

7. При необходимости нажмите Удалить, чтобы удалить объект из активного отслеживания.

   Этот шаг не требуется при использовании режима Автоматического детектора.

8. На вкладке Отслеживание в группе Сохранить щелкните Объекты в пространственный объект и задайте выходное местоположение и префикс имени, которые будут использоваться для сохранения центроидов объектов в классе пространственных объектов.

   При необходимости, укажите, будет ли класс объектов добавлен на карту, а также интервал частоты в секундах, с которым будут сохраняться центроиды.