Отслеживание объектов в движущихся изображениях

Доступно с лицензией Image Analyst.

Одной из возможностей движущихся изображений является отслеживание определенных объектов в видеоданных во время их воспроизведения. Эти объекты могут быть неподвижными или движущимися, могут затемняться и вновь появляться или изменять форму (например, человек, садящийся в транспортное средство). Функция отслеживания объектов в полноэкранном видео (FMV) предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на глубокое обучение и технологию компьютерного зрения, чтобы помочь в отслеживании объектов, извлечении объектов и сопоставлении. Вы можете создать модель отслеживания объектов глубокого обучения и использовать набор инструментов для выбора и отслеживания интересующего объекта. Центроиды, соответствующие прямоугольникам идентификации объекта, могут быть оцифрованы и сохранены как класс точек в базе геоданных проекта. Сохраненные точки затем могут отображаться при воспроизведении архивного видео.

Требования

Возможность отслеживания объектов в FMV доступна в ArcGIS Pro с дополнительным модулем ArcGIS Image Analyst.

Примечание:

Убедитесь, что драйверы вашей видеокарты актуальны.

Модель глубокого обучения

Для отслеживания объектов на видео требуется одна или несколько обученных моделей глубокого обучения. Эффективность отслеживания зависит от качества обучающих данных глубокого обучения и от того, насколько тесно интересующий вас объект связан с обучающими данными. Например, чтобы отследить грузовик, движущийся по шоссе, у вас должны быть отмеченные обучающие выборки грузовиков со многих ракурсов. Источником обучающих выборок (изображений с аннотациями) должны быть движущиеся изображения. Отмеченные обучающие выборки используются для обучения модели глубокого обучения отслеживанию объектов, например, в данном случае грузовиков. Модель будет иметь ограниченную способность отслеживать объекты с различным внешним видом, такие как автомобили, но может иметь успех в отслеживании более крупных транспортных средств для отдыха или автобусов.

Вы должны установить пакеты среды глубокого обучения, чтобы выполнять рабочие процессы глубокого обучения в ArcGIS Pro. Используйте различные инструменты для подготовки обучающих данных видео и неподвижных изображений, отмечания объектов, создания моделей глубокого обучения, логического вывода и просмотра результатов. Для получения информации об установке этих пакетов см. раздел Установка среды глубокого обучения для ArcGIS.

Глубокое обучение требует больших вычислительных ресурсов, поэтому рекомендуется использовать мощную видеокарту (GPU) с поддержкой вычислительных возможностей CUDA версии 6.0 или более поздней.

Подробнее о глубоком обучении и рабочих процессах глубокого обучения см. Введение в глубокое обучение и Глубокое обучение в ArcGIS Pro. Для получения дополнительной информации о наборе инструментов глубокого обучения в ArcGIS см. Обзор набора инструментов глубокого обучения.

Вкладка отслеживание

Контекстная вкладка Отслеживание включается, когда вы выбираете видео на панели Содержание.

Примечание:
Вкладка Отслеживание доступна после установки и включения в ArcGIS Pro пакетов глубокого обучения.

Инструменты в группе Отслеживание объектов позволяют вам идентифицировать и управлять отслеживанием объектов в ваших видеоданных:

  • Панель отслеживания — Открыть панель Отображение отслеживания объектов, где вы можете указать модель глубокого обучения отслеживания объектов и настроить параметры.
  • Включить — Активировать интерактивные инструменты отслеживания объектов.
  • Добавить объект — Добавить объект, чтобы выполнить отслеживание объекта, интерактивно нарисовав прямоугольник вокруг объекта.
  • Переместить объект — Щелкните прямоугольник отслеживания существующего объекта, чтобы выбрать его, и перерисуйте прямоугольник вокруг обновленного положения объекта.
  • Удалить объект — Щелкните прямоугольник отслеживания существующего объекта, чтобы удалить его из активного отслеживания.
  • Объекты в пространственный объект - Сохранить центроиды прямоугольников выявления объектов в класс пространственных объектов.

Панель отслеживания

Нажмите кнопку Панель отслеживания, чтобы открыть панель Отображение отслеживания объектов. Панель содержит вкладки Настройки и Отслеживаемые объекты.

Отслеживание объектов для панели Видео

Настройки

На вкладке Настройки вы можете выбрать модель глубокого обучения и задать параметры для отслеживания объектов.

Нажмите кнопку Добавить модель отслеживания объектов с использованием локального пути или URL-адреса Данные из пути, чтобы открыть диалоговое окно Добавить модель глубокого обучения из пути. Укажите путь к файлу пакета модели глубокого обучения (.dlpk), указав URL-адрес или перейдя к файлу в локальном каталоге. Вы можете назначить псевдоним для имени модели в текстовом окне Модель. Нажмите кнопку Добавить, чтобы загрузить модель и закрыть диалоговое окно. Название модели отображается в раскрывающемся списке Модель и выбирается из него.

Вкладка Настройки содержит опции, которые помогают управлять отслеживанием объектов: Обнаружение сбоя трека, Восстановить трек и Автоматический детектор.

  • Обнаружение сбоя отслеживания — указывает, успешно ли отслеживается объект на основе изменений внешнего вида. Эта опция по умолчанию включена.
    • Интервал (кадры) — Интервал, измеренный количеством кадров, в котором приложение проверяет наличие изменений внешнего вида объекта. Значение по умолчанию - 5 кадров.
    • Минимальный размер объекта (пикселы) — Отслеживание объекта прекратится, если объект меньше указанного размера. Значение по умолчанию - 10 пикселов.
    • Максимальный интервал поиска — При потере объекта задается максимальный интервал поиска, определенный в единицах видеокадров. Значение по умолчанию – 60.
    • Размер очереди состояния — количество кадров, для которых сохраняется статус объекта, когда объект теряется до истечения интервала поиска.
  • Восстановить трек — указывает, предпринимается ли попытка найти объект после потери трека. Эта опция по умолчанию включена.
    • Порог достоверности (0-1) — минимальное соотношение между сопоставленными характеристиками исходного изображения и характеристиками искомого объекта для успешного восстановления. Порог достоверности - это число от 0 до 1. Значение по умолчанию равно 0.1.
    • Минимальный порог перекрытия (0-1) — Минимальное соотношение перекрытия между обнаруженным объектом и искомым объектом для успешного восстановления. Пороговое значение - это число от 0 до 1. Значение по умолчанию равно 0.1.
  • Автоматический детектор — Указывает, будет ли обнаружение и идентификация целевых объектов выполняться автоматически с использованием модели детектора, основанной на глубоком обучении. По умолчанию не отмечен. Укажите путь к файлу пакета модели глубокого обучения .dlpk, указав URL-адрес или перейдя к файлу в локальном каталоге.

    Укажите путь к файлу модели глубокого обучения (.emd), указав URL-адрес или перейдя к файлу в локальном каталоге.

    • Частота автоматического детектора — Интервал между последовательными запусками детектора для повторной идентификации и перестройки целевых объектов в кадре. Более низкие значения приводят к большей точности при снижении производительности. Значение по умолчанию равно 1.
    • Минимальный порог достоверности — Минимальное значение достоверности для фильтрации обнаружений. Пороговое значение - это число от 0 до 1. Значение по умолчанию равно 0.4.

Отслеживаемые объекты

Вкладка Отслеживаемые объекты - это место, где вы можете просматривать отслеживаемые объекты и управлять ими. Значения ID, Источника и Статуса каждого отслеженного объекта перечислены в таблице.

  • ID — Уникальный идентификатор для каждого отслеживаемого объекта.
  • Источник — исходный видеофайл, в котором идентифицирован объект.
  • Статус — статус каждого отслеживаемого объекта: активно отслеживается, потерян или находится в поиске.

Вкладка Отслеживаемые объекты также содержит следующие пять кнопок действий для управления отслеживаемыми объектами:

  • Добавить — Добавьте один или несколько объектов для отслеживания, нарисовав прямоугольник вокруг каждого интересующего объекта.
  • Изменить положение — Щелкните прямоугольник отслеживания существующего объекта, чтобы выделить его, и переместите прямоугольник вокруг обновленного положения объекта.
  • Удалить — Щелкните прямоугольник отслеживания существующего объекта, чтобы удалить его из активного отслеживания.
  • Обновить связь — Обновить связь указанного объекта со статусом Потерян, перерисовав обновленное положение объекта.
  • Удалить — Удалить выбранный объект из списка отслеживаемых объектов.

Рабочий процесс отслеживания объектов

Краткое описание рабочего процесса отслеживания объектов выглядит следующим образом:

  • Загрузите модель глубокого обучения и установите параметры отслеживания на вкладке Настройки панели Отображение отслеживания объектов.
  • Нажмите Включить, чтобы активировать инструменты отслеживания объектов.
  • Нажмите Добавить объект, чтобы нарисовать прямоугольник вокруг объекта, который вы хотите отслеживать в видеоплеере. Объект будет отслеживаться в каждом видеокадре.
    Примечание:

    Этот шаг не требуется в режиме Автоматического детектора.

  • На вкладке Отслеживаемые объекты просмотрите статус отслеживаемых объектов.
  • Если объект становится затемненным и отслеживание теряется, нажмите Обновить связь и перерисуйте прямоугольник вокруг обновленного положения объекта, чтобы возобновить отслеживание.
    Примечание:

    Этот шаг не требуется в режиме Автоматического детектора.

  • Если прямоугольник отслеживания смещается по отношению к отслеживаемому объекту, нажмите Изменить положение, выберите прямоугольник отслеживания этого объекта и переместите его вокруг объекта.
    Примечание:

    Этот шаг не требуется в режиме Автоматического детектора.

  • При необходимости нажмите Добавить, чтобы добавить объект для отслеживания.
    Примечание:

    Этот шаг не требуется в режиме Автоматического детектора.

  • При необходимости нажмите Удалить, чтобы удалить объект из активного отслеживания.
    Примечание:

    Этот шаг не требуется в режиме Автоматического детектора.

  • На вкладке Отслеживание в группе Отслеживание объектов щелкните Объекты в пространственный объект и укажите выходное местоположение и префикс имени, которые будут использоваться для сохранения центроидов объектов в классе пространственных объектов. При необходимости, укажите, будет ли класс объектов добавлен на карту, а также интервал частоты в секундах, с которым будут сохраняться центроиды.