Доступно с лицензией Image Analyst.
Full Motion Video (FMV) в дополнительном модуле ArcGIS Image Analyst предоставляет возможность воспроизведения и геопространственного анализа видеоданных, которые являются FMV-совместимыми. FMV-совместимость означает объединение видеопотока и связанных с ним метаданных в один видеофайл, что делает видео геопространственным. Сенсорные системы собирают информацию о наведении камеры, положении и высоте платформы и другие данные и кодируют их в видеопоток, чтобы каждый видеокадр был связан с геопозиционной информацией.
Эти геопространственные видеоданные, наряду с вычислительными возможностями ArcGIS Pro, обеспечивают возможность просматривать видео и манипулировать им, полностью используя динамику датчика и поле зрения (FOV), и отображать эту информацию в виде карты. Это также позволяет анализировать и редактировать векторные данные или в виде видео, или в виде карты, обеспечивая возможности телестрации.
FMV использует метаданные для беспрепятственного преобразования координат между пространством видеоизображения и пространством карты, аналогично тому, как система координат изображения в Анализе пространства изображения преобразует неподвижные изображения. Это преобразование обеспечивает основу для интерпретации видеоданных в полном контексте всех других геопространственных данных и информации в вашей ГИС. Например, вы можете просматривать контур кадра, центр кадра и положение платформы визуализации в виде карты во время воспроизведения видео вместе со слоями ГИС, такими как здания с идентификаторами, геозонами и другой соответствующей информацией.
Вы можете анализировать данные FMV в реальном времени или ретроспективно, сразу после сбора. Это хорошо подходит для информирования о ситуации, поскольку часто представляет собой самые актуальные изображения, доступные для конкретного местоположения. Например, если вам необходимо произвести оценку ущерба после природной катастрофы, можно использовать FMV для анализа последних видеоданных, собранных с БПЛА, вместе с существующими слоями ГИС-данных. Поскольку контур видео виден на карте, вы точно знаете, какие здания и инфраструктура видны на видео, и можете оценить их состояние, отметить наземные объекты на видео и карте, сделать закладки для их местоположений и описать их в примечаниях. FMV разработано для быстрой оценки, анализа и распространения полезной информации для своевременной поддержки принятия решений.
Возможности и преимущества FMV
FMV использует преимущества важных метаданных, предоставляет инструменты визуальной и аналитической обработки, а также предоставляет возможности платформы ArcGIS Pro для поддержки проектов и критически важных рабочих процессов.
- FMV полностью интегрировано в ArcGIS Pro, который использует преимущества архитектуры системы, моделей данных, инструментов и возможностей, а также совместного использования на платформе ArcGIS.
- Просматривайте и анализируйте видеопоток в реальном времени и архивное видео.
- Вы можете переместить видеоплеер в любое место на экране компьютера, изменить его размер, минимизировать и закрыть.
- Видеоплеер связан с отображением карты, что позволяет:
- Отображать контур видео, местоположение датчика и поле зрения на карте.
- Любая информация, собранная в видеоплеере, проецируется и отображается на карте вместе с существующими данными ГИС.
- Обновлять карту, чтобы приблизить ее к кадру видео, или следить за видео по карте.
- Можно открыть и воспроизводить несколько видео одновременно. Каждое видео и связанная с ним информация идентифицируются уникальным цветом при отображении на карте.
- Используйте интуитивно понятное управление видео-записывающимвидеозаписывающим устройством (DVR), захват изображений и видеоклипов, а также инструменты анализа.
- Отображайте метаданные в режиме реального времени.
- Создавайте закладки и управляйте ими.
- Отмечайте интересующие вас места и явления.
- Отображение ускоряется с помощью графического процессора.
Эти функциональные возможности формируют строительные блоки для рабочих процессов, которые интегрируют богатый пространственный контекст в процесс анализа видео.
Обзор Full Motion Video
Основное применение FMV заключается в поддержке принятия решений в операционных средах. Понимание, кто работает с FMV, как оно получается и используется, предоставляет важный контекст для оценки функциональности FMV.
Отрасли, где используется FMV
FMV применяется для мониторинга удаленных, недоступных или опасных местоположений. Типы организаций, использующих FMV:
- Общественная безопасность и Управление службами быстрого реагирования
- Оборона
- Нефтяные кампании
- Местное и федеральное правительство
- Пограничная служба
- Коммунальные службы
- Специалисты по природным ресурсам
Существует множество типов приложений для FMV:
- Общественная безопасность и Управление службами быстрого реагирования
- Ситуационный анализ
- Оценка ущерба
- Ответ
- Снижение рисков
- Мониторинг безопасности
- Управление ресурсами
- Картографирование, мониторинг коридоров и управление ими
- Передача коммунальных услуг, таких как электричество, газ, вода и другие доставки
- Транспорт, куда относятся дороги, мосты, железные дороги, автомагистрали и воздушные-сухопутные-морские порты
- Коммуникации, например, вышки и инфраструктура сотовой связи
- Гидрология, в том числе антропогенная и природная инфраструктура
- Прибрежные зоны, например, буферные зоны водотоков по достижимости, местообитания, картографирование различий и связи
- Оборона
- Разведка, наблюдение и рекогносцировка
- Поддержка миссий
- Контрразведка
- Мониторинг инфраструктуры
- Инвентаризация
- Новая разработка
- Проверка соответствия построенного запланированному
- Соответствие требованиям и безопасность
Как собираются данные FMV
Приложение FMV в ArcGIS Pro использует данные, собранные при помощи различных платформ дистанционного зондирования. Видеоданные и метаданные собираются одновременно, и метаданные кодируются в видеофайл либо в режиме реального времени на борту сенсорной платформы (совместимой с MISB), либо позже на этапе обработки, называемом мультиплексированием.
Данные FMV собираются на различных платформах датчиков:
- БПЛА (UAV, UAS, RPV, дроны)
- Стационарные и вертолетные воздушные платформы
- Орбитальные космические датчики
- Камеры, установленные на транспортном средстве
- Портативные мобильные устройства и камеры
- Стационарные устройства для постоянного наблюдения
FMV поддерживает 13 форматов видео:
| Описание | Дополнительный модуль |
|---|---|
MPEG-2 Transport Stream | .ts |
MPEG-2 Program Stream | .ps |
Файл MPEG | .mpg |
Файл MPEG-2 | .mpg2 |
Файл MPEG-2 | .mp2 |
Файл MPEG | .mpeg |
VLC (mpeg2) | .mpeg2 |
MPEG-4 Movie | .mp4 |
Файл MPEG-4 | .mpg4 |
MPEG-Dash | .mpd |
Файл видео H264 | .h264 |
Файл VLC Media (mpeg4) | .mpeg4 |
Файл VLC Media (vob) | .vob |
Возможности FMV
FMV поддерживает множество разнообразных операционных сред, от информирования о критических ситуациях во времени и реагирования на чрезвычайные ситуации с использованием потокового видео в реальном времени до анализа ежечасных или ежедневных архивных видеозаписей для мониторинга и экспертного анализа исторических архивных данных. Для каждого типа приложений требуются интуитивно понятные инструменты визуализации и анализа, позволяющие быстро идентифицировать и записывать интересующие объекты или ситуации, а также распространять полученную информацию среди лиц, принимающих решения, и заинтересованных сторон. Возможности FMV для поддержки принятия решений подразделяются на основные функциональные возможности ниже.
Контекстно-зависимые вкладки видео
Когда вы загружаете видео на карту и выбираете его на панели Содержание, отображаются контекстно-зависимые вкладки Автономное видео и Плеер.
Вкладка Автономное видео
При загрузке видео в отображение, файл видео появляется в списке на панели Содержание, и становится доступной вкладка Автономное видео. Инструменты на вкладке Автономное видео позволяют управлять видеоданными. Эта вкладка разделена на четыре группы: Открыть, Закладки, Сохранить и Управление.
Инструменты на вкладке Автономное видео описаны на вкладке Автономное видео.
Вкладка Плеер
Вкладка Плеер является контекстно-зависимой и активизируется, когда вы выбираете видео на панели Содержание.
Вкладка Плеер содержит инструменты для навигации в видео, добавления и управления графикой, а также просмотра метаданных видео. Эти инструменты также доступны в цифровом видео-рекордере (DVR) для удобства операций.
Операции инструментов включают масштабирование вида карты, чтобы показать кадр полномасштабного видео на поверхности Земли, отображение трека положения сенсора и вид поля видеокадра на поверхности Земли, а также масштабирование и перемещение карты для следования видео по поверхности Земли. Эти инструменты обеспечивают географический контекст при работе с данными видео.
Видеоплеер
Видеоплеер называется DVR и имеет знакомый внешний вид обычного DVR. Видеоплеер включает в себя обычные элементы управления видео, такие как воспроизведение, быстрая перемотка вперед, назад, шаг вперед, шаг назад, переход к началу или переход к концу видео. Вы можете увеличивать и уменьшать масштаб видео, пока оно находится в режиме воспроизведения или в режиме паузы.
К дополнительным инструментам относятся захват, аннотирование и сохранение видеозакладок, захват отдельных видеокадров как изображений и экспорт видеоклипов.
Добавление графики
Вы можете собирать наземные объекты интереса, которые видны в видеоплеере, отмечая их как объекты, которые также отображаются на карте. И наоборот, вы можете отмечать наземные объекты на карте, и они также отображаются в видеоплеере. Можно сохранить эти точки как класс пространственных объектов и использовать позже для дальнейшего анализа.
Закладки
Создание видеозакладок - важная функция для записи явления и объектов интереса при выполнении анализа видео. Закладки видео можно собирать в разных режимах воспроизведения видео, таких как воспроизведение, пауза, быстрая перемотка вперед и обратная перемотка. Закладки можно описать на панели Закладки, которая открывается при сборе видеозакладок. Закладки собираются и управляются на панели Закладки, доступной на вкладке ArcGIS Pro Карта в группе Навигация.
Добавление метаданных в видео
Вы можете использовать только видео, содержащие основные метаданные, в FMV. Бортовые системы сбора видеоданных профессионального уровня обычно собирают необходимые метаданные и кодируют их в видеофайл в режиме реального времени. Эти данные легко вводятся напрямую в приложение FMV или режиме прямой трансляции, или из архивированного файла.
Системы сбора видео бытового уровня часто создают отдельные файлы видеоданных и метаданных, которые необходимо объединить в один видеофайл, совместимый с FMV. Этот процесс выполняется в программном обеспечении и называется мультиплексированием. FMV предоставляет инструмент Видео Мультиплексор, который кодирует нужные метаданные в правильное местоположение файла видео, чтобы получить отдельный FMV-совместимый видеофайл. Каждый файл видео и метаданных использует временные метки для синхронизации кодирования нужных метаданных в правильное местоположение в файле видео.
Метаданные генерируются с помощью соответствующих датчиков, таких как GPS для определения положения x, y, z, высотомера и инерциального измерительного блока (IMU), или других источников данных для ориентации камеры. Файл метаданных должен быть в формате значений с разделителями запятыми (CSV).
Метаданные FMV используются для вычисления траектории полета видео-датчика, центра кадра изображения видео и контура на поверхности Земли кадров изображений видео. FMV также поддерживает спецификацию метаданных Motion Imagery Standards Board (MISB), состоящую более чем из 80 параметров. Все предоставленные параметры MISB будут закодированы в финальное FMV-совместимое видео, включая более 80 параметров или поднабор.
Один набор параметров FMV включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться. В противном случае инструмент вычислит контур видео из поднабора необходимых параметров.
Чтобы вычислить и показать соответствующие угловые точки рамки кадра видео как контур кадра на карте, FMV нужны 12 основных полей метаданных, перечисленных ниже:
- Точная временная отметка
- Широта сенсора
- Долгота сенсора
- Эллипсоидальная высота сенсора или Истинная высота сенсора
- Угол направления платформы
- Угол тангажа платформы
- Угол крена платформы
- Угол относительного тангажа сенсора
- Угол относительной высоты сенсора
- Угол относительного азимута сенсора
- Горизонтальное поле зрения сенсора
- Вертикальное поле зрения сенсора
Если метаданные полные и точные, инструмент вычислит углы кадра видео, и следовательно, размер, форму и положение контура видеокадра, который затем может быть отображен на карте. Эти 12 параметров составляют минимум метаданных, который нужен для вычисления трансформирования между видео и картой, чтобы показать контур видео на карте, а также включить другие функции, такие как оцифровка и отметок на видео и на карте.
FMV поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в движущемся изображении Если данные VMTI записаны в файл, отдельный от связанного с ним файла видео, их можно закодировать в этот видеофайл с помощью инструмента Видео Мультиплексор.
Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные. Если метаданные неточны или содержат аномалии, эти несоответствия будут закодированы в видео и отображены на карте при воспроизведении видео. Если файл metadata.csv содержит только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, местоположение сенсора будет показано на карте, но контуры кадров видео отображаться не будут, и некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не будет поддерживаться.
Ваши метаданные можно ввести в шаблон метаданных FMV, FMV_Multiplexer_Field_Mapping_Template.csv, полученный из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Этот шаблон содержит 12 основных полей метаданных, необходимых для вычисления контура кадра видео, и дополнительные поля, включенные в спецификацию MISB. Если имена полей ваших метаданных не соответствуют необходимым для FMV, их можно сопоставить с именами полей FMV в шаблоне FMV_Multiplexer_Field_Mapping_Template.csv.
В идеале данные видео и метаданные синхронизируются по времени. Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение датчика на карте будет смещено относительно вида в видеоплеере. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить время метаданных, чтобы они соответствовали видео. Временной сдвиг применяется путем создания и ввода дополнительного файла CSV в Видео Мультиплексор, которые идентифицирует местоположение сдвига в видео и связанное с ним несоответствие во времени. Используйте шаблон FMV_Multiplexer_TimeShift_Template.csv, полученный из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo, чтобы настроить сдвиги. Шаблон содержит столбцы, написанные elapsed time, которые являются местоположением в видео, где происходит временной сдвиг, и time shift, указывающие величину временного сдвига. Если временной сдвиг между видео и метаданными не является постоянным, в шаблоне можно перечислить несколько положений в видео с соответствующим временным сдвигом. Это указывает мультиплексору, где разместить соответствующие метаданные относительно времени видео.
Отслеживание объектов
FMV поддерживает два метода отслеживания объектов: видео индикация движущихся целей (VMTI) и отслеживание на основе глубокого обучения. Методы VMTI отслеживают объекты вручную или автоматически и кодируют положение объекта в определенном кадре видео. Каждый объект имеет идентификатор (ID) и ограничивающий прямоугольник, связанный с объектом, сохраненный в архивированном видео. При воспроизведении видео показывается информация, связанная с объектом VMTI. Для FMV необходимо, чтобы метаданные кодированного видео соответствовали стандарту Motion Imagery Standards Board (MISB) Video Moving Target Indicator and Track Metadata (ST 0903).
Возможность отслеживания объектов на основе глубокого обучения предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на технологию глубокого обучения, чтобы помочь в выявлении, извлечении и сопоставлении объектов. Постройте собственную модель глубокого обучения для идентификации определенных объектов и классов пространственных объектов и используйте набор инструментов для идентификации, выбора и отслеживания этих объектов интереса. Можно оцифровать центроиды прямоугольников идентификации объектов и сохранить их как класс точек в базе геоданных проекта. Затем можно отобразить объекты при воспроизведении архивного видео.
Примечание:
Вы должны установить пакеты среды глубокого обучения, чтобы выполнять отслеживание объектов на основе глубокого обучения. Более подробно см. системные требования.
Заключение
Геопространственные характеристики FMV хорошо подходят для проведения анализа в реальном времени или экспертного анализа, а также для информирования о ситуации. Возможность проецировать и отображать контур видеокадра и траекторию полета на карте придает видео важный контекст и позволяет осуществлять двунаправленный сбор объектов в видеоплеере и на карте.
Эти возможности, вместе с аннотированными закладками видео, позволяют аналитику идентифицировать определенные кадры или сегменты видео для дальнейшего анализа и делиться этой информацией с другими заинтересованными сторонами. Интегрируя видео, совместимое с FMV, с полной функциональностью ГИС, вы можете синтезировать важную контекстуальную информацию для поддержки принятия обоснованных решений в операционной среде.