Введение в full-motion video

Доступно с лицензией Image Analyst.

Возможность full-motion video (FMV) в дополнительном модуле ArcGIS Image Analyst обеспечивает возможности воспроизведения и геопространственного анализа видео, совместимого с FMV. FMV-совместимость означает объединение видеопотока и связанных с ним метаданных в один видеофайл, что делает видео геопространственным. Сенсорные системы собирают информацию об ориентации камеры, положении и высоте платформы и другие данные и кодируют их в видеопоток, чтобы каждый видеокадр был связан с геопозиционной информацией.

Эти геопространственные видеоданные, наряду с вычислительными возможностями ArcGIS Pro, позволяют просматривать видео и манипулировать им, полностью используя динамику датчика и поле зрения (FOV), и отображать эту информацию в виде карты. Это также позволяет анализировать и редактировать векторные данные или в виде видео, или в виде карты, обеспечивая возможности телестрации.

FMV использует метаданные для беспрепятственного преобразования координат между пространством видеоизображения и пространством карты, аналогично тому, как система координат изображения в анализе пространства изображения преобразует неподвижные изображения. Это преобразование обеспечивает основу для интерпретации видеоданных в полном контексте всех других геопространственных данных и информации в вашей ГИС. Например, вы можете просматривать контур кадра, центр кадра и положение платформы визуализации в виде карты во время воспроизведения видео вместе со слоями ГИС, такими как здания с ID, геозонами и другой соответствующей информацией.

Вы можете анализировать данные FMV в реальном времени или ретроспективно, сразу после сбора. Это хорошо подходит для информирования о ситуации, поскольку часто представляет собой самые актуальные изображения, доступные для конкретного местоположения. Например, если вы проводите оценку ущерба после стихийного бедствия, вы можете использовать FMV для анализа последних видеоданных, собранных с дрона, вместе с существующими слоями данных ГИС. Поскольку контур видео виден на карте, вы точно знаете, какие здания и инфраструктура видны на видео, и можете оценить их состояние, отметить наземные объекты на видео и карте, сделать закладки для их местоположений и описать их в примечаниях. FMV разработано для быстрой оценки, анализа и распространения полезной информации для своевременной поддержки принятия решений.

Дополнительную информацию о FMV см. в разделе Часто задаваемые вопросы.

Возможности и преимущества FMV

FMV использует важные метаданные, предоставляет инструменты визуальной и аналитической обработки, а также предоставляет следующие возможности ArcGIS Pro для поддержки проектов и критически важных рабочих процессов:

• FMV полностью интегрирован в ArcGIS Pro и использует архитектуру системы, модели данных, инструменты и возможности, а также возможность совместного использования в ArcGIS.
• Просматривайте и анализируйте видеопоток в реальном времени и архивное видео.
• Переместите видеоплеер в любое место экрана компьютера, измените его размер, сверните и закройте.
• Видеоплеер связан с отображением карты, что позволяет:
  • Отображать контур видео, местоположение датчика и поле зрения на карте.
  • Любая информация, собранная в видеоплеере, проецируется и отображается на карте вместе с существующими данными ГИС.
  • Обновлять карту, чтобы приблизить ее к кадру видео, или следить за видео по карте.
• Откройте и воспроизведите несколько видео одновременно. Каждое видео и связанная с ним информация идентифицируются уникальным цветом при отображении на карте.
• Используйте интуитивно понятные элементы управления воспроизведением, захват изображений и видеоклипов и инструменты анализа.
• Отображайте метаданные в режиме реального времени.
• Создавайте закладки и управляйте ими.
• Отмечайте интересующие вас места и явления.
• Отображение ускоряется с помощью графического процессора.

Эти функциональные возможности составляют основу рабочих процессов, которые интегрируют пространственный контекст в процесс анализа видео.

Использование FMV

Основное применение FMV заключается в поддержке принятия решений в операционных средах. Понимание, кто работает с FMV, как оно получается и используется, предоставляет важный контекст для оценки функциональности FMV.

Отрасли, где используется FMV

FMV можно использовать для мониторинга удаленных, недоступных или опасных местоположений. Типы организаций, использующих FMV:

• Общественная безопасность и Управление службами быстрого реагирования
• Оборона
• Нефтяные кампании
• Местное и федеральное правительство
• Пограничная служба
• Утилиты
• Специалисты по природным ресурсам

Ниже приведены некоторые типы приложений для FMV:

• Общественная безопасность и Управление службами быстрого реагирования
  • Ситуационный анализ
  • Оценка ущерба
  • Ответ
  • Снижение рисков
  • Мониторинг безопасности
  • Управление ресурсами
• Картографирование, мониторинг коридоров и управление ими
  • Передача коммунальных услуг, таких как электричество, газ, вода и другие доставки
  • Транспорт, куда относятся дороги, мосты, железные дороги, автомагистрали и воздушные-сухопутные-морские порты
  • Коммуникации, например, вышки и инфраструктура сотовой связи
  • Гидрология, в том числе антропогенная и природная инфраструктура
  • Прибрежные зоны, например, буферные зоны водотоков по достижимости, местообитания, картографирование различий и связи
• Оборона
  • Разведка, наблюдение и рекогносцировка
  • Поддержка миссий
  • Контрразведка
• Мониторинг инфраструктуры
  • Инвентаризация
  • Новостройка
  • Проверка соответствия построенного запланированному
  • Соответствие требованиям и безопасность

Сбор данных FMV

Приложение Full Motion Video в ArcGIS Pro использует данные, собранные при помощи различных платформ дистанционного зондирования. Видеоданные и метаданные собираются одновременно, и метаданные кодируются в видеофайл либо в режиме реального времени на борту сенсорной платформы (совместимой с MISB), либо позже на этапе обработки, называемом мультиплексированием.

Данные FMV собираются с различных сенсорных платформ, включая следующие:

• Дроны (UAV, UAS и RPV)
• Стационарные и вертолетные воздушные платформы
• Орбитальные космические датчики
• Камеры, установленные на транспортном средстве
• Портативные мобильные устройства и камеры
• Стационарные устройства для постоянного наблюдения

Поддерживаемые форматы видео, включая форматы с высоким разрешением 4K, перечислены в таблице ниже:

Описание	Расширение
Файл MOV	.mov
MPEG-2 Transport Stream	.ts
MPEG-2 Program Stream	.ps
Файл MPEG	.mpg
Файл MPEG-2	.mpg2
Файл MPEG-2	.mp2
Файл MPEG	.mpeg
VLC (mpeg2)	.mpeg2
MPEG-4 Movie	.mp4
Файл MPEG-4	.mpg4
MPEG-Dash	.mpd
Видео файл¹ H264	.h264
Видео файл¹ H265	.h265
Файл VLC Media (mpeg4)	.mpeg4
Файл VLC Media (vob)	.vob
HLS (Адаптивная скорость передачи данных (ABR))	.m3u8
¹ Требуется мультиплексирование

Системные требования Full Motion Video

Минимальные, рекомендованные и оптимальные требования для Full Motion Video в ArcGIS Pro описаны ниже. Минимальные требования поддерживают воспроизведение одного видео. Рекомендуемые требования поддерживают использование инструментов Full Motion Video во время воспроизведения одного видео. Оптимальные требования поддерживают использование инструментов Full Motion Video во время воспроизведения нескольких видео.

Элемент	Поддерживаемые и рекомендуемые
CPU	Минимально: 4 ядра @ 2.6GHz, одновременная многопоточная обработка. Одновременная многопоточная или гиперпоточная обработка CPU обычно использует два потока на ядро. Многопоточный 2-ядерный процессор будет располагать четырьмя потоками для обработки, а многопоточный 6-ядерный процессор будет включать 12 потоков для обработки. Рекомендуется 6 ядер Оптимально 10 ядер
GPU	Тип GPU—NVIDIA с вычислительными возможностями CUDA не ниже 3.7, рекомендуется 6.1 или выше. См. список видеокарт с поддержкой CUDA, чтобы определить вычислительные возможности вашего графического процессора. Драйвер GPU — для создания движущихся изображений рекомендуется использовать NVIDIA driver версии 531.61 или выше для повышения производительности. Выделенная графическая память — минимум: 4 ГБ. Рекомендуется: 8 ГБ или более, в зависимости от количества одновременно активных видео.

Функции Full Motion Video

Full Motion Video поддерживает множество разнообразных операционных сред, от информирования о критических ситуациях во времени и реагирования на чрезвычайные ситуации с использованием потокового видео в реальном времени до анализа ежечасных или ежедневных архивных видеозаписей для мониторинга и экспертного анализа исторических архивных данных. Для каждого типа приложений требуются интуитивно понятные инструменты визуализации и анализа, позволяющие быстро идентифицировать и записывать интересующие объекты или ситуации, а также распространять полученную информацию среди лиц, принимающих решения, и заинтересованных сторон. Возможности Full Motion Video для поддержки принятия решений разделены на основные функции, описанные ниже.

Контекстно-зависимые вкладки видео

Когда вы загружаете видео на карту и выбираете его на панели Содержание, отображаются контекстно-зависимые вкладки Автономное видео и Плеер.

Вкладка Автономное видео

При загрузке видео в отображение, файл видео появляется в списке на панели Содержание, и становится доступной вкладка Автономное видео. Инструменты на вкладке Автономное видео позволяют управлять видеоданными. Эта вкладка разделена на группы Открыть, Закладки, Сохранить и Управление.

Инструменты на вкладке Автономное видео описаны на вкладке Автономное видео.

Вкладка Плеер

Вкладка Плеер является контекстно-зависимой и активизируется, когда вы выбираете видео на панели Содержание.

Вкладка Плеер содержит инструменты для навигации в видео, добавления и управления графикой, а также просмотра метаданных видео. Эти инструменты также доступны в плеере.

Операции инструментов включают масштабирование вида карты, чтобы показать полный кадр видео на поверхности Земли, отображение трека положения сенсора и вид поля видеокадра на поверхности Земли, а также масштабирование и перемещение карты для следования видео по поверхности Земли. Эти инструменты обеспечивают географический контекст при работе с данными видео.

Видеоплеер

Видеоплеер включает в себя обычные элементы управления видео, такие как воспроизведение, быстрая перемотка вперед, назад, шаг вперед, шаг назад, переход к началу или переход к концу видео. Вы можете увеличивать и уменьшать масштаб видео, пока оно находится в режиме воспроизведения или в режиме паузы. Видеоплеер работает с глобальными и локальными сценами. Функция Ориентировать камеру сцены ориентирует камеру вида сцены в соответствии с перспективой видеосенсора.

К дополнительным инструментам относятся захват, аннотирование и сохранение видеозакладок, захват отдельных видеокадров как изображений и экспорт видеоклипов.

Закладки

Создание видеозакладок - важная функция для записи явления и объектов интереса при выполнении анализа видео. Закладки видео можно собирать в разных режимах воспроизведения видео, таких как воспроизведение, пауза, быстрая перемотка вперед и обратная перемотка. Закладки можно описать на панели Закладки, которая открывается при сборе видеозакладок. Закладки собираются и управляются на панели Закладки, доступной на вкладке ArcGIS Pro Карта в группе Навигация.

Добавление метаданных в видео

Вы можете использовать только видео, содержащие основные метаданные, в FMV. Бортовые системы сбора видеоданных профессионального уровня обычно собирают необходимые метаданные и кодируют их в видеофайл в режиме реального времени. Эти данные легко вводятся напрямую в приложение Full Motion Video в режиме прямой трансляции или из архивированного файла.

Системы сбора видео бытового уровня часто создают отдельные файлы видеоданных и метаданных, которые необходимо объединить в один видеофайл, совместимый с FMV. Этот процесс выполняется в программном обеспечении и называется мультиплексированием. Full Motion Video включает инструмент Видео Мультиплексор, который кодирует нужные метаданные в правильное местоположение файла видео, чтобы получить отдельный FMV-совместимый видеофайл. Каждый файл видео и метаданных использует временные метки для синхронизации кодирования нужных метаданных в правильное местоположение в файле видео.

Метаданные генерируются с помощью соответствующих датчиков, таких как GPS для определения положения x, y, z, высотомера и инерциального измерительного блока (IMU), или других источников данных для ориентации камеры. Файл метаданных должен быть в формате значений, разделенных запятыми (CSV).

Метаданные FMV используются для вычисления траектории полета видео-датчика, центра кадра изображения видео и контура на поверхности Земли кадров изображений видео. FMV также поддерживает спецификацию метаданных Motion Imagery Standards Board (MISB). Все предоставленные параметры MISB будут закодированы в итоговое FMV-совместимое видео.

Один набор параметров Full Motion Video включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться. В противном случае приложение вычислит контур видео на основе поднабора обязательных параметров.

Чтобы вычислить и отобразить относительные угловые точки рамки видеокадра в виде контура кадра на карте, необходимы 12 полей метаданных, перечисленных ниже:

• Точная временная отметка
• Широта сенсора
• Долгота сенсора
• Эллипсоидальная высота сенсора или Истинная высота сенсора
• Угол направления платформы
• Угол тангажа платформы
• Угол крена платформы
• Угол относительного тангажа сенсора
• Угол относительной высоты сенсора
• Угол относительного азимута сенсора
• Горизонтальное поле зрения сенсора
• Вертикальное поле зрения сенсора

Если метаданные заполнены точно и полностью, приложение рассчитает углы видеокадра, а также размер, форму и положение контура видеокадра, которые затем можно будет отобразить на карте. Эти 12 полей составляют минимум метаданных, который нужен для вычисления трансформирования между видео и картой, чтобы показать контур видео на карте, а также включить другие функции, такие как оцифровка и отметок на видео и на карте.

Full Motion Video поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в движущемся изображении Если данные VMTI записаны в файл, отдельный от связанного с ним файла видео, их можно закодировать в этот видеофайл с помощью инструмента Видео Мультиплексор.

Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные. Если метаданные неточны или содержат аномалии, эти несоответствия будут закодированы в видео и отображены на карте при воспроизведении видео. Если файл metadata.csv содержит только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, местоположение сенсора будет показано на карте, но контуры кадров видео отображаться не будут, и некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не будет поддерживаться.

Метаданные можно ввести в шаблон метаданных FMV_Multiplexer_Field_Mapping_Template.csv в папке C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Этот шаблон содержит 12 основных полей метаданных, необходимых для вычисления контура кадра видео, и дополнительные поля, включенные в спецификацию MISB. Если имена полей метаданных не соответствуют именам, необходимым для шаблона метаданных, их можно сопоставить с именами полей шаблона метаданных в шаблоне FMV_Multiplexer_Field_Mapping_Template.csv.

В идеале данные видео и метаданные синхронизируются по времени. Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение датчика на карте будет смещено относительно вида в видеоплеере. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить время метаданных, чтобы они соответствовали видео. Временной сдвиг применяется путем создания и ввода дополнительного файла .csv в Видео Мультиплексор, которые идентифицирует местоположение сдвига в видео и связанное с ним несоответствие во времени. Используйте шаблон FMV_Multiplexer_TimeShift_Template.csv в папке C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo, чтобы настроить сдвиги. Шаблон содержит столбцы с надписьюelapsed time, представляющие местоположение в видео, где происходит временной сдвиг, и time shift, указывающие величину временного сдвига. Если временной сдвиг между видео и метаданными не является постоянным, в шаблоне можно перечислить несколько положений в видео с соответствующим временным сдвигом. Это указывает мультиплексору, где разместить соответствующие метаданные относительно времени видео.

Отслеживание объектов

Full Motion Video поддерживает два метода отслеживания объектов: видео индикация движущихся целей (VMTI) и отслеживание на основе глубокого обучения. Методы VMTI отслеживают объекты вручную или автоматически и кодируют положение объекта в определенном кадре видео. Каждый объект имеет идентификатор (ID) и ограничивающий прямоугольник, связанный с объектом, сохраненный в архивированном видео. При воспроизведении видео показывается информация, связанная с объектом VMTI. Для Full Motion Video необходимо, чтобы метаданные кодированного видео соответствовали стандарту индикатора Motion Imagery Standards Board (MISB) Video Moving Target Indicator или стандарту Track Metadata (ST 0903).

Возможность отслеживания объектов на основе глубокого обучения предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на технологию глубокого обучения, чтобы помочь в выявлении, извлечении и сопоставлении объектов. Постройте модель глубокого обучения для идентификации определенных объектов и классов пространственных объектов и используйте набор инструментов для идентификации, выбора и отслеживания этих объектов интереса. Можно оцифровать центроиды прямоугольников идентификации объектов и сохранить их как класс точек в базе геоданных проекта. Затем можно отобразить объекты при воспроизведении архивного видео.

Примечание:

Вы должны установить пакеты среды глубокого обучения, чтобы выполнять отслеживание объектов на основе глубокого обучения. Более подробно см. системные требования.

Краткая информация

Геопространственные характеристики Full Motion Video хорошо подходят для проведения анализа в реальном времени или экспертного анализа, а также для информирования о ситуации. Возможность проецировать и отображать контур видеокадра и траекторию полета на карте придает видео важный контекст и позволяет осуществлять двунаправленный сбор объектов в видеоплеере и на карте.

Эти возможности, вместе с аннотированными закладками видео, позволяют аналитику идентифицировать определенные кадры или сегменты видео для дальнейшего анализа и делиться этой информацией с другими заинтересованными сторонами. Интегрируя видео, совместимое с FMV, с полной функциональностью ГИС, вы можете синтезировать важную контекстуальную информацию для поддержки принятия обоснованных решений в операционной среде.