Введение в геопространственное видео

Доступно с лицензией Image Analyst.

Функция геопространственного видео в дополнительном модуле ArcGIS Image Analyst позволяет включать движущиеся изображения и видео, а также предоставляет возможности воспроизведения и геопространственного анализа видео, совместимых с метаданными. Геопространственное видео является объединением видеопотока и связанных с ним метаданных в одном видеофайле, что и делает видео геопространственным. Сенсорные системы собирают информацию об ориентации камеры, положении и высоте платформы и другие данные и кодируют их в видеопоток, чтобы каждый видеокадр был связан с геопозиционной информацией.

Эти геопространственные видеоданные, наряду с вычислительными возможностями ArcGIS Pro, позволяют просматривать видео и манипулировать им, полностью используя динамику датчика и поле зрения (FOV), и отображать эту информацию в виде карты. Это также позволяет анализировать и редактировать векторные данные или в виде видео, или в виде карты, обеспечивая возможности телестрации.

Инструменты движущихся изображений в ArcGIS Pro используют метаданные для беспрепятственного преобразования координат между пространством видеоизображения и пространством карты, аналогично тому, как система координат изображения в анализе пространства изображения преобразует неподвижные изображения. Это преобразование обеспечивает основу для интерпретации видеоданных в полном контексте всех других геопространственных данных и информации в вашей ГИС. Например, вы можете просматривать контур кадра, центр кадра и положение платформы визуализации в виде карты во время воспроизведения видео вместе со слоями ГИС, такими как здания с ID, геозонами и другой соответствующей информацией.

Вы можете анализировать видеоданные в реальном времени или ретроспективно, сразу после сбора. Это хорошо подходит для информирования о ситуации, поскольку часто представляет собой самые актуальные изображения, доступные для конкретного местоположения. Например, если вы проводите оценку ущерба после стихийного бедствия, вы можете использовать видео для анализа последних видеоданных, собранных с дрона, вместе с существующими слоями данных ГИС. Поскольку контур видео виден на карте, вы точно знаете, какие здания и инфраструктура видны на видео, и можете оценить их состояние, отметить наземные объекты на видео и карте, сделать закладки для их местоположений и описать их в примечаниях. Видео разработано для быстрой оценки, анализа и распространения полезной информации для своевременной поддержки принятия решений.

Дополнительную информацию о видео в ArcGIS Pro см. в разделе Часто задаваемые вопросы.

Особенности и преимущества геопространственного видео

Видео использует важные метаданные, предоставляет инструменты визуальной и аналитической обработки, а также предоставляет следующие возможности ArcGIS Pro для поддержки проектов и критически важных рабочих процессов:

• Видео полностью интегрировано в ArcGIS Pro и использует архитектуру системы, модели данных, инструменты и возможности, а также возможность совместного использования в ArcGIS.
• Просматривайте и анализируйте видеопоток в реальном времени и архивное видео.
• Переместите видеоплеер в любое место экрана компьютера, измените его размер, сверните и закройте.
• Видеоплеер связан с отображением карты, что позволяет:
  • Отображать контур видео, местоположение датчика и поле зрения на карте.
  • Любая информация, собранная в видеоплеере, проецируется и отображается на карте вместе с существующими данными ГИС.
  • Обновлять карту, чтобы приблизить ее к кадру видео, или следить за видео по карте.
• Откройте и воспроизведите несколько видео одновременно. Каждое видео и связанная с ним информация идентифицируются уникальным цветом при отображении на карте.
• Используйте интуитивно понятные элементы управления воспроизведением, захват изображений и видеоклипов и инструменты анализа.
• Отображайте метаданные в режиме реального времени.
• Создавайте закладки и управляйте ими.
• Отмечайте интересующие вас места и явления.
• Отображение ускоряется с помощью графического процессора.
• Создание метаданных видео

Эти функциональные возможности составляют основу рабочих процессов, которые интегрируют пространственный контекст в процесс анализа видео.

Использование для геопространственного видео

Видео в основном используется для поддержки принятия решений в рабочей среде. Понимание, кто работать с видео, как оно получается и используется, предоставляет важный контекст для оценки функциональности.

Отрасли, использующие геопространственное видео

Видео можно использовать для мониторинга удаленных, недоступных или опасных местоположений. Типы организаций, использующих видео:

• Общественная безопасность и Управление службами быстрого реагирования
• Оборона
• Нефтяные кампании
• Местное и федеральное правительство
• Пограничная служба
• Утилиты
• Специалисты по природным ресурсам

Ниже приведены некоторые типы приложений для геопространственного видео:

• Общественная безопасность и Управление службами быстрого реагирования
  • Ситуационный анализ
  • Оценка ущерба
  • Ответ
  • Снижение рисков
  • Мониторинг безопасности
  • Управление ресурсами
• Картографирование, мониторинг коридоров и управление ими
  • Передача коммунальных услуг, таких как электричество, газ, вода и другие доставки
  • Транспорт, куда относятся дороги, мосты, железные дороги, автомагистрали и воздушные-сухопутные-морские порты
  • Коммуникации, например, вышки и инфраструктура сотовой связи
  • Гидрология, в том числе антропогенная и природная инфраструктура
  • Прибрежные зоны, например, буферные зоны водотоков по достижимости, местообитания, картографирование различий и связи
• Оборона
  • Разведка, наблюдение и рекогносцировка
  • Поддержка миссий
  • Контрразведка
• Мониторинг инфраструктуры
  • Инвентаризация
  • Новостройка
  • Проверка соответствия построенного запланированному
  • Соответствие требованиям и безопасность

Сбор геопространственных видеоданных

Приложение видео в ArcGIS Pro использует данные, собранные при помощи различных платформ дистанционного зондирования. Видеоданные и метаданные собираются одновременно, и метаданные кодируются в видеофайл либо в режиме реального времени на борту сенсорной платформы, либо позже на этапе обработки, называемом мультиплексированием.

Видеоданные собираются с различных сенсорных платформ, включая следующие:

• Дроны (UAV, UAS и RPV)
• Стационарные и вертолетные воздушные платформы
• Орбитальные космические датчики
• Камеры, установленные на транспортном средстве
• Портативные мобильные устройства и камеры
• Стационарные устройства для постоянного наблюдения

Поддерживаемые форматы видео, включая форматы с высоким разрешением 4K, перечислены в таблице ниже:

Описание	Расширение
Файл AOMedia Video 1	.av1
Audio Video Interleaved	.avi
Видео файл¹ H264	.h264
Видео файл¹ H265	.h265
HLS (Адаптивная скорость передачи данных (ABR))	.m3u8
Файл MOV	.mov
MPEG-2 Transport Stream	.ts
MPEG-2 Program Stream	.ps
M2TS Transport Stream	.m2ts
Файл MPEG	.mpg
Файл MPEG-2	.mpg2
Файл MPEG-2	.mp2
Файл MPEG	.mpeg
MPEG-4 Movie	.mp4
Файл MPEG-4	.mpg4
MPEG-Dash	.mpd
VLC (mpeg2)	.mpeg2
Файл VLC Media (mpeg4)	.mpeg4
Файл VLC Media (vob)	.vob
Файл Windows Media Video	.wmv
¹ Требуется мультиплексирование

Системные требования для видео

Минимальные, рекомендованные и оптимальные требования для движущихся изображений в ArcGIS Pro описаны ниже. Минимальные требования поддерживают воспроизведение одного видео. Рекомендуемые требования поддерживают использование инструментов Full Motion Video во время воспроизведения одного видео. Оптимальные требования поддерживают использование видеоинструментов во время воспроизведения нескольких видео.

Элемент	Поддерживаемые и рекомендуемые
CPU	Требуется как минимум 4 ядра с частотой 2,6 ГГц и одновременной многопоточностью. Одновременная многопоточная или гиперпоточная обработка CPU обычно использует два потока на ядро. Многопоточный 2-ядерный процессор будет располагать четырьмя потоками для обработки, а многопоточный 6-ядерный процессор будет включать 12 потоков для обработки. Рекомендуется использовать 6 ядер. Для достижения оптимальной производительности используйте 10 ядер.
GPU	Для графического процессора минимально необходимо NVIDIA с CUDA Compute Capability 3.7, рекомендуется использовать 6.1 или более новую версию. См. список видеокарт с поддержкой CUDA, чтобы определить вычислительные возможности вашего графического процессора. Для повышения производительности рекомендуется использовать драйвер графического процессора NVIDIA версии 531.61 или выше. Для выделенной графической памяти требуется минимум 4 ГБ. Рекомендуется использовать 8 ГБ или более, в зависимости от количества одновременно активных видеороликов.

Возможности геопространственного видео

Видео поддерживает множество разнообразных операционных сред, от информирования о критических ситуациях во времени и реагирования на чрезвычайные ситуации с использованием потокового видео в реальном времени до анализа ежечасных или ежедневных архивных видеозаписей для мониторинга и экспертного анализа исторических архивных данных. Для каждого типа приложений требуются интуитивно понятные инструменты визуализации и анализа, позволяющие быстро идентифицировать и записывать интересующие объекты или ситуации, а также распространять полученную информацию среди лиц, принимающих решения, и заинтересованных сторон. Возможности видео для поддержки принятия решений разделены на основные функции, описанные ниже.

Контекстно-зависимые вкладки видео

Когда вы загружаете видео на карту и выбираете его на панели Содержание, появляются контекстно-зависимые вкладки Автономное видео, Плеер, Метаданные и Отслеживание объектов.

Вкладка Автономное видео

При загрузке видео в отображение, файл видео появляется в списке на панели Содержание, и становится доступной вкладка Автономное видео. Инструменты на вкладке Автономное видео позволяют управлять видеоданными. Эта вкладка разделена на группы Открыть, Закладки, Сохранить и Управление.

Инструменты на вкладке Автономное видео описаны в разделе Вкладка Автономное видео.

Вкладка Плеер

Вкладка Плеер является контекстно-зависимой и активизируется, когда вы выбираете видео на панели Содержание.

Вкладка Плеер содержит инструменты для навигации в видео, добавления и управления графикой, а также просмотра метаданных видео. Эти инструменты также доступны в плеере.

Операции инструментов включают масштабирование вида карты, чтобы показать полный кадр видео на поверхности Земли, отображение трека положения сенсора и вид поля видеокадра на поверхности Земли, а также масштабирование и перемещение карты для следования видео по поверхности Земли. Эти инструменты обеспечивают географический контекст при работе с данными видео.

Вкладка Метаданные

Вкладка Метаданные содержит инструменты, помогающие работать с метаданными геопространственного видео, а также содержит инструменты создания метаданных для статических датчиков и будет расширяться в последующих версиях.

Вкладка Отслеживание объектов

Более подробную информацию о вкладке Отслеживание объектов можно найти в документации Отслеживание объектов в движущихся изображениях.

Видеоплеер

Видеоплеер включает в себя обычные элементы управления видео, такие как воспроизведение, быстрая перемотка вперед, назад, шаг вперед, шаг назад, переход к началу или переход к концу видео. Вы можете увеличивать и уменьшать масштаб видео, пока оно находится в режиме воспроизведения или в режиме паузы. Видеоплеер работает с картой, глобальными и локальными сценами. Функция Ориентировать камеру сцены ориентирует камеру вида сцены в соответствии с перспективой видеосенсора и включается только для локальных и глобальных сцен.

К дополнительным инструментам относятся захват, аннотирование и сохранение видеозакладок, захват отдельных видеокадров как изображений и экспорт видеоклипов.

Закладки

Создание видеозакладок - важная функция для записи явления и объектов интереса при выполнении анализа видео. Закладки видео можно собирать в разных режимах воспроизведения видео, таких как воспроизведение, пауза, быстрая перемотка вперед и обратная перемотка. Закладки можно описать на панели Закладки, которая открывается при сборе видеозакладок. Закладки собираются и управляются на панели Закладки, доступной на вкладке ArcGIS Pro Карта в группе Навигация.

Добавление метаданных в видео

Вы можете использовать только видео, содержащие основные метаданные, в движущихся изображениях. Бортовые системы сбора видеоданных профессионального уровня обычно собирают необходимые метаданные и кодируют их в видеофайл в режиме реального времени. Эти данные легко вводятся напрямую в приложение Full Motion Video в режиме прямой трансляции или из архивированного файла.

Системы сбора видео бытового уровня часто создают отдельные файлы видеоданных и метаданных, которые необходимо объединить в один видеофайл, совместимый с метаданными. Этот процесс выполняется в программном обеспечении и называется мультиплексированием. Full Motion Video включает инструмент Видео мультиплексор, который кодирует нужные метаданные в правильное местоположение файла видео, чтобы получить отдельный видеофайл, совместимый с метаданными. Каждый файл видео и метаданных использует временные метки для синхронизации кодирования нужных метаданных в правильное местоположение в файле видео.

Метаданные генерируются с помощью соответствующих датчиков, таких как GPS для определения положения x, y, z, высотомера и инерциального измерительного блока (IMU), или других источников данных для ориентации камеры. Файл метаданных должен быть в формате значений, разделенных запятыми (CSV).

Метаданные видео используются для вычисления траектории полета видео-сенсора, центра кадра изображения видео и контура на поверхности Земли кадров изображений видео. Full Motion Video также поддерживает спецификацию метаданных Motion Imagery Standards Board (MISB). Все предоставленные параметры MISB будут закодированы в итоговое, совместимое с метаданными видео.

Один набор параметров движущихся изображений включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться. В противном случае приложение вычислит контур видео на основе поднабора обязательных параметров.

Чтобы вычислить и отобразить относительные угловые точки рамки видеокадра в виде контура кадра на карте, необходимы 12 полей метаданных, перечисленных ниже:

• Точная временная отметка
• Широта сенсора
• Долгота сенсора
• Эллипсоидальная высота сенсора или Истинная высота сенсора
• Угол направления платформы
• Угол тангажа платформы
• Угол крена платформы
• Угол относительного тангажа сенсора
• Угол относительной высоты сенсора
• Угол относительного азимута сенсора
• Горизонтальное поле зрения сенсора
• Вертикальное поле зрения сенсора
• Дальность

Если метаданные заполнены точно и полностью, приложение рассчитает углы видеокадра, а также размер, форму и положение контура видеокадра, которые затем можно будет отобразить на карте. Эти 13 полей составляют минимум метаданных, который нужен для вычисления трансформирования между видео и картой, чтобы показать контур видео на карте, а также включить другие функции, такие как оцифровка и отметки на видео и на карте.

Full Motion Video поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в движущемся изображении. Если данные VMTI записаны в файл, отдельный от связанного с ним файла видео, их можно закодировать в этот видеофайл с помощью инструмента Видео Мультиплексор.

Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные. Если метаданные неточны или содержат аномалии, эти несоответствия будут закодированы в видео и отображены на карте при воспроизведении видео. Если файл metadata.csv содержит только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, местоположение сенсора будет показано на карте, но контуры кадров видео отображаться не будут, и некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не будет поддерживаться.

Метаданные можно ввести в шаблон метаданных Video_Multiplexer_Field_Mapping_Template.csv в папке C:\Program Files\ArcGIS\Pro\Resources\MotionImagery. Этот шаблон содержит 12 основных полей метаданных, необходимых для вычисления контура видеокадра. Если имена полей метаданных не соответствуют именам, необходимым для шаблона метаданных, их можно сопоставить с именами полей шаблона метаданных в шаблоне Video_Multiplexer_Field_Mapping_Template.csv.

В идеале данные видео и метаданные синхронизируются по времени. Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение датчика на карте будет смещено относительно вида в видеоплеере. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить время метаданных, чтобы они соответствовали видео. Временной сдвиг применяется путем создания и ввода дополнительного файла .csv в Видео Мультиплексор, которые идентифицирует местоположение сдвига в видео и связанное с ним несоответствие во времени. Используйте шаблон Video_Multiplexer_TimeShift_Template.csv в папке C:\Program Files\ArcGIS\Pro\Resources\MotionImagery, чтобы настроить сдвиги. Шаблон содержит столбцы с надписьюelapsed time, представляющие местоположение в видео, где происходит временной сдвиг, и time shift, указывающие величину временного сдвига. Если временной сдвиг между видео и метаданными не является постоянным, в шаблоне можно перечислить несколько положений в видео с соответствующим временным сдвигом. Это указывает мультиплексору, где разместить соответствующие метаданные относительно времени видео.

Отслеживание объектов

Full Motion Video поддерживает два метода отслеживания объектов: видео индикация движущихся целей (VMTI) и отслеживание на основе глубокого обучения. Методы VMTI отслеживают объекты вручную или автоматически и кодируют положение объекта в определенном кадре видео. Каждый объект имеет идентификатор (ID) и ограничивающий прямоугольник, связанный с объектом, сохраненный в архивированном видео. При воспроизведении видео показывается информация, связанная с объектом VMTI. Для Full Motion Video необходимо, чтобы метаданные кодированного видео соответствовали стандарту индикатора Motion Imagery Standards Board (MISB) Video Moving Target Indicator или стандарту Track Metadata (ST 0903).

Возможность отслеживания объектов на основе глубокого обучения предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на технологию глубокого обучения, чтобы помочь в выявлении, извлечении и сопоставлении объектов. Постройте модель глубокого обучения для идентификации определенных объектов и классов пространственных объектов и используйте набор инструментов для идентификации, выбора и отслеживания этих объектов интереса. Можно оцифровать центроиды прямоугольников идентификации объектов и сохранить их как класс точек в базе геоданных проекта. Затем можно отобразить объекты при воспроизведении архивного видео.

Примечание:

Вы должны установить пакеты среды глубокого обучения, чтобы выполнять отслеживание объектов на основе глубокого обучения. Более подробно см. системные требования.

Краткая информация

Геопространственные характеристики Full Motion Video хорошо подходят для проведения анализа в реальном времени или экспертного анализа, а также для информирования о ситуации. Возможность проецировать и отображать контур видеокадра и траекторию полета на карте придает видео важный контекст и позволяет осуществлять двунаправленный сбор объектов в видеоплеере и на карте.

Эти возможности, вместе с аннотированными закладками видео, позволяют аналитику идентифицировать определенные кадры или сегменты видео для дальнейшего анализа и делиться этой информацией с другими заинтересованными сторонами. Интегрируя видео, совместимое с FMV, с полной функциональностью ГИС, вы можете синтезировать важную контекстуальную информацию для поддержки принятия обоснованных решений в операционной среде.