Видео-Мультиплексор (Image Analyst)

Доступно с лицензией Image Analyst.

Краткая информация

Создает FMV-совместимый видео файл, который сочетает архивный видео файл и файл метаданных, синхронизированные по временным меткам.

Инструмент создает единый FMV-совместимый видео файл на основе потокового видео файла и отдельного связанного с ним файла с метаданными. Метаданные кодируются в видео файл и синхиронизируются по временной метке. Процесс комбинации двух файлов, содержащих файлы видео и метаданных, называется мультиплексацией.

Использование

• Этот инструмент предназначен для архивных видео файлов и не работает с потоковым видео в реальном времени.

• Формат видео файла, который нужно мультиплексировать, должен соответствовать одному из поддерживаемых видео форматов. Отдельный файл метаданных должен быть файлом с разделителями-запятыми (CSV), в котором содержатся корректные заголовки полей и связанные значения.

• Поддерживаемые форматы видео для этого инструмента перечислены в таблице ниже:

  Описание	Дополнительный модуль
  MPEG-2 Transport Stream	.ts
  MPEG-2 Program Stream	.ps
  Файл MPEG	.mpg
  Файл MPEG-2	.mpg2
  Файл MPEG-2	.mp2
  Файл MPEG	.mpeg
  VLC (mpeg2)	.mpeg2
  MPEG-4 Movie	.mp4
  Файл MPEG-4	.mpg4
  MPEG-Dash	.mpd
  Файл видео H264	.h264
  Файл VLC Media (mpeg4)	.mpeg4
  Файл VLC Media (vob)	.vob

• Инструмент создает выходной видеофайл только в формате .ts.

• Метаданные, связанные с потоковым видео файлом, используются для вычисления пути пролета видео-сенсора, центра кадра изображения видео и четырех углов рамки кадра видео на карте.

• FMV поддерживает спецификацию Motion Imagery Standards Board (MISB). Полная спецификация MISB определяет гораздо больше параметров, чем необходимо для FMV. Указанные параметры MISB будут закодированы в финальное видео, включая все параметры их поднабора.

• Чтобы вычислить и показать соответствующие угловые точки рамки кадра видео в виде контура рамки на карте, вам нужно 12 отдельных полей в метаданных, которые указаны ниже с деталями в описании параметров. Если метаданные заполнены точно и полностью, инструмент вычислит углы рамки видео, поэтому размер, форма и расположение рамки кадра видео затем может быть показано на карте.

  • Точная временная отметка
  • Широта сенсора
  • Долгота сенсора
  • Эллипсоидальная высота сенсора или Истинная высота сенсора
  • Угол направления платформы
  • Угол тангажа платформы
  • Угол крена платформы
  • Угол относительного тангажа сенсора
  • Угол относительной высоты сенсора
  • Угол относительного азимута сенсора
  • Горизонтальное поле зрения сенсора
  • Вертикальное поле зрения сенсора

  Это минимальный набор метаданных, который нужен для вычисления перехода между видео и картой, показать контур видео на карте, а также включить другие функции вроде оцифровки и пометок видео на карте.

• Значения для полей метаданных могут быть введены в шаблоне метаданных, FMV_Multiplexer_Field_Mapping_Template.csv, из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

  • Файл FMV_Multiplexer_Field_Mapping_Template.csv содержит все поля метаданных MISB.
  • Для создания FMV-совместимого видео файла нужно только 12 параметров, указанных выше. Вам не нужно задавать все параметры, указанные в спецификации MISB, чтобы создать FMV-совместимый видео файл. Если заданы дополнительные параметры MISB, они будут встроены в FMV-совместимый видео файл.

• Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные.

  • Если в вашем файле FMV_Multiplexer_Field_Mapping_Template.csv содержатся только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, то местоположение сенсора будет показано на карте, но рамки кадров видео отображаться не будут. Некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не поддерживается.
  • Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение сенсора на карте будет смещено относительно вида в видео-проигрывателе. В таком случае используйте шаблон FMV_Multiplexer_TimeShift_Template.csv для выравнивания времени вашего видео и метаданных.
    • Шаблон FMV_Multiplexer_TimeShift_Template.csv находится в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

• Один набор параметров в файле FMV_Multiplexer_Field_Mapping_Template.csv включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться при создании FMV-совместимого видео. Если координат карты для четырех углов нет, укажите источник данных ЦМР в параметр Цифровая модель рельефа, после чего инструмент вычислит контур видео на основе указанных выше параметров.

• Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например, 15 футов или 10 метров. Для случая под поверхностью вы можете указать -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Рекомендуется указать слой ЦМР или сервис изображений, если он есть.

• FMV поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в Motion Imagery. Если данные VMT записаны в файл, отдельный от связанного с ним видеофайла, их можно закодировать в этот видеофайл с помощью инструмента Видео-Мультиплексор. FMV соответствует стандарту MISB Video Moving Target Indicator and Track Metadata.

  Закодируйте данные VMTI в видео, предоставив необходимую информацию VMTI для соответствующего видеокадра, используя файл метаданных .csv, содержащий данные для полей:

  • LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
  • 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645

  Последний столбец, vmtilocaldataset, содержит ограничивающую рамку обнаруженного объекта, где каждое значение, разделенное пробелами, определяется тремя значениями: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.

  Вы можете задать выявления нескольких объектов для данной метки времени, используя ; (точку с запятой) в качестве разделителя, как показано в приведенном выше примере.

  Используйте MISB Tag 74 в файле FMV_Multiplexer_Field_Mapping_Template.csv.

Параметры

Диалог

Подпись	Описание	Тип данных
Входной файл видео	Входной файл видео, который будет конвертирован в FMV-совместимый видео файл. Поддерживаются следующие типы видео файлов: .avi (поддерживает H.264, но не H.265), .h264, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts и vob.	File
Файл метаданных	Файл с разделителями в виде запятых (CSV), содержащий метаданные видеокадров для указанного времени. Каждый столбец соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка - это Unix Time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды), может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей перечислены в файле FMV_Multiplexer_Field_Mapping_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo, либо пользовательские имена полей должны быть сопоставлены с соответствующими именами полей FMV, которые используются в шаблоне. Каждая последующая строка содержит значения метаданных для указанного времени, которое называется временной меткой. Имена полей метаданных могут идти в любом порядке, а именовать их следует так, как указано в шаблоне FMV_Multiplexer_Field_Mapping_Template.csv, чтобы имена полей в метаданных были корректно сопоставлены с именами полей метаданных FMV.	File
Выходной видео файл	Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл .ts.	File
Файл сопоставления метаданных (Дополнительный)	Файл CSV , содержащий 5 столбцов и 87 строк, основан на файле шаблона FMV_Multiplexer_Field_Mapping_Template.csv, полученного из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Этот файл CSV файл перекрестно ссылается на имя поля метаданных по отношению к имени поля FMV. Каждая строка представляет один из параметров стандартных метаданных, например, высоту сенсора. Первые два столбца содержат информацию для тега и имени параметра MISB, которые уже указаны в форме. Третий столбец содержит имя поля, которое появляется в параметре Входной файл метаданных. Когда третий столбец заполнен, инструмент может сопоставить ваши имена поля метаданных с соответствующими тегами метаданных FMV.	File
Файл сдвига во времени (Дополнительный)	Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случае, контур изображения в видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне FMV_Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Файл наблюдений сдвига по времени представляет собой файл CSV, содержащий два столбца (elapsed time и time shift), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видео-изображения есть 5-секундное отставание от основного времени, то в файле наблюдений сдвига по времени будет только одна строка: 0:00, -5. Все видео будет сдвинуто на 5 секунд. Если есть 5-секундная задержка на отметке 0:18 видео и 9-секундная задержка на отметке 2:21 видео, то в файле наблюдения сдвигов по времени будет две строки: 0:18, -5 2:21, -9 В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига.	File
Цифровая модель рельефа (Дополнительный)	Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно включать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например, 15 футов или 10 метров. Для случая под поверхностью вы можете указать -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если вы не знаете среднюю высоту для области проекта, используйте ЦМР.	Raster Layer; Image Service; Linear Unit

Python

VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer})

Имя	Описание	Тип данных
in_video_file	Входной файл видео, который будет конвертирован в FMV-совместимый видео файл. Поддерживаются следующие типы видео файлов: .avi (поддерживает H.264, но не H.265), .h264, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts и vob.	File
metadata_file	Файл с разделителями в виде запятых (CSV), содержащий метаданные видеокадров для указанного времени. Каждый столбец соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка - это Unix Time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды), может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей можно сопоставить с соответствующими именами полей, используя при необходимости файл FMV_Multiplexer_Field_Mapping_Template.csv. Каждая последующая строка содержит значения метаданных для указанного времени в поле времени. Шаблон FMV_Multiplexer_Field_Mapping_Template.csv находится в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.	File
out_video_file	Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл .ts.	File
metadata_mapping_file (Дополнительный)	Файл CSV , содержащий 5 столбцов и 87 строк, основан на файле шаблона FMV_Multiplexer_Field_Mapping_Template.csv, полученного из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Каждая строка представляет один из тегов стандартных метаданных MISB, например, высоту сенсора. Первые два столбца содержат индекс MISB и имя тега MISB. Третий столбец содержит имя поля, которое появляется в параметре in_metadata_file, если он есть. Когда третий столбец заполнен, инструмент может сопоставить ваши имена поля метаданных с соответствующими тегами метаданных FMV. Четвертый и пятый столбцы представляют единицы измерения и примечания, связанные с тегом, соответственно.	File
timeshift_file (Дополнительный)	Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случае, контур изображения в видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне FMV_Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Файл наблюдений сдвига по времени представляет собой файл CSV, содержащий два столбца (elapsed time и time shift), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видео-изображения есть 5-секундное отставание от основного времени, то в файле наблюдений сдвига по времени будет только одна строка: 0:00, -5. Все видео будет сдвинуто на 5 секунд. Если есть 5-секундная задержка на отметке 0:18 видео и 9-секундная задержка на отметке 2:21 видео, то в файле наблюдения сдвигов по времени будет две строки: 0:18, -5 2:21, -9 В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига.	File
elevation_layer (Дополнительный)	Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно включать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например, 15 футов или 10 метров. Для случая под поверхностью вы можете указать -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если вы не знаете среднюю высоту для области проекта, используйте ЦМР.	Raster Layer; Image Service; Linear Unit

Пример кода

VideoMultiplexer пример 1 (окно Python)

В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.

arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
                              r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
                              r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif”)

VideoMultiplexer пример 2 (автономный скрипт)

В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.

import arcpy
from arcpy.ia import *

arcpy.CheckOutExtension("ImageAnalyst")

in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"

arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)

Параметры среды

Этот инструмент не использует параметры среды геообработки

Информация о лицензиях

• Basic: Обязательно Image Analyst
• Standard: Обязательно Image Analyst
• Advanced: Обязательно Image Analyst