Multiplexeur vidéo (Image Analyst)

Disponible avec une licence Image Analyst.

Synthèse

Crée un seul fichier vidéo conforme FMV (Full Motion Video) qui combine un fichier de flux vidéo archivé et un fichier de métadonnées associées synchronisés par un horodatage. Le processus de combinaison des deux fichiers contenant les fichiers vidéo et de métadonnées se nomme le multiplexage.

Utilisation

  • L’outil est conçu pour les fichiers vidéo archivés et ne fonctionne pas avec les flux vidéo en direct.

  • Le format du fichier vidéo à multiplexer doit être l’un des formats vidéo pris en charge. Le fichier de métadonnées distinct est un fichier CSV (valeurs séparées par des virgules), JSON ou GPX (GPS Exchange Format) qui contient les en-têtes de champ appropriés et les valeurs associées.

  • Les formats vidéo pris en charge en entrée de l’outil sont répertoriés dans le tableau suivant :

    DescriptionExtension

    Fichier MOV

    .mov

    Flux de transport MPEG-2

    .ts

    Flux de programme MPEG-2

    .ps

    Fichier MPEG

    .mpg

    Fichier MPEG-2

    .mpg2

    Fichier MPEG-2

    .mp2

    Fichier MPEG

    .mpeg

    VLC (mpeg2)

    .mpeg2

    Film MPEG-4

    .mp4

    Fichier MPEG-4

    .mpg4

    MPEG-Dash

    .mpd

    Fichier vidéo H264¹

    .h264

    Fichier vidéo H265¹

    .h265

    Fichier média VLC (mpeg4)

    .mpeg4

    Fichier média VLC (vob)

    .vob

    HLS (à débit adaptatif [Adaptive Bitrate ou ABR])

    .m3u8

    ¹ Nécessite une opération de multiplexage

  • Le fichier vidéo en sortie de l’outil est uniquement au format .ts.

  • Les métadonnées associées au fichier de flux vidéo permettent de calculer la trajectoire de vol du capteur vidéo, le centre de l’image vidéo et les quatre angles de l’emprise de l’image vidéo sur la carte.

  • FMV prend en charge la spécification MISB (Motion Imagery Standards Board). La spécification MISB complète définit beaucoup plus de paramètres que ceux requis pour FMV. Les paramètres MISB fournis sont codés dans la vidéo finale, en intégrant tous les paramètres ou un sous-ensemble.

  • Pour calculer et afficher les points d’angle relatifs de l’emprise de l’image vidéo en tant que contour de l’image sur la carte, vous avez besoin des 12 champs de métadonnées essentiels indiqués ci-dessous et expliqués plus en détail dans la description des paramètres. Une fois les métadonnées terminées et exactes, l’outil calcule les angles de l’image vidéo, ainsi que la taille, la forme et la position du contour de l’image vidéo qui peut ensuite s’afficher sur une carte.

    • Horodatage de précision
    • Latitude du capteur
    • Longitude du capteur
    • Hauteur ellipsoïdale du capteur ou altitude réelle du capteur
    • Angle de cap de la plateforme
    • Angle de tangage de la plateforme
    • Angle de roulis de la plateforme
    • Angle de roulis relatif du capteur
    • Angle d’élévation relative du capteur
    • Angle d’azimut relatif du capteur
    • Champ de vision horizontal du capteur
    • Champ de vision vertical du capteur

    Il s’agit des métadonnées minimales requises pour calculer la transformation entre la vidéo et la carte, afficher l’emprise vidéo sur la carte et activer d’autres fonctions telles que la numérisation et le marquage sur la vidéo et la carte.

  • Les valeurs des champs de métadonnées peuvent être indiquées en entrée dans le fichier de modèle de métadonnées FMV_Multiplexer_Field_Mapping_Template.csv à partir de C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

    • Le fichier FMV_Multiplexer_Field_Mapping_Template.csv contient tous les champs de métadonnées MISB.
    • Seuls les 12 paramètres définis ci-dessus sont nécessaires pour créer le fichier vidéo compatible avec FMV. Vous n’avez pas besoin de fournir tous les paramètres définis dans la spécification MISB pour créer un fichier vidéo compatible avec FMV. Si des paramètres MISB supplémentaires sont fournis, ils sont codés dans le fichier vidéo compatible avec FMV.

  • Les performances du fichier vidéo multiplexé obtenu dépendent du type et de la qualité des données contenues dans le fichier de métadonnées, ainsi que de l’exactitude avec laquelle les données vidéo et les fichiers de métadonnées sont synchronisés.

    • Si le fichier FMV_Multiplexer_Field_Mapping_Template.csv contient uniquement des champs UNIX Time Stamp, Sensor Latitude et Sensor Longitude, la localisation du capteur s’affiche sur la carte, mais l’emprise des images vidéo n’apparaît pas. Certaines fonctions, telles que la numérisation des entités et la mesure de distance dans la vidéo, ne sont pas prises en charge.
    • Si l’horodatage qui lie la vidéo et les métadonnées n’est pas synchronisé avec exactitude, l’emprise vidéo et la localisation du capteur sur la carte sont décalés de la vue dans le lecteur vidéo. Dans ce cas, utilisez le modèle FMV_Multiplexer_TimeShift_Template.csv dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo pour ajuster le minutage de la vidéo et des métadonnées.
  • Un ensemble de paramètres dans le fichier FMV_Multiplexer_Field_Mapping_Template.csv comprend les coordonnées cartographiques des quatre angles de l’image vidéo projetée au sol. Si les coordonnées cartographiques des quatre angles sont fournies, elles sont utilisées pour créer la vidéo compatible avec FMV. Si les coordonnées cartographiques des quatre angles ne sont pas fournies, indiquez une source pour les données MNE dans le paramètre Modèle numérique d’élévation pour que l’outil calcule l’emprise vidéo à partir des paramètres requis répertoriés ci-dessus.

  • La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Si vous n’avez pas accès aux données MNE, vous pouvez indiquer une élévation moyenne et une unité par rapport au niveau de la mer (15 pieds ou 10 mètres, par exemple). Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres, par exemple. Une élévation moyenne ou une profondeur océanique n’offre pas la même précision que des données MNE ou bathymétriques. Il est recommandé de fournir un service d’imagerie ou une couche MNE, le cas échéant.

  • FMV prend en charge les données VMTI (Video Moving Target Indicator), selon des méthodes de suivi des objets dans l’imagerie animée. Si les données VMTI sont enregistrées dans un fichier distinct du fichier vidéo associé, elles peuvent être codées dans le fichier vidéo à l’aide de l’outil Multiplexeur vidéo. FMV prend en charge la norme Video Moving Target Indicator and Track Metadata MISB.

    Encodez les données VMTI dans la vidéo en fournissant les informations VMTI nécessaires à l’image vidéo appropriée à l’aide d’un fichier de métadonnées .csv, .json ou .gpx contenant les données des champs :

    • LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
    • 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645

    La dernière colonne, vmtilocaldataset, contient la zone de délimitation de l’objet détecté, où chaque valeur séparée par un espace est définie par trois valeurs : Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.

    Vous pouvez spécifier plusieurs détections d’objets pour un horodatage donné avec un délimiteur point-virgule (;), comme illustré dans l’exemple ci-dessus.

    Utilisez MISB Tag 74 dans le fichier FMV_Multiplexer_Field_Mapping_Template.csv.

Paramètres

ÉtiquetteExplicationType de données
Fichier vidéo en entrée

Le fichier vidéo en entrée à convertir en fichier vidéo compatible avec FMV.

Les types de fichiers suivants sont pris en charge : .avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts et .vob.

File
Fichier de métadonnées

Fichier .csv, .json ou .gpx contenant des métadonnées relatives aux images vidéo pendant des durées spécifiques.

Chaque colonne du fichier de métadonnées représente un champ de métadonnées, et l’une des colonnes doit être une référence temporelle. La référence temporelle est l’horodatage UNIX (secondes écoulées depuis 1970) multiplié par un million, stockée sous la forme d’un entier. L’heure est stockée ainsi de manière à pouvoir référencer chaque instant dans le temps (jusqu’à un millionième de seconde) avec un entier. Par conséquent, une différence temporelle de 500 000 entre deux entrées représente une moitié de seconde dans le temps écoulé.

La première ligne contient les noms de champ des colonnes de métadonnées. Ces noms de champ sont répertoriés dans le fichier FMV_Multiplexer_Field_Mapping_Template.csv accessible dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Les noms de champ personnalisés peuvent également être appariés à leurs noms de champ FMV correspondants à l’aide du modèle. Chaque ligne suivante contient les valeurs de métadonnées d’une heure spécifique, ce qui s’appelle un horodatage.

Les noms de champ de métadonnées peuvent se trouver dans n’importe quel ordre et doivent respecter exactement la liste du modèle FMV_Multiplexer_Field_Mapping_Template.csv afin d’apparier les noms de champ de métadonnées aux noms de champ de métadonnées FMV appropriés.

File
Fichier vidéo en sortie

Nom du fichier vidéo en sortie, avec l’extension de fichier.

Le fichier vidéo en sortie pris en charge est un fichier .ts.

File
Fichier d’appariement des métadonnées
(Facultatif)

Fichier .csv contenant 5 colonnes et 87 lignes et qui s’appuie sur le modèle de fichier FMV_Multiplexer_Field_Mapping_Template.csv obtenu à partir de C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

Ce fichier .csv établit une référence croisée entre le nom de champ de métadonnées et le nom de champ FMV. Chaque ligne représente l’un des paramètres de métadonnées de la norme, par exemple la latitude du capteur. Les deux premières colonnes indiquent les informations relatives à la balise et au nom du paramètre MISB fournies dans le formulaire. La troisième colonne contient le nom de champ tel qu’il apparaît dans le paramètre Fichier de métadonnées en entrée. Lorsque la troisième colonne est renseignée, l’outil peut apparier les noms de champ de métadonnées aux balises de métadonnées FMV appropriées.

File
Fichier de décalage temporel
(Facultatif)

Fichier contenant des intervalles de décalage temporel définis.

Idéalement, les images vidéo et les métadonnées sont synchronisées dans le temps. Dans ce cas, l’emprise de l’image FMV entoure les entités qui sont visibles sur l’image vidéo. Il peut arriver que le minutage de la vidéo ne concorde pas avec celui des métadonnées. Cela entraîne un délai de temporisation apparent entre le moment où une entité terrestre est entourée par l’emprise d’image et le moment où cette entité terrestre est visible dans l’image vidéo. Si ce décalage temporel est observable et cohérent, le multiplexeur peut ajuster le minutage des métadonnées pour l’adapter à la vidéo.

En cas de non-concordance entre le minutage de la vidéo et celui des métadonnées, spécifiez le décalage temporel dans le modèle FMV_Multiplexer_TimeShift_Template.csv, qui se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Le fichier des observations de décalage temporel est au format .csv. Il comprend deux colonnes (elapsed time et time shift) et une ou plusieurs lignes de données. Une ligne consacrée aux noms de colonne est facultative.

Par exemple, si l’image vidéo présente un décalage de cinq secondes pour la totalité de la durée, le fichier des observations de décalage temporel comporte une ligne : 0:00, -5. La vidéo dans sa totalité est décalée de cinq secondes.

S’il existe un décalage de cinq secondes à la marque 0:18 de la vidéo et un décalage de neuf secondes à la marque 2:21 de la vidéo, le fichier des observations de décalage temporel comporte les deux lignes suivantes :

0:18, -5
2:21, -9

Dans ce cas, la vidéo est décalée différemment au début et à la fin.

Vous pouvez définir n’importe quel nombre d’intervalles de décalage temporel dans le fichier des observations de décalage temporel.

File
Modèle numérique de terrain
(Facultatif)

Source de l’élévation requise pour calculer les coordonnées d’angle de l’image vidéo. La source peut être une couche, un service d’imagerie ou encore une profondeur océanique ou une élévation du sol moyenne. La valeur de l’élévation moyenne doit inclure les unités de mesure, telles que les mètres, les pieds ou toute autre mesure de longueur.

La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Il est recommandé de fournir un service d’imagerie ou une couche MNE. Si vous n’avez pas accès aux données MNE, vous pouvez indiquer une élévation moyenne et une unité par rapport au niveau de la mer (15 pieds ou 10 mètres, par exemple). Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres, par exemple. Une élévation moyenne ou une profondeur océanique n’offre pas la même précision que des données MNE ou bathymétriques.

Pour calculer les coordonnées d’angle de l’image, la valeur de l’élévation moyenne doit toujours être inférieure à l’altitude ou à la profondeur du capteur enregistrée dans les métadonnées. Par exemple, si la vidéo a été filmée par un capteur situé à une altitude de 10 mètres et plus, une élévation moyenne valide peut être de 9 mètres ou moins. Si une vidéo a été filmée sous l’eau à une profondeur de -10 mètres et plus, l’élévation moyenne valide (par rapport au niveau de la mer) peut être de -11 ou plus. Si la valeur Altitude du capteur est inférieure à la valeur de l’élévation moyenne, les coordonnées des quatre angles ne sont pas calculées pour cet enregistrement. Si vous ne connaissez pas l’élévation moyenne de la zone de projet, utilisez un MNE.

Raster Layer; Image Service; Linear Unit
Système de coordonnées en entrée
(Facultatif)

Système de coordonnées utilisé pour la valeur du paramètre Fichier de métadonnées.

Coordinate System

VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})
NomExplicationType de données
in_video_file

Le fichier vidéo en entrée à convertir en fichier vidéo compatible avec FMV.

Les types de fichiers suivants sont pris en charge : .avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts et .vob.

File
metadata_file

Fichier .csv, .json ou .gpx contenant des métadonnées relatives aux images vidéo pendant des durées spécifiques.

Chaque colonne du fichier de métadonnées représente un champ de métadonnées, et l’une des colonnes doit être une référence temporelle. La référence temporelle est l’horodatage UNIX (secondes écoulées depuis 1970) multiplié par un million, stockée sous la forme d’un entier. L’heure est stockée ainsi de manière à pouvoir référencer chaque instant dans le temps (jusqu’à un millionième de seconde) avec un entier. Par conséquent, une différence temporelle de 500 000 entre deux entrées représente une moitié de seconde dans le temps écoulé.

La première ligne contient les noms de champ des colonnes de métadonnées. Si nécessaire, ces noms de champ peuvent être appariés à leurs noms de champ correspondants à l’aide du fichier FMV_Multiplexer_Field_Mapping_Template.csv dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Chaque ligne suivante contient les valeurs de métadonnées de l’heure indiquée dans le champ de temps.

File
out_video_file

Nom du fichier vidéo en sortie, avec l’extension de fichier.

Le fichier vidéo en sortie pris en charge est un fichier .ts.

File
metadata_mapping_file
(Facultatif)

Fichier .csv contenant 5 colonnes et 87 lignes et qui s’appuie sur le modèle de fichier FMV_Multiplexer_Field_Mapping_Template.csv obtenu à partir de C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

Chaque ligne représente l’une des balises de métadonnées MISB de la norme, par exemple la latitude du capteur. Les deux premières colonnes comportent l’indice MISB et le nom de balise MISB. La troisième colonne contient le nom de champ tel qu’il apparaît dans le paramètre in_metadata_file, le cas échéant. Lorsque la troisième colonne est renseignée, l’outil peut apparier les noms de champ de métadonnées aux balises de métadonnées FMV appropriées. Les quatrième et cinquième colonnes représentent les unités et les remarques associées à la balise, respectivement.

File
timeshift_file
(Facultatif)

Fichier contenant des intervalles de décalage temporel définis.

Idéalement, les images vidéo et les métadonnées sont synchronisées dans le temps. Dans ce cas, l’emprise de l’image FMV entoure les entités qui sont visibles sur l’image vidéo. Il peut arriver que le minutage de la vidéo ne concorde pas avec celui des métadonnées. Cela entraîne un délai de temporisation apparent entre le moment où une entité terrestre est entourée par l’emprise d’image et le moment où cette entité terrestre est visible dans l’image vidéo. Si ce décalage temporel est observable et cohérent, le multiplexeur peut ajuster le minutage des métadonnées pour l’adapter à la vidéo.

En cas de non-concordance entre le minutage de la vidéo et celui des métadonnées, spécifiez le décalage temporel dans le modèle FMV_Multiplexer_TimeShift_Template.csv, qui se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Le fichier des observations de décalage temporel est au format .csv. Il comprend deux colonnes (elapsed time et time shift) et une ou plusieurs lignes de données. Une ligne consacrée aux noms de colonne est facultative.

Par exemple, si l’image vidéo présente un décalage de cinq secondes pour la totalité de la durée, le fichier des observations de décalage temporel comporte une ligne : 0:00, -5. La vidéo dans sa totalité est décalée de cinq secondes.

S’il existe un décalage de cinq secondes à la marque 0:18 de la vidéo et un décalage de neuf secondes à la marque 2:21 de la vidéo, le fichier des observations de décalage temporel comporte les deux lignes suivantes :

0:18, -5
2:21, -9

Dans ce cas, la vidéo est décalée différemment au début et à la fin.

Vous pouvez définir n’importe quel nombre d’intervalles de décalage temporel dans le fichier des observations de décalage temporel.

File
elevation_layer
(Facultatif)

Source de l’élévation requise pour calculer les coordonnées d’angle de l’image vidéo. La source peut être une couche, un service d’imagerie ou encore une profondeur océanique ou une élévation du sol moyenne. La valeur de l’élévation moyenne doit inclure les unités de mesure, telles que les mètres, les pieds ou toute autre mesure de longueur.

La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Il est recommandé de fournir un service d’imagerie ou une couche MNE. Si vous n’avez pas accès aux données MNE, vous pouvez indiquer une élévation moyenne et une unité par rapport au niveau de la mer (15 pieds ou 10 mètres, par exemple). Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres, par exemple. Une élévation moyenne ou une profondeur océanique n’offre pas la même précision que des données MNE ou bathymétriques.

Pour calculer les coordonnées d’angle de l’image, la valeur de l’élévation moyenne doit toujours être inférieure à l’altitude ou à la profondeur du capteur enregistrée dans les métadonnées. Par exemple, si la vidéo a été filmée par un capteur situé à une altitude de 10 mètres et plus, une élévation moyenne valide peut être de 9 mètres ou moins. Si une vidéo a été filmée sous l’eau à une profondeur de -10 mètres et plus, l’élévation moyenne valide (par rapport au niveau de la mer) peut être de -11 ou plus. Si la valeur Altitude du capteur est inférieure à la valeur de l’élévation moyenne, les coordonnées des quatre angles ne sont pas calculées pour cet enregistrement. Si vous ne connaissez pas l’élévation moyenne de la zone de projet, utilisez un MNE.

Raster Layer; Image Service; Linear Unit
input_coordinate_system
(Facultatif)

Système de coordonnées utilisé pour la valeur du paramètre metadata_file.

Coordinate System

Exemple de code

Exemple 1 d’utilisation de la fonction VideoMultiplexer (fenêtre Python)

Cet exemple crée un fichier vidéo qui combine une vidéo archivée et les métadonnées associées.

arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
                              r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
                              r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif”)
Exemple 2 d’utilisation de la fonction VideoMultiplexer (script autonome)

Cet exemple crée un fichier vidéo qui combine une vidéo archivée et les métadonnées associées.

import arcpy
from arcpy.ia import *

arcpy.CheckOutExtension("ImageAnalyst")

in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"

arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)

Environnements

Cet outil n’utilise pas d’environnement de géotraitement.

Informations de licence

  • Basic: Nécessite Image Analyst
  • Standard: Nécessite Image Analyst
  • Advanced: Nécessite Image Analyst

Rubriques connexes