Multiplexeur vidéo (Image Analyst)

Disponible avec une licence Image Analyst.

Synthèse

Crée un fichier vidéo qui combine un fichier de flux vidéo archivé et un fichier de métadonnées associées synchronisés par un horodatage.

L’outil crée un fichier vidéo compatible FMV à partir d’un fichier de flux vidéo et d’un fichier distinct de métadonnées associées. Les métadonnées sont encodées dans le fichier vidéo par un horodatage synchronisé. Le processus de combinaison de deux fichiers contenant la vidéo et les métadonnées est appelé multiplexage.

Utilisation

  • Cet outil est conçu pour les fichiers vidéo archivés et ne fonctionne pas avec les flux vidéo en direct.

  • Le format du fichier vidéo à multiplexer doit être l’un des formats vidéo pris en charge. Le fichier de métadonnées distinct est un fichier CSV (valeurs séparées par des virgules) qui contient les en-têtes de champ appropriés et les valeurs associées.

  • Les formats vidéo pris en charge en entrée de l’outil sont répertoriés dans le tableau suivant :

    DescriptionExtension

    Fichier MOV

    .mov

    Flux de transport MPEG-2

    .ts

    Flux de programme MPEG-2

    .ps

    Fichier MPEG

    .mpg

    Fichier MPEG-2

    .mpg2

    Fichier MPEG-2

    .mp2

    Fichier MPEG

    .mpeg

    VLC (mpeg2)

    .mpeg2

    Film MPEG-4

    .mp4

    Fichier MPEG-4

    .mpg4

    MPEG-Dash

    .mpd

    Fichier vidéo H264¹

    .h264

    Fichier vidéo H265¹

    .h265

    Fichier média VLC (mpeg4)

    .mpeg4

    Fichier média VLC (vob)

    .vob

    HLS (à débit adaptatif [Adaptive Bitrate ou ABR])

    .m3u8

    ¹ Nécessite une opération de multiplexage

  • Le format du fichier vidéo en sortie de l’outil est .ts uniquement.

  • Les métadonnées associées au fichier de flux vidéo servent à calculer la trajectoire de vol du capteur vidéo, le centre de l’image vidéo et les quatre angles de l’emprise sur la carte des images vidéo.

  • FMV prend en charge les spécifications MISB (Motion Imagery Standards Board). La spécification MISB complète définit beaucoup plus de paramètres que ceux requis pour FMV. Les paramètres MISB fournis sont encodés dans la vidéo finale, y compris tous les paramètres ou un sous-ensemble de ces derniers.

  • Pour calculer et afficher les points d’angle relatifs de l’emprise de l’image vidéo en tant que contour de l’image sur la carte, vous avez besoin des 12 champs de métadonnées essentiels répertoriés ci-dessous et décrits de manière détaillée dans la description des paramètres : Une fois les métadonnées complètes et précises, l’outil calcule les angles de l’image vidéo et donc la taille, la forme et la position du contour de l’image vidéo, qui peut alors s’afficher sur la carte.

    • Horodatage de précision
    • Latitude du capteur
    • Longitude du capteur
    • Hauteur ellipsoïdale du capteur ou altitude réelle du capteur
    • Angle de cap de la plateforme
    • Angle de tangage de la plateforme
    • Angle de roulis de la plateforme
    • Angle de roulis relatif du capteur
    • Angle d’élévation relative du capteur
    • Angle d’azimut relatif du capteur
    • Champ de vision horizontal du capteur
    • Champ de vision vertical du capteur

    Il s’agit des métadonnées minimales requises pour calculer la transformation entre la vidéo et la carte, pour afficher l’emprise de la vidéo sur la carte et pour activer d’autres fonctionnalités telles que la numérisation et le marquage de la vidéo et de la carte.

  • Les valeurs des champs de métadonnées peuvent être indiquées en entrée dans le modèle de métadonnées, FMV_Multiplexer_Field_Mapping_Template.csv, à partir de C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

    • Le fichier FMV_Multiplexer_Field_Mapping_Template.csv contient tous les champs de métadonnées MISB.
    • Seuls les 12 paramètres définis ci-dessus sont nécessaires à la création du fichier vidéo compatible FMV. Vous n’avez pas besoin de renseigner les autres paramètres définis dans la spécification MISB pour créer un fichier vidéo compatible FMV. Si des paramètres MISB sont fournis, ils sont encodés dans le fichier vidéo compatible FMV.

  • Les performances du fichier vidéo multiplexé obtenu dépendent du type et de la qualité des données contenues dans le fichier de métadonnées et du degré de précision avec lequel les fichiers de métadonnées et de données vidéo sont synchronisés.

    • Si le fichier FMV_Multiplexer_Field_Mapping_Template.csv contient uniquement des champs UNIX Time Stamp, Sensor Latitude et Sensor Longitude, la localisation du capteur apparaît sur la carte, mais l’emprise des images vidéo ne s’affiche pas. Certaines fonctions, comme la numérisation des entités et la mesure de la distance dans la vidéo, ne sont pas prises en charge.
    • Si l’horodatage qui lie la vidéo et les métadonnées n’est pas synchronisé avec précision, l’emprise de la vidéo et la localisation du capteur sur la carte sont décalées par rapport à la vue dans le lecteur vidéo. Dans ce cas, utilisez le modèle FMV_Multiplexer_TimeShift_Template.csv pour ajuster le minutage de la vidéo et des métadonnées.
      • Le modèle FMV_Multiplexer_TimeShift_Template.csv se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.
  • Un ensemble de paramètres du fichier FMV_Multiplexer_Field_Mapping_Template.csv inclut les coordonnées cartographiques des quatre angles de l’image vidéo projetée au sol. Si les coordonnées cartographiques de ces quatre angles sont fournies, elles sont utilisées lors de la création de la vidéo compatible FMV. Si ces coordonnées ne sont pas fournies, indiquez une source des données vous devez fournir une source pour les données de MNE dans le paramètre Digital Elevation Model (Modèle numérique d’élévation) pour que l’outil calcule l’emprise de la vidéo à partir des paramètres requis indiqués ci-dessus.

  • La précision de l’emprise de la vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Si vous n’avez pas accès aux données MNE, vous pouvez saisir une élévation moyenne et une unité relative au niveau de la mer, comme 15 pieds ou 10 mètres. Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres. L’indication d’une élévation moyenne ou d’une profondeur dans l’océan n’est pas aussi précise que la fourniture d’un MNE ou de données bathymétriques. Il est recommandé de fournir un service d’imagerie ou une couche MNE le cas échéant.

  • FMV prend en charge les données VMTI (Video Moving Target Indicator), basées sur des méthodes de suivi d’objet dans l’imagerie animée. Si les données VMTI sont enregistrées dans un fichier distinct du fichier vidéo associé, elles peuvent être encodées dans le fichier vidéo à l’aide de l’outil Multiplexeur vidéo. FMV prend en charge la norme Video Moving Target Indicator and Track Metadata du MISB.

    Encodez les données VMTI dans la vidéo en fournissant les informations VMTI nécessaires à l’image vidéo appropriée à l’aide d’un fichier de métadonnées .csv contenant les données des champs :

    • LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
    • 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645

    La dernière colonne, vmtilocaldataset, contient la zone de délimitation de l’objet détecté, où chaque valeur séparée par un espace est définie par trois valeurs : Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.

    Vous pouvez spécifier plusieurs détections d’objets pour un horodatage donné avec un délimiteur ; (point-virgule), comme illustré dans l’exemple ci-dessus.

    Utilisez MISB Tag 74 dans le fichier FMV_Multiplexer_Field_Mapping_Template.csv.

Paramètres

ÉtiquetteExplicationType de données
Fichier vidéo en entrée

Fichier vidéo en entrée à convertir en fichier vidéo compatible FMV.

Les types de fichiers suivants sont pris en charge : .avi, .h264, .h265, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts et vob.

File
Fichier de métadonnées

Fichier à valeurs séparées par des virgules (CSV) qui contient des métadonnées concernant les images vidéo à des heures précises.

Chaque colonne représente un champ de métadonnées et l’une des colonnes doit être une référence temporelle. La référence temporelle est l’heure Unix (nombre de secondes écoulées depuis 1970) multipliée par un million, qui est stockée sous forme d’entier. L’heure est stockée de sorte que chaque instant temporel (jusqu’à un millionième de seconde) puisse être référencé à l’aide d’un entier. Par conséquent, une différence temporelle entre les deux entrées de 500 000 représente la moitié d’une seconde dans le temps écoulé.

La première ligne comporte les noms de champ des colonnes de métadonnées. Ces noms de champ sont répertoriés dans le fichier FMV_Multiplexer_Field_Mapping_Template.csv qui se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Les noms de champ personnalisés peuvent également être appariés à leurs noms de champ FMV correspondants à l’aide du modèle. Chaque ligne suivante contient les valeurs de métadonnées d’une date et d’une heure spécifiques, ce qui s’appelle un horodatage.

Les noms de champ de métadonnées peuvent se trouver dans n’importe quel ordre et doivent respecter exactement la liste du modèle FMV_Multiplexer_Field_Mapping_Template.csv pour apparier les noms de champ de métadonnées aux noms de champ de métadonnées FMV appropriés.

File
Fichier vidéo en sortie

Nom de fichier du fichier vidéo en sortie avec son extension.

Seul le format .ts est pris en charge pour le fichier vidéo en sortie.

File
Fichier d’appariement des métadonnées
(Facultatif)

Fichier CSV qui contient 5 colonnes et 87 lignes et qui repose sur le fichier de modèle FMV_Multiplexer_Field_Mapping_Template.csv obtenu dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

Ce fichier CSV établit une référence croisée entre le nom de champ de métadonnées et le nom de champ FMV. Chaque ligne représente un des paramètres des métadonnées de la norme, par exemple la latitude du capteur. Les deux premières colonnes indiquent les informations relatives à la balise et au nom du paramètre MISB déjà fournies dans le formulaire. La troisième colonne contient le nom de champ tel qu’il apparaît dans le paramètre Input Metadata File (Fichier de métadonnées en entrée). Lorsque la troisième colonne est renseignée, l’outil peut apparier les noms de champ de métadonnées aux balises de métadonnées FMV appropriées.

File
Fichier de décalage temporel
(Facultatif)

Fichier contenant des intervalles de décalage temporel définis.

Idéalement, les images vidéo et les métadonnées sont synchronisées dans le temps. Dans ce cas, l’emprise de l’image Full Motion Video entoure les entités qui sont visibles sur l’image vidéo. Il peut arriver que le minutage de la vidéo ne concorde pas avec celui des métadonnées. Il en résulte un décalage apparent entre le moment où une entité au sol est entourée par l’emprise de l’image et le moment où cette entité au sol est visible dans l’image vidéo. Si ce décalage temporel est observable et cohérent, le multiplexeur peut ajuster le minutage des métadonnées pour l’adapter à la vidéo.

En cas de non-concordance entre le minutage de la vidéo et celui des métadonnées, spécifiez le décalage temporel dans le modèle FMV_Multiplexer_TimeShift_Template.csv qui se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Le fichier des observations de décalage temporel est au format CSV. Il comprend deux colonnes (elapsed time et time shift) et une ou plusieurs lignes de données. Une ligne facultative est consacrée aux noms de colonne.

Par exemple, si l’image vidéo présente un décalage de 5 secondes pour la totalité de la durée, le fichier des observations de décalage temporel comporte une ligne 0:00, -5. La vidéo dans sa totalité est décalée de 5 secondes.

S’il existe un décalage de 5 secondes à la marque 0:18 de la vidéo et un décalage de 9 secondes à la marque 2:21 de la vidéo, le fichier des observations de décalage temporel comporte les deux lignes suivantes :

0:18, -5
2:21, -9

Dans ce cas, la vidéo est décalée différemment au début et à la fin.

Vous pouvez définir n’importe quel nombre d’intervalles de décalage temporel dans le fichier des observations de décalage temporel.

File
Modèle numérique de terrain
(Facultatif)

Source de l’élévation requise pour calculer les coordonnées d’angle de l’image vidéo. La source peut être une couche, un service d’imagerie, une élévation moyenne du sol ou une profondeur dans l’océan. La valeur de l’élévation moyenne doit inclure les unités de mesure, telles que les mètres, les pieds ou toute autre mesure de longueur.

La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Il est recommandé d’indiquer un service d’imagerie ou une couche MNE. Si vous n’avez pas accès aux données MNE, vous pouvez saisir une élévation moyenne et une unité relative au niveau de la mer, comme 15 pieds ou 10 mètres. Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres. L’indication d’une élévation moyenne ou d’une profondeur dans l’océan n’est pas aussi précise que la fourniture d’un MNE ou de données bathymétriques.

Pour calculer les coordonnées d’angle de l’image, la valeur de l’élévation moyenne doit toujours être inférieure à l’altitude ou à la profondeur du capteur enregistrée dans les métadonnées. Par exemple, si la vidéo a été filmée par un capteur situé à une altitude de 10 mètres et plus, une élévation moyenne de 9 mètres ou moins est valide. Si une vidéo a été filmée sous l’eau à une profondeur supérieure ou égale à -10 mètres, une élévation moyenne (par rapport au niveau de la mer) inférieure ou égale à -11 est valide. Si la valeur de Sensor Altitude (Altitude du capteur) est inférieure à la valeur de l’élévation moyenne, les coordonnées des quatre angles ne sont pas calculées pour cet enregistrement. Si vous ne connaissez pas l’élévation moyenne de la zone du projet, utilisez un MNE.

Raster Layer; Image Service; Linear Unit

VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer})
NomExplicationType de données
in_video_file

Fichier vidéo en entrée à convertir en fichier vidéo compatible FMV.

Les types de fichiers suivants sont pris en charge : .avi, .h264, .h265, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts et vob.

File
metadata_file

Fichier à valeurs séparées par des virgules (CSV) qui contient des métadonnées concernant les images vidéo à des heures précises.

Chaque colonne représente un champ de métadonnées et l’une des colonnes doit être une référence temporelle. La référence temporelle est l’heure Unix (nombre de secondes écoulées depuis 1970) multipliée par un million, qui est stockée sous forme d’entier. L’heure est stockée de sorte que chaque instant temporel (jusqu’à un millionième de seconde) puisse être référencé à l’aide d’un entier. Par conséquent, une différence temporelle entre les deux entrées de 500 000 représente la moitié d’une seconde dans le temps écoulé.

La première ligne comporte les noms de champ des colonnes de métadonnées. Si nécessaire, ces noms de champ peuvent être appariés à leurs noms de champ correspondants à l’aide du fichier FMV_Multiplexer_Field_Mapping_Template.csv. Chaque ligne suivante contient les valeurs de métadonnées de la date et de l’heure indiquées dans le champ de date/heure. Le modèle FMV_Multiplexer_Field_Mapping_Template.csv se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

File
out_video_file

Nom de fichier du fichier vidéo en sortie avec son extension.

Seul le format .ts est pris en charge pour le fichier vidéo en sortie.

File
metadata_mapping_file
(Facultatif)

Fichier CSV qui contient 5 colonnes et 87 lignes et qui repose sur le fichier de modèle FMV_Multiplexer_Field_Mapping_Template.csv obtenu dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.

Chaque ligne représente une des balises de métadonnées MISB de la norme, par exemple la latitude du capteur. Les deux premières colonnes contiennent l’index MISB et le nom de la balise MISB. La troisième colonne contient le nom de champ tel qu’il apparaît dans le paramètre in_metadata_file, le cas échéant. Lorsque la troisième colonne est renseignée, l’outil peut apparier les noms de champ de métadonnées aux balises de métadonnées FMV appropriées. Les quatrième et cinquième colonnes représentent respectivement les unités et les notes associées à la balise.

File
timeshift_file
(Facultatif)

Fichier contenant des intervalles de décalage temporel définis.

Idéalement, les images vidéo et les métadonnées sont synchronisées dans le temps. Dans ce cas, l’emprise de l’image Full Motion Video entoure les entités qui sont visibles sur l’image vidéo. Il peut arriver que le minutage de la vidéo ne concorde pas avec celui des métadonnées. Il en résulte un décalage apparent entre le moment où une entité au sol est entourée par l’emprise de l’image et le moment où cette entité au sol est visible dans l’image vidéo. Si ce décalage temporel est observable et cohérent, le multiplexeur peut ajuster le minutage des métadonnées pour l’adapter à la vidéo.

En cas de non-concordance entre le minutage de la vidéo et celui des métadonnées, spécifiez le décalage temporel dans le modèle FMV_Multiplexer_TimeShift_Template.csv qui se trouve dans C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Le fichier des observations de décalage temporel est au format CSV. Il comprend deux colonnes (elapsed time et time shift) et une ou plusieurs lignes de données. Une ligne facultative est consacrée aux noms de colonne.

Par exemple, si l’image vidéo présente un décalage de 5 secondes pour la totalité de la durée, le fichier des observations de décalage temporel comporte une ligne 0:00, -5. La vidéo dans sa totalité est décalée de 5 secondes.

S’il existe un décalage de 5 secondes à la marque 0:18 de la vidéo et un décalage de 9 secondes à la marque 2:21 de la vidéo, le fichier des observations de décalage temporel comporte les deux lignes suivantes :

0:18, -5
2:21, -9

Dans ce cas, la vidéo est décalée différemment au début et à la fin.

Vous pouvez définir n’importe quel nombre d’intervalles de décalage temporel dans le fichier des observations de décalage temporel.

File
elevation_layer
(Facultatif)

Source de l’élévation requise pour calculer les coordonnées d’angle de l’image vidéo. La source peut être une couche, un service d’imagerie, une élévation moyenne du sol ou une profondeur dans l’océan. La valeur de l’élévation moyenne doit inclure les unités de mesure, telles que les mètres, les pieds ou toute autre mesure de longueur.

La précision de l’emprise vidéo et du centre de l’image dépend de la précision de la source de données MNE fournie. Il est recommandé d’indiquer un service d’imagerie ou une couche MNE. Si vous n’avez pas accès aux données MNE, vous pouvez saisir une élévation moyenne et une unité relative au niveau de la mer, comme 15 pieds ou 10 mètres. Dans le cas d’un submersible, vous pouvez saisir -15 pieds ou -10 mètres. L’indication d’une élévation moyenne ou d’une profondeur dans l’océan n’est pas aussi précise que la fourniture d’un MNE ou de données bathymétriques.

Pour calculer les coordonnées d’angle de l’image, la valeur de l’élévation moyenne doit toujours être inférieure à l’altitude ou à la profondeur du capteur enregistrée dans les métadonnées. Par exemple, si la vidéo a été filmée par un capteur situé à une altitude de 10 mètres et plus, une élévation moyenne de 9 mètres ou moins est valide. Si une vidéo a été filmée sous l’eau à une profondeur supérieure ou égale à -10 mètres, une élévation moyenne (par rapport au niveau de la mer) inférieure ou égale à -11 est valide. Si la valeur de Sensor Altitude (Altitude du capteur) est inférieure à la valeur de l’élévation moyenne, les coordonnées des quatre angles ne sont pas calculées pour cet enregistrement. Si vous ne connaissez pas l’élévation moyenne de la zone du projet, utilisez un MNE.

Raster Layer; Image Service; Linear Unit

Exemple de code

Exemple 1 d’utilisation de la fonction VideoMultiplexer (fenêtre Python)

Cet exemple crée un fichier vidéo qui combine une vidéo archivée et les métadonnées associées.

arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
                              r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
                              r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif”)
Exemple 2 d’utilisation de la fonction VideoMultiplexer (script autonome)

Cet exemple crée un fichier vidéo qui combine une vidéo archivée et les métadonnées associées.

import arcpy
from arcpy.ia import *

arcpy.CheckOutExtension("ImageAnalyst")

in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"

arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)

Environnements

Cet outil n’utilise pas d’environnement de géotraitement.

Informations de licence

  • Basic: Nécessite Image Analyst
  • Standard: Nécessite Image Analyst
  • Advanced: Nécessite Image Analyst

Rubriques connexes