| Beschriftung | Erläuterung | Datentyp |
Eingabe-Videodatei | Die Eingabe-Videodatei, die in eine FMV-kompatible Videodatei konvertiert wird. Die folgenden Dateitypen werden unterstützt: .avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts und .vob. | File |
Metadaten-Datei | Eine .csv-, .json- oder .gpx-Datei, die Metadaten zu den Videobildern für bestimmte Zeiten enthält. Jede Spalte in der Metadaten-Datei steht für ein Metadaten-Feld. Eine der Spalten muss ein Zeitbezug sein. Der Zeitbezug ist ein UNIX-Zeitstempel (Sekunden nach 1970), multipliziert mit einer Million, der als Ganzzahl gespeichert wird. Die Zeit wird auf diese Weise gespeichert, sodass jeder beliebige Zeitpunkt (bis zu einer Millionstel Sekunde) mit einer Ganzzahl referenziert werden kann. Daher entspricht eine Zeitdifferenz zwischen zwei Einträgen von 500.000 einer halben Sekunde an verstrichener Zeit. Die erste Zeile enthält die Feldnamen für die Metadatenspalten. Diese Feldnamen sind in der Datei FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo aufgelistet, oder Ihre benutzerdefinierten Feldnamen können mithilfe der Vorlage mit den entsprechenden FMV-Feldnamen abgeglichen werden. Jede nachfolgende Zeile enthält die Metadatenwerte für eine bestimmte Zeit, die als Zeitstempel bezeichnet werden. Die Feldnamen der Metadaten können in beliebiger Reihenfolge sein und sollten genau mit der Vorlage FMV_Multiplexer_Field_Mapping_Template.csv übereinstimmen, damit Sie die Metadaten-Feldnamen den richtigen FMV-Metadaten-Feldnamen zuordnen können. | File |
Ausgabe-Videodatei | Der Name der Ausgabe-Videodatei, einschließlich Dateierweiterung. Als Ausgabevideodatei wird eine .ts-Datei unterstützt. | File |
Metadaten-Zuordnungsdatei (optional) | Eine .csv-Datei, die 5 Spalten und 87 Zeilen enthält und auf der FMV_Multiplexer_Field_Mapping_Template.csv-Vorlagendatei basiert, die aus C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo abgerufen wurde. Diese .csv-Datei weist die Metadaten-Feldnamen den FMV-Feldnamen zu. Jede Zeile repräsentiert einen der Standard-Metadatenparameter, wie z. B. den Breitengrad des Sensors. Die ersten beiden Spalten enthalten die Informationen für das Tag und den MISB-Parameternamen, die im Formular angegeben wurden. Die dritte Spalte enthält den Feldnamen, wie er im Parameter Eingabe-Metadatendatei erscheint. Wenn die dritte Spalte ausgefüllt ist, kann das Werkzeug die Metadaten-Feldnamen den richtigen FMV-Metadaten-Tags zuordnen. | File |
Zeitverschiebungsdatei (optional) | Eine Datei mit definierten Zeitverschiebungsintervallen. Im Idealfall sind die Videobilder und die Metadaten zeitlich synchronisiert. In diesem Fall umgibt der Bild-Footprint Features im FMV, die im Videobild zu sehen sind. Manchmal gibt es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten. Dies führt zu einer offensichtlichen Zeitverzögerung zwischen dem Zeitpunkt, an dem ein Boden-Feature vom Bild-Footprint umgeben ist, und dem Zeitpunkt, an dem dieses Boden-Feature im Videobild sichtbar ist. Wenn diese Zeitverschiebung beobachtbar und gleichmäßig ist, kann der Multiplexer die Zeitabläufe der Metadaten an die des Videos anpassen. Wenn es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten gibt, geben Sie die Zeitverschiebung in der Vorlage FMV_Multiplexer_TimeShift_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo an. Die Datei für die Zeitverschiebung ist eine .csv-Datei mit zwei Spalten (elapsed time und time shift) und mit einer oder mehreren Datenzeilen. Eine Zeile für Spaltennamen ist optional. Wenn das Videobild beispielsweise während der gesamten Zeit eine 5-Sekunden-Verzögerung aufweist, enthält die Datei für die Zeitverschiebung folgende Zeile: 0:00, -5. Das gesamte Video wird um fünf Sekunden verschoben. Wenn es eine 5-Sekunden-Verzögerung bei der 0:18-Marke des Videos und eine 9-Sekunden-Verzögerung bei der 2:21-Marke des Videos gibt, weist die Datei für die Zeitverschiebung die folgenden zwei Zeilen auf: In diesem Fall wird das Video am Anfang anders als am Ende verschoben. Sie können in der Datei für die Zeitverschiebung eine beliebige Anzahl von Zeitverschiebungsintervallen definieren. | File |
Digitales Höhenmodell (optional) | Die Quelle der Höhe, die für die Berechnung der Eckkoordinaten des Videobildes benötigt wird. Die Quelle kann ein Layer, ein Image-Service oder eine durchschnittliche Geländehöhe oder Meerestiefe sein. Der durchschnittliche Höhenwert muss die Maßeinheiten wie Meter oder Fuß oder andere Längenmaße umfassen. Die Genauigkeit des Video-Footprints und der Bildmitte hängt von der Genauigkeit der bereitgestellten DEM-Datenquelle ab. Es wird empfohlen, dass Sie einen DEM-Layer oder Image-Service angeben. Wenn Sie keinen Zugriff auf die DEM-Daten haben, können Sie eine durchschnittliche Höhe und Einheit relativ zum Meeresspiegel angeben, z. B. 15 Fuß oder 10 Meter. Im Falle einer Unterwasserleitung können Sie beispielsweise -15 Fuß oder -10 Meter angeben. Die Verwendung einer durchschnittlichen Höhe oder Meerestiefe ist nicht so genau wie die Bereitstellung eines DEM oder bathymetrischer Daten. Zur Berechnung der Bildeckenkoordinaten muss der durchschnittliche Höhenwert immer kleiner sein als die in den Metadaten aufgezeichnete Höhe oder Tiefe des Sensors. Wenn das Video zum Beispiel in einer Sensorhöhe von 10 Metern und höher gefilmt wurde, könnte eine gültige durchschnittliche Höhe 9 Meter oder weniger betragen. Wenn ein Video unter Wasser in einer Tiefe von -10 Metern und tiefer gefilmt wurde, könnte die gültige durchschnittliche Höhe (relativ zum Meeresspiegel) -11 Meter oder tiefer sein. Wenn der Wert für die Höhe des Sensors kleiner als der durchschnittliche Höhenwert ist, werden die vier Eckkoordinaten für diesen Datensatz nicht berechnet. Wenn Sie die durchschnittliche Höhe des Projektgebiets nicht kennen, verwenden Sie ein DEM. | Raster Layer; Image Service; Linear Unit |
Eingabe-Koordinatensystem (optional) | Das Koordinatensystem, das für den Wert des Parameters Metadaten-Datei verwendet werden soll. | Coordinate System |
Mit der Image Analyst-Lizenz verfügbar.
Zusammenfassung
Erstellt eine einzelne Videodatei, die mit Full Motion Video (FMV) kompatibel ist. Sie kombiniert eine archivierte Video-Stream-Datei und eine separate zugehörige Metadatendatei, die einen synchronisierten Zeitstempel aufweisen. Der Prozess der Kombination der beiden Dateien, die die Video- und Metadatendateien enthalten, wird als Multiplexing bezeichnet.
Verwendung
Diese Werkzeug ist für archivierte Videodateien konzipiert und funktioniert nicht bei Live-Video-Streams.
Die Videodatei für das Multiplexing muss eines der unterstützten Formate aufweisen. Bei der separaten Metadatendatei kann es sich um eine Datei mit durch Kommas getrennten Werten (CSV), eine JSON-Datei oder eine GPS Exchange Format-Datei (GPX) handeln, die jeweils die richtigen Feldüberschriften und zugehörigen Werte enthält.
In der folgenden Tabelle sind die als Eingabe für das Werkzeug unterstützten Videoformate aufgeführt:
Beschreibung Erweiterung MOV-Datei
.mov MPEG-2-Transportstrom
.ts MPEG-2-Programmstrom
.ps MPEG-Datei
.mpg MPEG-2-Datei
.mpg2 MPEG-2-Datei
.mp2 MPEG-Datei
.mpeg VLC (mpeg2)
.mpeg2 MPEG-4-Film
.mp4 MPEG-4-Datei
.mpg4 MPEG-DASH
.mpd H264-Videodatei¹
.h264 H265-Videodatei¹
.h265 VLC-Mediendatei (mpeg4)
.mpeg4 VLC-Mediendatei (vob)
.vob HLS (Adaptive Bitrate [ABR])
.m3u8 ¹ Erfordert Multiplexing
Vom Werkzeug werden Videodateien nur im .ts-Format ausgegeben.
Die mit der Video-Stream-Datei verknüpften Metadaten werden verwendet, um den Flugpfad des Videosensors, die Mitte des Videobildes und die vier Ecken des Videobild-Footprints auf der Karte zu berechnen.
FMV unterstützt die Motion Imagery Standards Board (MISB)-Spezifikation. In der vollständigen MISB-Spezifikation sind wesentlich mehr Parameter definiert als für FMV erforderlich. Die bereitgestellten MISB-Parameter werden im endgültigen Video codiert, einschließlich aller Parameter oder einer Teilmenge davon.
Um die relativen Eckpunkte des Videobild-Footprints zu berechnen und als Bildumriss auf der Karte anzuzeigen, benötigen Sie die 12 essenziellen Metadatenfelder, die unten aufgeführt sind und in der Parameterbeschreibung näher erläutert werden. Wenn die Metadaten vollständig und genau sind, berechnet das Werkzeug die Ecken des Videobildes und die Größe, Form und Position des Videobildumrisses, der dann auf einer Karte angezeigt werden kann.
- Präzisionszeitstempel
- Breitengrad des Sensors
- Längengrad des Sensors
- Ellipsoid-Höhe des Sensors oder echte Höhe des Sensors
- Kurs der Plattform
- Neigungswinkel der Plattform
- Rollwinkel der Plattform
- Relativer Rollwinkel des Sensors
- Relativer Höhenwinkel des Sensors
- Relativer Azimutwinkel des Sensors
- Horizontaler sichtbarer Bereich des Sensors
- Vertikaler sichtbarer Bereich des Sensors
Dies sind die minimal erforderlichen Metadaten, um die Transformation zwischen Video und Karte zu berechnen, den Video-Footprint auf der Karte anzuzeigen und andere Funktionen wie die Digitalisierung und Markierung auf dem Video und der Karte zu ermöglichen.
Die Werte für die Metadatenfelder können in die Metadatenvorlagendatei FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo eingegeben werden.
- Die Datei FMV_Multiplexer_Field_Mapping_Template.csv enthält alle MISB-Metadatenfelder.
- Zur Erstellung der FMV-kompatiblen Videodatei sind nur die 12 oben definierten Parameter erforderlich. Sie müssen nicht alle in der MISB-Spezifikation definierten Parameter angeben, um eine FMV-kompatible Videodatei zu erstellen. Wenn zusätzliche MISB-Parameter zur Verfügung gestellt werden, werden diese in der FMV-kompatiblen Videodatei codiert.
Die Leistung der erstellten Multiplexing-Videodatei hängt vom Typ und von der Qualität der in der Metadatendatei enthaltenen Daten sowie davon ab, wie genau die Videodaten und die Metadatendateien synchronisiert sind.
- Wenn die Datei FMV_Multiplexer_Field_Mapping_Template.csv nur die Felder UNIX Time Stamp, Sensor Latitude und Sensor Longitude enthält, wird die Position des Sensors auf der Karte angezeigt, aber der Footprint der Videobilder nicht. Einige Funktionen, wie z. B. die Digitalisierung von Features und die Messung von Entfernungen innerhalb des Videos, werden nicht unterstützt.
- Wenn der Zeitstempel, der das Video und die Metadaten verbindet, nicht genau synchronisiert ist, sind der Video-Footprint und die Sensorposition auf der Karte in der Ansicht im Videoplayer versetzt. Nutzen Sie in diesem Fall die Vorlage FMV_Multiplexer_TimeShift_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo, um die Zeitabläufe des Videos und der Metadaten anzupassen.
Mehrere Parameter in der Datei FMV_Multiplexer_Field_Mapping_Template.csv enthalten die Kartenkoordinaten der vier Ecken des auf den Boden projizierten Videobildes. Wenn die Kartenkoordinaten der vier Eckpunkte angegeben sind, werden sie bei der Erstellung des FMV-kompatiblen Videos verwendet. Wenn die Kartenkoordinaten der vier Eckpunkte nicht angegeben sind, geben Sie eine Quelle für die DEM-Daten im Parameter Digitales Höhenmodell an, und das Werkzeug berechnet den Video-Footprint aus den oben angegebenen erforderlichen Parametern.
Die Genauigkeit des Video-Footprints und der Bildmitte hängt von der Genauigkeit der bereitgestellten DEM-Datenquelle ab. Wenn Sie keinen Zugriff auf die DEM-Daten haben, können Sie eine durchschnittliche Höhe und Einheit relativ zum Meeresspiegel angeben, z. B. 15 Fuß oder 10 Meter. Im Falle einer Unterwasserleitung können Sie beispielsweise -15 Fuß oder -10 Meter angeben. Die Verwendung einer durchschnittlichen Höhe oder Meerestiefe ist nicht so genau wie die Bereitstellung eines DEM oder bathymetrischer Daten. Es wird empfohlen, dass Sie einen DEM-Layer oder Image-Service angeben, falls verfügbar.
FMV unterstützt auf Objektverfolgungsmethoden basierende VMTI-Daten (Video Moving Target Indicator) in bewegten Bilddaten (Motion Imagery). Wenn VMTI-Daten in einer von der verknüpften Videodatei getrennten Datei aufgezeichnet werden, können sie mit dem Werkzeug "Video-Multiplexer" in der Videodatei codiert werden. FMV unterstützt den MISB-Standard Video Moving Target Indicator and Track Metadata.
Codieren Sie die VMTI-Daten in dem Video, indem Sie die erforderlichen VMTI-Informationen für das richtige Videobild mithilfe einer .csv-, .json- oder .gpx-Metadatendatei, die die Daten für die Felder enthält, bereitstellen:
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
Die letzte Spalte, vmtilocaldataset, enthält das umgebende Rechteck des erkannten Objekts. Dabei werden die einzelnen durch Leerzeichen getrennten Werte durch drei Werte definiert: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.
Sie können wie oben im Beispiel gezeigt mit einem Semikolon (;) als Trennzeichen mehrere Objekterkennungen für einen bestimmten Zeitstempel angeben.
Verwenden Sie MISB Tag 74 in der Datei FMV_Multiplexer_Field_Mapping_Template.csv.
Parameter
VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})| Name | Erläuterung | Datentyp |
in_video_file | Die Eingabe-Videodatei, die in eine FMV-kompatible Videodatei konvertiert wird. Die folgenden Dateitypen werden unterstützt: .avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts und .vob. | File |
metadata_file | Eine .csv-, .json- oder .gpx-Datei, die Metadaten zu den Videobildern für bestimmte Zeiten enthält. Jede Spalte in der Metadaten-Datei steht für ein Metadaten-Feld. Eine der Spalten muss ein Zeitbezug sein. Der Zeitbezug ist ein UNIX-Zeitstempel (Sekunden nach 1970), multipliziert mit einer Million, der als Ganzzahl gespeichert wird. Die Zeit wird auf diese Weise gespeichert, sodass jeder beliebige Zeitpunkt (bis zu einer Millionstel Sekunde) mit einer Ganzzahl referenziert werden kann. Daher entspricht eine Zeitdifferenz zwischen zwei Einträgen von 500.000 einer halben Sekunde an verstrichener Zeit. Die erste Zeile enthält die Feldnamen für die Metadatenspalten. Diese Feldnamen können bei Bedarf über die Datei FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo mit den entsprechenden Feldnamen abgeglichen werden. Jede nachfolgende Zeile enthält die Metadatenwerte für eine bestimmte Zeit, die im Zeitfeld angegeben ist. | File |
out_video_file | Der Name der Ausgabe-Videodatei, einschließlich Dateierweiterung. Als Ausgabevideodatei wird eine .ts-Datei unterstützt. | File |
metadata_mapping_file (optional) | Eine .csv-Datei, die 5 Spalten und 87 Zeilen enthält und auf der FMV_Multiplexer_Field_Mapping_Template.csv-Vorlagendatei basiert, die aus C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo abgerufen wurde. Jede Zeile repräsentiert einen der Standard-MISB-Metadaten-Tags, wie z. B. den Breitengrad des Sensors. Die ersten beiden Spalten enthalten den MISB-Index und den MISB-Tag-Namen. Die dritte Spalte enthält den Feldnamen, wie er im Parameter in_metadata_file erscheint (falls vorhanden). Wenn die dritte Spalte ausgefüllt ist, kann das Werkzeug die Metadaten-Feldnamen den richtigen FMV-Metadaten-Tags zuordnen. Die vierte und fünfte Spalte enthalten die Einheiten und alle mit dem Tag verbundenen Notizen. | File |
timeshift_file (optional) | Eine Datei mit definierten Zeitverschiebungsintervallen. Im Idealfall sind die Videobilder und die Metadaten zeitlich synchronisiert. In diesem Fall umgibt der Bild-Footprint Features im FMV, die im Videobild zu sehen sind. Manchmal gibt es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten. Dies führt zu einer offensichtlichen Zeitverzögerung zwischen dem Zeitpunkt, an dem ein Boden-Feature vom Bild-Footprint umgeben ist, und dem Zeitpunkt, an dem dieses Boden-Feature im Videobild sichtbar ist. Wenn diese Zeitverschiebung beobachtbar und gleichmäßig ist, kann der Multiplexer die Zeitabläufe der Metadaten an die des Videos anpassen. Wenn es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten gibt, geben Sie die Zeitverschiebung in der Vorlage FMV_Multiplexer_TimeShift_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo an. Die Datei für die Zeitverschiebung ist eine .csv-Datei mit zwei Spalten (elapsed time und time shift) und mit einer oder mehreren Datenzeilen. Eine Zeile für Spaltennamen ist optional. Wenn das Videobild beispielsweise während der gesamten Zeit eine 5-Sekunden-Verzögerung aufweist, enthält die Datei für die Zeitverschiebung folgende Zeile: 0:00, -5. Das gesamte Video wird um fünf Sekunden verschoben. Wenn es eine 5-Sekunden-Verzögerung bei der 0:18-Marke des Videos und eine 9-Sekunden-Verzögerung bei der 2:21-Marke des Videos gibt, weist die Datei für die Zeitverschiebung die folgenden zwei Zeilen auf: In diesem Fall wird das Video am Anfang anders als am Ende verschoben. Sie können in der Datei für die Zeitverschiebung eine beliebige Anzahl von Zeitverschiebungsintervallen definieren. | File |
elevation_layer (optional) | Die Quelle der Höhe, die für die Berechnung der Eckkoordinaten des Videobildes benötigt wird. Die Quelle kann ein Layer, ein Image-Service oder eine durchschnittliche Geländehöhe oder Meerestiefe sein. Der durchschnittliche Höhenwert muss die Maßeinheiten wie Meter oder Fuß oder andere Längenmaße umfassen. Die Genauigkeit des Video-Footprints und der Bildmitte hängt von der Genauigkeit der bereitgestellten DEM-Datenquelle ab. Es wird empfohlen, dass Sie einen DEM-Layer oder Image-Service angeben. Wenn Sie keinen Zugriff auf die DEM-Daten haben, können Sie eine durchschnittliche Höhe und Einheit relativ zum Meeresspiegel angeben, z. B. 15 Fuß oder 10 Meter. Im Falle einer Unterwasserleitung können Sie beispielsweise -15 Fuß oder -10 Meter angeben. Die Verwendung einer durchschnittlichen Höhe oder Meerestiefe ist nicht so genau wie die Bereitstellung eines DEM oder bathymetrischer Daten. Zur Berechnung der Bildeckenkoordinaten muss der durchschnittliche Höhenwert immer kleiner sein als die in den Metadaten aufgezeichnete Höhe oder Tiefe des Sensors. Wenn das Video zum Beispiel in einer Sensorhöhe von 10 Metern und höher gefilmt wurde, könnte eine gültige durchschnittliche Höhe 9 Meter oder weniger betragen. Wenn ein Video unter Wasser in einer Tiefe von -10 Metern und tiefer gefilmt wurde, könnte die gültige durchschnittliche Höhe (relativ zum Meeresspiegel) -11 Meter oder tiefer sein. Wenn der Wert für die Höhe des Sensors kleiner als der durchschnittliche Höhenwert ist, werden die vier Eckkoordinaten für diesen Datensatz nicht berechnet. Wenn Sie die durchschnittliche Höhe des Projektgebiets nicht kennen, verwenden Sie ein DEM. | Raster Layer; Image Service; Linear Unit |
input_coordinate_system (optional) | Das Koordinatensystem, das für den Wert des Parameters metadata_file verwendet werden soll. | Coordinate System |
Codebeispiel
In diesem Beispiel wird eine Videodatei erstellt, die ein archiviertes Video und zugehörige Metadaten kombiniert.
arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif”)In diesem Beispiel wird eine Videodatei erstellt, die ein archiviertes Video und zugehörige Metadaten kombiniert.
import arcpy
from arcpy.ia import *
arcpy.CheckOutExtension("ImageAnalyst")
in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"
arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)Umgebungen
Lizenzinformationen
- Basic: Erfordert Image Analyst
- Standard: Erfordert Image Analyst
- Advanced: Erfordert Image Analyst