| Beschriftung | Erläuterung | Datentyp |
Eingabe-Videodatei | Die Eingabe-Videodatei, die in eine FMV-kompatible Videodatei konvertiert wird. Folgende Videodateitypen werden unterstützt: .avi (unterstützt H.264, nicht H.265), .h264, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts und vob. | File |
Metadaten-Datei | Eine Datei mit durch Kommas getrennten Werten (CSV), die Metadaten über die Videobilder für bestimmte Zeiten enthält. Jede Spalte stellt ein Metadatenfeld dar, und eine der Spalten muss eine Zeitreferenz sein. Die Zeitreferenz ist der Unix-Zeitstempel (Sekunden nach 1970) multipliziert mit einer Million und wird als Ganzzahl gespeichert. Die Zeit wird so gespeichert, dass jeder beliebige Zeitpunkt (bis auf eine Millionstel Sekunde) durch eine Ganzzahl referenziert werden kann. Folglich entspricht der Zeitunterschied zwischen zwei Einträgen von 500.000 einer halben Sekunde verstrichener Zeit. Die erste Zeile enthält die Feldnamen für die Metadatenspalten. Diese Feldnamen sind in der Datei FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo aufgelistet, oder Ihre benutzerdefinierten Feldnamen können mithilfe der Vorlage mit den entsprechenden FMV-Feldnamen abgeglichen werden. Jede nachfolgende Zeile enthält die Metadatenwerte für eine bestimmte Zeit, die als Zeitstempel bezeichnet werden. Die Feldnamen der Metadaten können in beliebiger Reihenfolge sein und sollten genau mit der Vorlage FMV_Multiplexer_Field_Mapping_Template.csv übereinstimmen, damit Sie die Metadaten-Feldnamen den richtigen FMV-Metadaten-Feldnamen zuordnen können. | File |
Ausgabe-Videodatei | Der Name der Ausgabe-Videodatei, einschließlich Dateierweiterung. Als Format für die Ausgabe-Videodatei wird nur .ts unterstützt. | File |
Metadaten-Zuordnungsdatei (optional) | Eine CSV-Datei, die 5 Spalten und 87 Zeilen enthält und auf der Vorlagendatei FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo basiert. Diese CSV-Datei weist die Metadaten-Feldnamen den FMV-Feldnamen zu. Jede Zeile repräsentiert einen der Standard-Metadatenparameter, wie z. B. den Breitengrad des Sensors. Die ersten beiden Spalten enthalten die Informationen für das Tag und den MISB-Parameternamen, die bereits im Formular angegeben wurden. Die dritte Spalte enthält den Feldnamen, wie er im Parameter Eingabe-Metadatendatei erscheint. Wenn die dritte Spalte ausgefüllt ist, kann das Werkzeug die Metadaten-Feldnamen den richtigen FMV-Metadaten-Tags zuordnen. | File |
Zeitverschiebungsdatei (optional) | Eine Datei mit definierten Zeitverschiebungsintervallen. Im Idealfall sind die Videobilder und die Metadaten zeitlich synchronisiert. In diesem Fall umgibt der Bild-Footprint Features im Full Motion Video, die im Videobild zu sehen sind. Manchmal gibt es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten. Dies führt zu einer offensichtlichen Zeitverzögerung zwischen dem Zeitpunkt, an dem ein Boden-Feature vom Bild-Footprint umgeben ist, und dem Zeitpunkt, an dem dieses Boden-Feature im Videobild sichtbar ist. Wenn diese Zeitverschiebung beobachtbar und gleichmäßig ist, kann der Multiplexer die Zeitabläufe der Metadaten an die des Videos anpassen. Wenn es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten gibt, geben Sie die Zeitverschiebung in der Vorlage FMV_Multiplexer_TimeShift_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo an. Die Datei für die Zeitverschiebung ist eine CSV-Datei mit zwei Spalten (elapsed time und time shift) und mit einer oder mehreren Datenzeilen. Eine Zeile für Spaltennamen ist optional. Wenn das Videobild beispielsweise während der gesamten Zeit eine 5-Sekunden-Verzögerung aufweist, enthält die Datei für die Zeitverschiebung folgende Zeile: 0:00, -5. Das gesamte Video wird um 5 Sekunden verschoben. Wenn es im Video eine 5-Sekunden-Verzögerung bei 0:18 und eine 9-Sekunden-Verzögerung bei 2:21 gibt, weist die Datei für die Zeitverschiebung die folgenden zwei Zeilen auf: In diesem Fall wird das Video am Anfang anders als am Ende verschoben. Sie können in der Datei für die Zeitverschiebung eine beliebige Anzahl von Zeitverschiebungsintervallen definieren. | File |
Digitales Höhenmodell (optional) | Die Quelle der Höhe, die für die Berechnung der Eckkoordinaten des Videobildes benötigt wird. Die Quelle kann ein Layer, ein Image-Service oder eine durchschnittliche Geländehöhe oder Meerestiefe sein. Der durchschnittliche Höhenwert muss die Maßeinheiten wie Meter oder Fuß oder andere Längenmaße umfassen. Die Genauigkeit des Video-Footprints und der Bildmitte hängt von der Genauigkeit der bereitgestellten DEM-Datenquelle ab. Es wird empfohlen, dass Sie einen DEM-Layer oder Image-Service angeben. Wenn Sie keinen Zugriff auf die DEM-Daten haben, können Sie eine durchschnittliche Höhe und Einheit relativ zum Meeresspiegel eingeben, z. B. 15 Fuß oder 10 Meter. Im Falle einer Unterwasseraufnahme können Sie -15 Fuß oder -10 Meter eingeben. Die Verwendung einer durchschnittlichen Höhe oder Meerestiefe ist nicht so genau wie die Bereitstellung eines DEM oder bathymetrischer Daten. Zur Berechnung der Bildeckenkoordinaten muss der durchschnittliche Höhenwert immer kleiner sein als die in den Metadaten aufgezeichnete Höhe oder Tiefe des Sensors. Wenn das Video zum Beispiel in einer Sensorhöhe von 10 Metern und höher gefilmt wurde, könnte eine gültige durchschnittliche Höhe 9 Meter oder weniger betragen. Wenn ein Video unter Wasser in einer Tiefe von -10 Metern und tiefer gefilmt wurde, könnte die gültige durchschnittliche Höhe (relativ zum Meeresspiegel) -11 Meter oder tiefer sein. Wenn der Wert für die Höhe des Sensors kleiner als der durchschnittliche Höhenwert ist, werden die vier Eckkoordinaten für diesen Datensatz nicht berechnet. Wenn Sie die durchschnittliche Höhe des Projektgebiets nicht kennen, verwenden Sie ein DEM. | Raster Layer; Image Service; Linear Unit |
Mit der Image Analyst-Lizenz verfügbar.
Zusammenfassung
Erstellt eine Videodatei, die eine archivierte Video-Stream-Datei und eine zugehörige Metadatendatei kombiniert, die durch einen Zeitstempel synchronisiert werden.
Das Werkzeug erstellt eine einzelne FMV-kompatible Videodatei aus einer Video-Stream-Datei und einer separaten zugehörigen Metadatendatei. Die Metadaten sind in der Videodatei durch einen synchronisierten Zeitstempel codiert. Der Prozess der Kombination der beiden Dateien, die die Video- und Metadatendateien enthalten, wird als Multiplexing bezeichnet.
Verwendung
Dieses Werkzeug wurde für archivierte Videodateien entwickelt und kann nicht für Live-Video-Streams verwendet werden.
Die Videodatei für das Multiplexing muss eines der unterstützten Formate aufweisen. Die separate Metadatendatei ist eine Datei mit durch Kommas getrennten Werten (CSV), die die richtigen Feldüberschriften und zugehörigen Werte enthält.
In der folgenden Tabelle sind die als Eingabe für das Werkzeug unterstützten Videoformate aufgeführt:
Beschreibung Erweiterung MPEG-2-Transportstrom
.ts MPEG-2-Programmstrom
.ps MPEG-Datei
.mpg MPEG-2-Datei
.mpg2 MPEG-2-Datei
.mp2 MPEG-Datei
.mpeg VLC (mpeg2)
.mpeg2 MPEG-4-Film
.mp4 MPEG-4-Datei
.mpg4 MPEG-DASH
.mpd H264-Videodatei
.h264 VLC-Mediendatei (mpeg4)
.mpeg4 VLC-Mediendatei (vob)
.vob HLS (Adaptive Bitrate [ABR])
.m3u8 Vom Werkzeug werden Videodateien nur im .ts-Format ausgegeben.
Die mit der Video-Stream-Datei verknüpften Metadaten werden verwendet, um den Flugpfad des Videosensors, die Mitte des Videobildes und die vier Ecken des Videobild-Footprints auf der Karte zu berechnen.
FMV unterstützt die Motion Imagery Standards Board (MISB)-Spezifikation. In der vollständigen MISB-Spezifikation sind wesentlich mehr Parameter definiert als für FMV erforderlich. Die bereitgestellten MISB-Parameter werden im endgültigen Video codiert, einschließlich aller Parameter oder einer Teilmenge davon.
Um die relativen Eckpunkte des Videobild-Footprints zu berechnen und als Bildumriss auf der Karte anzuzeigen, benötigen Sie die 12 essenziellen Metadatenfelder, die unten aufgeführt sind und in der Parameterbeschreibung näher erläutert werden. Wenn die Metadaten vollständig und genau sind, berechnet das Werkzeug die Ecken des Videobildes und die Größe, Form und Position des Videobildumrisses, der dann auf einer Karte angezeigt werden kann.
- Präzisionszeitstempel
- Breitengrad des Sensors
- Längengrad des Sensors
- Ellipsoid-Höhe des Sensors oder echte Höhe des Sensors
- Kurs der Plattform
- Neigungswinkel der Plattform
- Rollwinkel der Plattform
- Relativer Rollwinkel des Sensors
- Relativer Höhenwinkel des Sensors
- Relativer Azimutwinkel des Sensors
- Horizontaler sichtbarer Bereich des Sensors
- Vertikaler sichtbarer Bereich des Sensors
Dies sind die minimal erforderlichen Metadaten, um die Transformation zwischen Video und Karte zu berechnen, den Video-Footprint auf der Karte anzuzeigen und andere Funktionen wie die Digitalisierung und Markierung auf dem Video und der Karte zu ermöglichen.
Die Werte für die Metadatenfelder können in die Metadatenvorlage FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo eingegeben werden.
- Die Datei FMV_Multiplexer_Field_Mapping_Template.csv enthält alle MISB-Metadatenfelder.
- Zur Erstellung der FMV-kompatiblen Videodatei sind nur die 12 oben definierten Parameter erforderlich. Sie müssen nicht alle in der MISB-Spezifikation definierten Parameter angeben, um eine FMV-kompatible Videodatei zu erstellen. Wenn zusätzliche MISB-Parameter zur Verfügung gestellt werden, werden diese in der FMV-kompatiblen Videodatei codiert.
Die Leistung der erstellten Multiplexing-Videodatei hängt vom Typ und von der Qualität der in der Metadatendatei enthaltenen Daten sowie davon ab, wie genau die Videodaten und die Metadatendateien synchronisiert sind.
- Wenn die Datei FMV_Multiplexer_Field_Mapping_Template.csv nur die Felder UNIX Time Stamp, Sensor Latitude und Sensor Longitude enthält, wird die Position des Sensors auf der Karte angezeigt, aber der Footprint der Videobilder nicht. Einige Funktionen, wie z. B. die Digitalisierung von Features und die Messung von Entfernungen innerhalb des Videos, werden nicht unterstützt.
- Wenn der Zeitstempel, der das Video und die Metadaten verbindet, nicht genau synchronisiert ist, sind der Video-Footprint und die Sensorposition auf der Karte in der Ansicht im Videoplayer versetzt. Nutzen Sie in diesem Fall die Vorlage FMV_Multiplexer_TimeShift_Template.csv, um die Zeitabläufe des Videos und der Metadaten anzupassen.
- Die Vorlage FMV_Multiplexer_TimeShift_Template.csv finden Sie unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.
Mehrere Parameter in der Datei FMV_Multiplexer_Field_Mapping_Template.csv enthalten die Kartenkoordinaten der vier Ecken des auf den Boden projizierten Videobildes. Wenn die Kartenkoordinaten der vier Eckpunkte angegeben sind, werden sie bei der Erstellung des FMV-kompatiblen Videos verwendet. Wenn die Kartenkoordinaten der vier Eckpunkte nicht angegeben sind, geben Sie eine Quelle für die DEM-Daten im Parameter Digitales Höhenmodell an, und das Werkzeug berechnet den Video-Footprint aus den oben angegebenen erforderlichen Parametern.
Die Genauigkeit des Video-Footprints und der Bildmitte hängt von der Genauigkeit der bereitgestellten DEM-Datenquelle ab. Wenn Sie keinen Zugriff auf die DEM-Daten haben, können Sie eine durchschnittliche Höhe und Einheit relativ zum Meeresspiegel eingeben, z. B. 15 Fuß oder 10 Meter. Im Falle einer Unterwasseraufnahme können Sie -15 Fuß oder -10 Meter eingeben. Die Verwendung einer durchschnittlichen Höhe oder Meerestiefe ist nicht so genau wie die Bereitstellung eines DEM oder bathymetrischer Daten. Es wird empfohlen, dass Sie einen DEM-Layer oder Image-Service angeben, falls verfügbar.
FMV unterstützt auf Objektverfolgungsmethoden basierende VMTI-Daten (Video Moving Target Indicator) in bewegten Bilddaten (Motion Imagery). Wenn VMTI-Daten in einer von der verknüpften Videodatei getrennten Datei aufgezeichnet werden, können sie mit dem Werkzeug "Video-Multiplexer" in der Videodatei codiert werden. FMV unterstützt den MISB-Standard Video Moving Target Indicator and Track Metadata.
Codieren Sie die VMTI-Daten im Video, indem Sie die erforderlichen VMTI-Informationen für das richtige Videobild mithilfe einer .csv-Metadatendatei bereitstellen, die die Daten für die Felder enthält:
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
Die letzte Spalte, vmtilocaldataset, enthält das umgebende Rechteck des erkannten Objekts. Dabei werden die einzelnen durch Leerzeichen getrennten Werte durch drei Werte definiert: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.
Sie können wie oben im Beispiel gezeigt mit einem ; (Semikolon) als Trennzeichen mehrere Objekterkennungen für einen bestimmten Zeitstempel angeben.
Verwenden Sie MISB Tag 74 in der Datei FMV_Multiplexer_Field_Mapping_Template.csv.
Parameter
VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer})| Name | Erläuterung | Datentyp |
in_video_file | Die Eingabe-Videodatei, die in eine FMV-kompatible Videodatei konvertiert wird. Folgende Videodateitypen werden unterstützt: .avi (unterstützt H.264, nicht H.265), .h264, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts und vob. | File |
metadata_file | Eine Datei mit durch Kommas getrennten Werten (CSV), die Metadaten über die Videobilder für bestimmte Zeiten enthält. Jede Spalte stellt ein Metadatenfeld dar, und eine der Spalten muss eine Zeitreferenz sein. Die Zeitreferenz ist der Unix-Zeitstempel (Sekunden nach 1970) multipliziert mit einer Million und wird als Ganzzahl gespeichert. Die Zeit wird so gespeichert, dass jeder beliebige Zeitpunkt (bis auf eine Millionstel Sekunde) durch eine Ganzzahl referenziert werden kann. Folglich entspricht der Zeitunterschied zwischen zwei Einträgen von 500.000 einer halben Sekunde verstrichener Zeit. Die erste Zeile enthält die Feldnamen für die Metadatenspalten. Diese Feldnamen können bei Bedarf über die Datei FMV_Multiplexer_Field_Mapping_Template.csv mit den entsprechenden Feldnamen abgeglichen werden. Jede nachfolgende Zeile enthält die Metadatenwerte für eine bestimmte Zeit, die im Zeitfeld angegeben ist. Die Vorlage FMV_Multiplexer_Field_Mapping_Template.csv finden Sie unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. | File |
out_video_file | Der Name der Ausgabe-Videodatei, einschließlich Dateierweiterung. Als Format für die Ausgabe-Videodatei wird nur .ts unterstützt. | File |
metadata_mapping_file (optional) | Eine CSV-Datei, die 5 Spalten und 87 Zeilen enthält und auf der Vorlagendatei FMV_Multiplexer_Field_Mapping_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo basiert. Jede Zeile repräsentiert einen der Standard-MISB-Metadaten-Tags, wie z. B. den Breitengrad des Sensors. Die ersten beiden Spalten enthalten den MISB-Index und den MISB-Tag-Namen. Die dritte Spalte enthält den Feldnamen, wie er im Parameter in_metadata_file erscheint (falls vorhanden). Wenn die dritte Spalte ausgefüllt ist, kann das Werkzeug die Metadaten-Feldnamen den richtigen FMV-Metadaten-Tags zuordnen. Die vierte und fünfte Spalte enthalten die Einheiten und alle mit dem Tag verbundenen Notizen. | File |
timeshift_file (optional) | Eine Datei mit definierten Zeitverschiebungsintervallen. Im Idealfall sind die Videobilder und die Metadaten zeitlich synchronisiert. In diesem Fall umgibt der Bild-Footprint Features im Full Motion Video, die im Videobild zu sehen sind. Manchmal gibt es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten. Dies führt zu einer offensichtlichen Zeitverzögerung zwischen dem Zeitpunkt, an dem ein Boden-Feature vom Bild-Footprint umgeben ist, und dem Zeitpunkt, an dem dieses Boden-Feature im Videobild sichtbar ist. Wenn diese Zeitverschiebung beobachtbar und gleichmäßig ist, kann der Multiplexer die Zeitabläufe der Metadaten an die des Videos anpassen. Wenn es eine Diskrepanz zwischen den Zeitabläufen des Videos und den Zeitabläufen in den Metadaten gibt, geben Sie die Zeitverschiebung in der Vorlage FMV_Multiplexer_TimeShift_Template.csv unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo an. Die Datei für die Zeitverschiebung ist eine CSV-Datei mit zwei Spalten (elapsed time und time shift) und mit einer oder mehreren Datenzeilen. Eine Zeile für Spaltennamen ist optional. Wenn das Videobild beispielsweise während der gesamten Zeit eine 5-Sekunden-Verzögerung aufweist, enthält die Datei für die Zeitverschiebung folgende Zeile: 0:00, -5. Das gesamte Video wird um 5 Sekunden verschoben. Wenn es im Video eine 5-Sekunden-Verzögerung bei 0:18 und eine 9-Sekunden-Verzögerung bei 2:21 gibt, weist die Datei für die Zeitverschiebung die folgenden zwei Zeilen auf: In diesem Fall wird das Video am Anfang anders als am Ende verschoben. Sie können in der Datei für die Zeitverschiebung eine beliebige Anzahl von Zeitverschiebungsintervallen definieren. | File |
elevation_layer (optional) | Die Quelle der Höhe, die für die Berechnung der Eckkoordinaten des Videobildes benötigt wird. Die Quelle kann ein Layer, ein Image-Service oder eine durchschnittliche Geländehöhe oder Meerestiefe sein. Der durchschnittliche Höhenwert muss die Maßeinheiten wie Meter oder Fuß oder andere Längenmaße umfassen. Die Genauigkeit des Video-Footprints und der Bildmitte hängt von der Genauigkeit der bereitgestellten DEM-Datenquelle ab. Es wird empfohlen, dass Sie einen DEM-Layer oder Image-Service angeben. Wenn Sie keinen Zugriff auf die DEM-Daten haben, können Sie eine durchschnittliche Höhe und Einheit relativ zum Meeresspiegel eingeben, z. B. 15 Fuß oder 10 Meter. Im Falle einer Unterwasseraufnahme können Sie -15 Fuß oder -10 Meter eingeben. Die Verwendung einer durchschnittlichen Höhe oder Meerestiefe ist nicht so genau wie die Bereitstellung eines DEM oder bathymetrischer Daten. Zur Berechnung der Bildeckenkoordinaten muss der durchschnittliche Höhenwert immer kleiner sein als die in den Metadaten aufgezeichnete Höhe oder Tiefe des Sensors. Wenn das Video zum Beispiel in einer Sensorhöhe von 10 Metern und höher gefilmt wurde, könnte eine gültige durchschnittliche Höhe 9 Meter oder weniger betragen. Wenn ein Video unter Wasser in einer Tiefe von -10 Metern und tiefer gefilmt wurde, könnte die gültige durchschnittliche Höhe (relativ zum Meeresspiegel) -11 Meter oder tiefer sein. Wenn der Wert für die Höhe des Sensors kleiner als der durchschnittliche Höhenwert ist, werden die vier Eckkoordinaten für diesen Datensatz nicht berechnet. Wenn Sie die durchschnittliche Höhe des Projektgebiets nicht kennen, verwenden Sie ein DEM. | Raster Layer; Image Service; Linear Unit |
Codebeispiel
In diesem Beispiel wird eine Videodatei erstellt, die ein archiviertes Video und zugehörige Metadaten kombiniert.
arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif”)In diesem Beispiel wird eine Videodatei erstellt, die ein archiviertes Video und zugehörige Metadaten kombiniert.
import arcpy
from arcpy.ia import *
arcpy.CheckOutExtension("ImageAnalyst")
in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"
arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)Umgebungen
Lizenzinformationen
- Basic: Erfordert Image Analyst
- Standard: Erfordert Image Analyst
- Advanced: Erfordert Image Analyst