Einführung in Full Motion Video

Mit der Image Analyst-Lizenz verfügbar.

Full Motion Video (FMV) in der Erweiterung ArcGIS Image Analyst stellt Funktionen für die Wiedergabe und die räumliche Analyse von FMV-kompatiblen Videodaten bereit. FMV-kompatibel bezieht sich auf die Kombination eines Video-Streams und der zugehörigen Metadaten in einer Videodatei, sodass das Video einen räumlichen Bezug erhält. Die Sensorsysteme erfassen Kamerarichtungsinformationen, Daten zur Plattformposition und -stellung sowie weitere Daten, die im Video-Stream codiert werden, sodass jedes Videobild mit Geopositionsinformationen verknüpft ist.

Dank dieser räumlich aktivierten Videodaten sowie der Rechenfunktionalität von ArcGIS Pro können Sie das Video unter Berücksichtigung der Sensordynamik und des sichtbaren Bereichs anzeigen und manipulieren, und Sie können diese Informationen in der Kartenansicht anzeigen. Außerdem können Sie Feature-Daten entweder in der Video- oder in der Kartenansicht analysieren und bearbeiten und haben damit die Möglichkeit der Telestration.

FMV verwendet die Metadaten, um Koordinaten nahtlos zwischen dem Videobildraum und dem Kartenraum zu konvertieren, ähnlich der Transformation von unbewegten Bildern durch das Bildkoordinatensystem in der Bildraumanalyse. Diese Konvertierung schafft die Grundlage für die Interpretation von Videodaten im Gesamtkontext aller anderen räumlichen Daten und Informationen in Ihrem GIS. Beispielsweise können Sie den Videobild-Footprint, den Bildmittelpunkt und die Position der Aufnahmeplattform während der Wiedergabe des Videos in der Kartenansicht anzeigen. Darüber hinaus können die GIS-Layer angezeigt werden, z. B. Gebäude mit IDs, GeoFences und andere relevante Informationen.

Sie können FMV-Daten unmittelbar nach der Erfassung entweder in Echtzeit oder forensisch analysieren. Sie eignen sich insbesondere für Situationsbewusstsein, da es sich häufig um die aktuellsten Bilddaten handelt, die für eine Position verfügbar sind. Wenn Sie beispielsweise nach einer Naturkatastrophe Schadensfeststellungen durchführen, können Sie FMV verwenden, um die neuesten, von einer Drohne gesammelten Videodaten zusammen mit den vorhandenen GIS-Daten-Layern zu analysieren. Da der Video-Footprint auf der Karte sichtbar ist, wissen Sie genau, welche Gebäude und Infrastruktur im Video zu sehen sind, und können ihren Zustand beurteilen, Boden-Features im Video und in der Karte markieren, ihre Positionen mit Lesezeichen versehen und Notizen mit detaillierten Beschreibungen hinzufügen. FMV ist so konzipiert, dass relevante Informationen schnell bewertet, analysiert und verbreitet werden können, um zeitnah Entscheidungshilfe zu bieten.

FMV-Features und Vorteile

FMV nutzt wichtige Metadaten und stellt visuelle und analytische Verarbeitungswerkzeuge sowie Funktionen der ArcGIS Pro-Plattform bereit, um projekt- und unternehmenskritische Workflows zu unterstützen.

• FMV ist vollständig in ArcGIS Pro integriert, sodass die Systemarchitektur, die Datenmodelle, Werkzeuge und Funktionen sowie die Freigabe in der ArcGIS Plattform genutzt werden können.
• Sie können Live-Stream-Videos und archivierte Videos anzeigen und analysieren.
• Sie können den Videoplayer an eine beliebige Stelle auf dem Computerbildschirm verschieben und dessen Größe anpassen oder den Player minimieren bzw. schließen.
• Der Videoplayer ist mit der Kartenanzeige verknüpft und ermöglicht daher Folgendes:
  • Anzeigen des Video-Footprints, der Sensorposition und des sichtbaren Bereichs auf der Karte.
  • Alle im Videoplayer erfassten Informationen werden auf die Karte projiziert und zusammen mit den vorhandenen GIS-Daten angezeigt.
  • Aktualisieren der Karte, um auf das Videobild zu zoomen und Videos auf der Karte zu folgen.
• Sie können mehrere Videos gleichzeitig öffnen und wiedergeben. Jedes Video und die zugehörigen Informationen werden auf der Karte durch eine eindeutige Farbe identifiziert.
• Intuitive DVR-Steuerelemente (Digital Video Recorder), die Bild- und Videoclip-Erfassung sowie Analysewerkzeuge können verwendet werden.
• Metadaten können in Echtzeit angezeigt werden.
• Sie können Lesezeichen erstellen und verwalten.
• Positionen und relevante Phänomene können markiert werden.
• Die Anzeige wird durch die GPU beschleunigt.

Diese Funktionen bilden die Bausteine für Workflows, die detaillierten räumlichen Kontext in den Videoanalyseprozess integrieren.

Überblick über Full Motion Video

Eine primäre Verwendung von FMV besteht in der Unterstützung der Entscheidungsfindung in operativen Umgebungen. Informationen darüber, wer FMV einsetzt und wie die Daten erfasst und verwendet werden, bieten wichtigen Kontext für die Evaluierung der Funktionen von FMV.

Branchen, die FMV verwenden

FMV ist nützlich für die Überwachung abgelegener, unzugänglicher oder gefährlicher Orte. FMV wird u. a. von folgenden Organisationen bzw. Experten genutzt:

• Öffentliche Sicherheit und Katastrophenschutz
• Militär
• Ölunternehmen
• Kommunale und Regierungsbehörden
• Grenzschutz
• Versorgungsunternehmen
• Fachleute für natürliche Ressourcen

Es gibt zahlreiche Anwendungsmöglichkeiten für FMV:

• Katastrophenschutz und öffentliche Sicherheit
  • Situationsbewusstsein
  • Schadensaufnahme
  • Maßnahmenkoordination
  • Eindämmung
  • Sicherheitsüberwachung
  • Asset Management
• Korridor-Kartenerstellung, -Überwachung und -Management
  • Versorgung, z. B. Elektrizität, Gas, Wasser oder Ähnliches
  • Verkehrsnetz, z. B. Straßen, Brücken, Schienennetze, Autobahnen sowie Flughäfen, Seehäfen und Landesgrenzen
  • Kommunikation, z. B. Mobilfunkmasten und Infrastruktur
  • Hydrologie, einschließlich natürlicher und vom Menschen geschaffener Infrastruktur
  • Ufer, z. B. Gewässerrand-Pufferstreifen, Lebensraum, Diversitätskartenerstellung und Verbindungen
• Militär
  • Nachrichtendienst, Überwachung und Aufklärung
  • Missionsunterstützung
  • Spionageabwehr
• Überwachung der Infrastruktur
  • Bestandsaufnahme
  • Neubau
  • Abgleich von Ausführung und Planung
  • Compliance und Sicherheit

Erfassung von FMV-Daten

Die FMV-Anwendung in ArcGIS Pro verwendet Daten, die aus einer Vielzahl von Fernerkundungsplattformen stammen. Videodaten und Metadaten werden gleichzeitig erfasst, und die Metadaten werden in der Videodatei codiert. Dies erfolgt entweder in Echtzeit auf der Sensorplattform (MISB-kompatibel) oder in einem späteren, auch als Multiplexing bezeichneten, Verarbeitungsschritt.

FMV-Daten können über unterschiedliche Sensorplattformen erfasst werden:

• Unbemannte Fluggeräte (UAV, UAS, RPV, Drohnen)
• Starrflügel- und Hubschrauber-Befliegungsplattform
• Orbitale raumgestützte Sensoren
• Fahrzeugmontierte Kameras
• Mobile Handheld-Geräte und -Kameras
• Stationäre Geräte für Dauerüberwachung

FMV unterstützt 13 Videoformate:

Beschreibung	Erweiterung
MPEG-2-Transportstrom	.ts
MPEG-2-Programmstrom	.ps
MPEG-Datei	.mpg
MPEG-2-Datei	.mpg2
MPEG-2-Datei	.mp2
MPEG-Datei	.mpeg
VLC (mpeg2)	.mpeg2
MPEG-4-Film	.mp4
MPEG-4-Datei	.mpg4
MPEG-DASH	.mpd
H264-Videodatei	.h264
VLC-Mediendatei (mpeg4)	.mpeg4
VLC-Mediendatei (vob)	.vob

FMV-Funktionen

FMV ist so konzipiert, dass es unterschiedliche operative Umgebungen unterstützt, von zeitkritischen Anwendungen wie Situationsbewusstsein und Notfallmaßnahmen unter Verwendung von Live-Streaming-Videos über die Analyse stündlich oder täglich archivierter Überwachungsvideos bis hin zur forensischen Analyse historischer Archivdaten. Jeder Anwendungstyp erfordert intuitive Visualisierungs- und Analysewerkzeuge, um schnell relevante Features oder Situationen zu identifizieren und aufzuzeichnen und die extrahierten Informationen an Entscheidungsträger und Projektbeteiligte weiterzugeben. Im Folgenden werden die FMV-Funktionen zur Unterstützung der Entscheidungsfindung nach ihren wesentlichen Funktionen unterteilt.

Standalone-Video

Das Menüband Standalone-Video ist kontextbezogen. Es wird angezeigt, wenn Sie ein Video in der Karte laden und dieses im Bereich Inhalt auswählen. Es enthält drei Registerkarten, Daten, Ansicht und Verfolgung.

Registerkarte "Daten"

Wenn ein Video in die Anzeige geladen wird, wird die Videodatei im Bereich Inhalt aufgeführt und die Registerkarte Daten im Hauptmenüband angezeigt. Mit den Werkzeugen auf der Registerkarte Daten können Sie die Videodaten verwalten. Diese Registerkarte ist in fünf Gruppen unterteilt: Öffnen, Lesezeichen, Speichern, Synchronisieren und Verwalten.

Die Werkzeuge auf der Registerkarte Daten werden unter Standalone-Video: Registerkarte "Daten" beschrieben.

Registerkarte "Ansicht"

Die Registerkarte Ansicht für Standalone-Video ist kontextbezogen. Sie wird aktiviert, wenn Sie im Bereich Inhalt ein Video auswählen.

Die Registerkarte Ansicht enthält Werkzeuge zum Navigieren im Video, zum Hinzufügen und Verwalten von Grafiken und zum Anzeigen von Video-Metadaten. Um die Bedienung zu vereinfachen, stehen diese Werkzeuge auch für den DVR zur Verfügung.

Zu den Werkzeugoperationen zählen das Zoomen der zugehörigen Kartenansicht, um das gesamte Videobild auf dem Boden anzuzeigen, das Anzeigen des Sensorpfades und des sichtbaren Bereichs des Videobildes auf dem Boden sowie das Zoomen und Schwenken der Karte, um dem Video auf dem Boden zu folgen. Diese Werkzeuge bieten einen geographischen Kontext, während Sie mit den Videodaten arbeiten.

Registerkarte "Verfolgung"

Eine wichtige Funktion für bewegte Bilddaten ist das Verfolgen bestimmter Objekte in Videodaten während der Wiedergabe. Dabei kann es sich um stationäre oder bewegte Objekte handeln, die möglicherweise verdeckt und dann wieder sichtbar werden oder sich sogar ändern (beispielsweise eine Person, die in ein Fahrzeug steigt). Die Objektverfolgungsfunktion in Full Motion Video stellt automatisierte und computergestützte Werkzeuge für die verschiedensten Situationen beim Identifizieren und Verfolgen von Objekten in Videobilddaten bereit. Objekterkennung, Extraktion und Abgleich werden durch Deep-Learning-Technologie unterstützt.

Videoplayer

Der Videoplayer wird als DVR (Digital Video Recorder) bezeichnet und weist das vertraute Erscheinungsbild eines herkömmlichen DVR auf. Er verfügt über Standard-Steuerelemente wie Wiedergabe, schneller Vor- und Rücklauf, schrittweise vorwärts- und rückwärts, Sprung zum bzw. Ende des Videos Sie können auf ein Video zoomen und dieses durchlaufen, während es sich im Wiedergabe- oder im Pausenmodus befindet. Größe und Position der gezoomten Ansicht innerhalb des Videobildes werden im Übersichtsfenster angezeigt.

Zusätzliche Werkzeuge sind das Erfassen, Beschriften und Speichern von Video-Lesezeichen, das Erfassen einzelner Videobilder als Bilder und das Exportieren von Videoclips.

Hinzufügen von Grafiken

Sie können relevante Boden-Features im Videoplayer erfassen, indem Sie diese mit einem Feature markieren, das auch auf der Karte angezeigt wird. Umgekehrt werden Boden-Features, die Sie in der Kartenansicht markieren, auch im Videoplayer angezeigt. Sie können diese Punkte als Feature-Class speichern und später für weitere Analysen nutzen.

Lesezeichen

Das Erstellen von Video-Lesezeichen erfüllt eine wichtige Funktion bei der Aufzeichnung relevanter Phänomene und Features im Rahmen der Analyse eines Videos. Sie können Video-Lesezeichen in verschiedenen Abspielmodi eines Videos erfassen, z. B. bei Wiedergabe, Pause, Vor- und Rücklauf. Sie können Lesezeichen im Bereich Lesezeichen beschreiben; dieser wird angezeigt, wenn Sie ein Video-Lesezeichen erfassen. Lesezeichen werden im Bereich Lesezeichen erfasst und verwaltet, der auf der Registerkarte Karte in der Gruppe Navigieren in ArcGIS Pro zur Verfügung steht.

Hinzufügen von Metadaten zu Videos

In FMV können Sie nur Videos verwenden, die essenzielle Metadaten enthalten. Üblicherweise erfassen hochwertige flugzeuggestützte Videodatenerfassungssysteme die erforderlichen Metadaten und codieren sie in Echtzeit in der Videodatei. Diese Daten können direkt in der FMV-Anwendung verwendet werden, entweder im Live-Streaming-Modus oder aus einer archivierten Datei.

Videoerfassungssysteme für Endverbraucher erzeugen oft separate Videodaten- und Metadatendateien, die zu einer einzelnen FMV-kompatiblen Videodatei kombiniert werden müssen. Dieser auch als Multiplexing bezeichnete Prozess wird in der Software durchgeführt. FMV stellt ein Werkzeug namens Video-Multiplexer bereit, das die richtigen Metadaten an der richtigen Position der Videodatei codiert, um eine einzelne FMV-kompatible Videodatei zu erzeugen. Jede Video- und Metadatendatei verwendet Zeitstempel, um die Codierung der richtigen Metadaten an der richtigen Position in der Videodatei zu synchronisieren.

Die Metadaten werden aus geeigneten Sensoren generiert, z. B. GPS für die X-, Y- und Z-Position, Höhenmesser, inertiale Messeinheiten (Inertial Measurement Unit, IMU) oder andere Datenquellen für die Kameraausrichtung. Die Metadatendatei muss im CSV-Format mit kommagetrennten Werten vorliegen.

FMV-Metadaten werden verwendet, um den Flugpfad des Videosensors, die Mitte des Videobildes und den Footprint der Videobilder auf dem Boden zu berechnen. Darüber hinaus unterstützt FMV die Motion Imagery Standards Board-Metadaten-Spezifikationen (MISB), die aus mehr als 80 Parametern bestehen. Alle bereitgestellten MISB-Parameter werden im endgültigen FMV-kompatiblen Video codiert, einschließlich aller oder einer Teilmenge der mehr als 80 Parameter.

Mehrere FMV-Parameter enthalten die Kartenkoordinaten der vier Ecken des auf den Boden projizierten Videobildes. Wenn die Kartenkoordinaten der vier Eckpunkte angegeben sind, dann werden diese verwendet. Andernfalls berechnet das Werkzeug den Video-Footprint anhand einer Teilmenge der erforderlichen Parameter.

Um die relativen Eckpunkte des Videobild-Footprints zu berechnen und als Bildumriss auf der Karte anzuzeigen, benötigt FMV die zwölf essenziellen Metadatenfelder, die nachfolgend aufgelistet sind:

• Unix-Zeitstempel
• Breitengrad des Sensors
• Längengrad des Sensors
• Höhe des Sensors
• Kurs der Plattform
• Neigung der Plattform
• Rollwinkel der Plattform
• Relativer Rollwinkel des Sensors
• Relative Höhe des Sensors
• Sensor Relative Azimuth
• Horizontaler sichtbarer Bereich
• Vertikaler sichtbarer Bereich

Wenn die Metadaten vollständig und genau sind, berechnet das Werkzeug die Ecken des Videobildes und damit die Größe, Form und Position des Videobildumrisses, der dann auf einer Karte angezeigt werden kann. Diese zwölf Parameter umfassen die minimalen Metadaten, die erforderlich sind, um die Transformation zwischen Video und Karte zu berechnen, den Video-Footprint auf der Karte anzuzeigen und andere Funktionen wie die Digitalisierung und Markierung auf dem Video und der Karte zu ermöglichen.

FMV unterstützt auf Objektverfolgungsmethoden basierende VMTI-Daten (Video Moving Target Indicator) in bewegten Bilddaten. Wenn VMTI-Daten in einer von der verknüpften Videodatei getrennten Datei aufgezeichnet werden, können Sie sie mit dem Werkzeug Video-Multiplexer in der Videodatei codieren.

Die Leistung der Multiplexing-Videodatei hängt vom Typ und von der Qualität der in der Metadatendatei enthaltenen Daten sowie davon ab, wie genau die Videodaten und die Metadatendateien synchronisiert sind. Wenn die Metadaten nicht genau sind oder Abweichungen enthalten, werden diese Diskrepanzen im Video codiert und bei der Wiedergabe des Videos auf der Karte angezeigt. Enthält die Datei metadata.csv lediglich die Felder UNIX Time Stamp, Sensor Latitude und Sensor Longitude, wird zwar die Position des Sensors auf der Karte angezeigt, nicht jedoch der Footprint der Videobilder. Außerdem werden einige Funktionen, z. B. die Digitalisierung von Features und die Messung von Entfernungen innerhalb des Videos, nicht unterstützt.

Sie können Ihre Metadaten in die FMV-Metadatenvorlage FMV_Multiplexer_Field_Mapping_Template.csv eingeben, die Sie unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo abrufen können. Diese Vorlage enthält die zwölf essenziellen Metadatenfelder, die für die Berechnung des Videobild-Footprints erforderlich sind, sowie zusätzliche Felder, die in der MISB-Spezifikation enthalten sind. Stimmen Ihre Metadaten-Feldnamen nicht mit den für FMV benötigten Feldnamen überein, können diese mit den FMV-Feldnamen in der Vorlage FMV_Multiplexer_Field_Mapping_Template.csv abgeglichen werden.

Im Idealfall sind die Videodaten und die Metadaten zeitsynchron. Wenn der Zeitstempel, der das Video und die Metadaten verbindet, nicht genau synchronisiert ist, sind der Video-Footprint und die Sensorposition auf der Karte in der Ansicht im Videoplayer versetzt. Wenn die Zeitverschiebung beobachtbar und gleichmäßig ist, kann der Multiplexer die Zeitabläufe der Metadaten an die des Videos anpassen. Die Zeitverschiebungen werden durch das Erstellen und Eingeben einer optionalen CSV-Datei in das Werkzeug Video-Multiplexer angewendet, das die Position mit Versatz im Video sowie die zugehörige Zeitdiskrepanz identifiziert. Verwenden Sie die Vorlage FMV_Multiplexer_TimeShift_Template.csv, die unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo zur Verfügung steht, um die Versätze anzupassen. Die Vorlage enthält Spalten mit den Beschriftungen elapsed time, d. h. die Position im Video, an der die Zeitverschiebung auftritt, und time shift, die die Höhe des Zeitversatzes angibt. Ist die Zeitverschiebung zwischen dem Video und den Metadaten nicht gleichmäßig, können Sie mehrere Videopositionen mit den zugehörigen Zeitverschiebungen in der Vorlage auflisten. Dadurch wird dem Multiplexer mitgeteilt, wo die entsprechenden Metadaten in Relation zum Zeitablauf des Videos platziert werden sollen.

Objektverfolgung

FMV unterstützt zwei Objektverfolgungsmethoden, Video Moving Target Indication (VMTI) und auf Deep Learning basierende Verfolgung. VMTI-Methoden verfolgen Objekte manuell oder automatisch und codieren die Position des Objekts innerhalb eines bestimmten Videobildes. Jedes Objekt verfügt über eine Kennung (ID) und ein umgebendes Rechteck. Beide sind mit dem Objekt verknüpft, das mit dem archivierten Video gespeichert wird. Wenn das Video wiedergegeben wird, werden die mit dem VMTI-Objekt verknüpften Informationen angezeigt. Für FMV müssen codierte Videometadaten den Standard "Video Moving Target Indicator and Track Metadata" (ST 0903) des Motion Imagery Standards Board (MISB) erfüllen.

Die auf Deep Learning basierende Objektverfolgungsfunktion stellt automatisierte und computergestützte Werkzeuge für die verschiedensten Situationen beim Identifizieren und Verfolgen von Objekten in Videobilddaten bereit. Objekterkennung, Extraktion und Abgleich werden durch Deep-Learning-Technologie unterstützt. Erstellen Sie ein Deep-Learning-Modell zum Identifizieren von bestimmten Objekten und Feature-Classes, und verwenden Sie die Palette an Werkzeugen zum Identifizieren, Auswählen und Verfolgen dieser relevanten Objekte. Sie können die Schwerpunkte des Identifizierungsrechtecks eines Objekts digitalisieren und als Punktklasse in der Geodatabase des Projekts speichern. Sie können die Objekte dann bei der Wiedergabe des archivierten Videos anzeigen.

Zusammenfassung

Die räumlich aktivierten Eigenschaften von FMV eignen sich für Echtzeit- oder forensische Analysen und Situationsbewusstseins-Anwendungen. Die Fähigkeit, den Videobild-Footprint und den Flugpfad auf die Karte zu projizieren und darauf anzuzeigen, liefert wichtigen Kontext für das Video und ermöglicht die bidirektionale Erfassung von Features im Videoplayer und in der Karte.

Zusammen mit beschrifteten Video-Lesezeichen bieten diese Funktionen einem Analysten die Möglichkeit, Videobilder oder -segmente für weitere Analysen zu identifizieren und diese Informationen mit anderen Projektbeteiligten zu teilen. Indem Sie FMV-kompatible Videos mit kompletter GIS-Funktionalität integrieren, können Sie wichtige Kontextinformationen synthetisieren, um fundierte Entscheidungen in operativen Umgebungen zu unterstützen.