Mit der Image Analyst-Lizenz verfügbar.
Full Motion Video (FMV) in der Erweiterung ArcGIS Image Analyst stellt Funktionen für die Wiedergabe und die räumliche Analyse von FMV-kompatiblen Videodaten bereit. FMV-kompatibel bezieht sich auf die Kombination eines Video-Streams und der zugehörigen Metadaten in einer Videodatei, sodass das Video einen räumlichen Bezug erhält. Die Sensorsysteme sammeln Kamerarichtungsinformationen, Daten zur Plattformposition und -stellung sowie weitere Daten, die im Video-Stream codiert werden, sodass jedes Videobild mit Geopositionsinformationen verknüpft ist.
Dank dieser räumlich aktivierten Videodaten sowie der Rechenfunktionalität von ArcGIS Pro können Sie das Video unter Berücksichtigung der Sensordynamik und des sichtbaren Bereichs anzeigen und manipulieren, und Sie können diese Informationen in der Kartenansicht anzeigen. Außerdem können Sie Feature-Daten entweder in der Video- oder in der Kartenansicht analysieren und bearbeiten und haben damit die Möglichkeit der Telestration.
FMV verwendet die Metadaten, um Koordinaten nahtlos zwischen dem Videobildraum und dem Kartenraum zu konvertieren, ähnlich der Transformation von unbewegten Bildern durch das Bildkoordinatensystem in der Bildraumanalyse. Diese Konvertierung schafft die Grundlage für die Interpretation von Videodaten im Gesamtkontext aller anderen räumlichen Daten und Informationen in Ihrem GIS. Beispielsweise können Sie den Videobild-Footprint, den Bildmittelpunkt und die Position der Aufnahmeplattform während der Wiedergabe des Videos in der Kartenansicht anzeigen. Darüber hinaus können die GIS-Layer angezeigt werden, z. B. Gebäude mit IDs, GeoFences und andere relevante Informationen.
FMV-Daten können unmittelbar nach der Sammlung entweder in Echtzeit oder forensisch analysiert werden. Sie eignen sich insbesondere für Situationsbewusstsein, da es sich häufig um die aktuellsten Bilddaten handelt, die für eine Position verfügbar sind. Wenn Sie beispielsweise nach einer Naturkatastrophe Schadensfeststellungen durchführen, können Sie FMV verwenden, um die neuesten, von einer Drohne gesammelten Videodaten zusammen mit den vorhandenen GIS-Daten-Layern zu analysieren. Da der Video-Footprint auf der Karte sichtbar ist, wissen Sie genau, welche Gebäude und Infrastruktur im Video zu sehen sind, und können ihren Zustand beurteilen, Boden-Features im Video und in der Karte markieren, ihre Positionen mit Lesezeichen versehen und Notizen mit detaillierten Beschreibungen hinzufügen. FMV ist so konzipiert, dass relevante Informationen schnell bewertet, analysiert und verbreitet werden können, um zeitnah Entscheidungshilfe zu bieten.
FMV-Features und Vorteile
FMV nutzt wichtige Metadaten und stellt visuelle und analytische Verarbeitungswerkzeuge sowie Funktionen der ArcGIS Pro-Plattform bereit, um projekt- und unternehmenskritische Workflows zu unterstützen.
- FMV ist vollständig in ArcGIS Pro integriert, sodass die Systemarchitektur, die Datenmodelle, Werkzeuge und Funktionen sowie die Freigabe in der ArcGIS Plattform genutzt werden können.
- Sie können Live-Stream-Videos und archivierte Videos anzeigen und analysieren.
- Der Videoplayer kann an eine beliebige Position auf Ihrem Computerbildschirm verschoben werden. Seine Größe lässt sich anpassen, und er kann minimiert oder geschlossen werden.
- Der Videoplayer ist mit der Kartenanzeige verknüpft und ermöglicht daher Folgendes:
- Anzeigen des Video-Footprints, der Sensorposition und des sichtbaren Bereichs auf der Karte.
- Alle im Videoplayer erfassten Informationen können auf die Karte projiziert und zusammen mit den vorhandenen GIS-Daten angezeigt werden.
- Aktualisieren der Karte, um auf das Videobild zu zoomen und Videos auf der Karte zu folgen.
- Es können mehrere Videos gleichzeitig geöffnet und wiedergegeben werden. Jedes Video und die zugehörigen Informationen werden auf der Karte durch eine eindeutige Farbe identifiziert.
- Intuitive DVR-Steuerelemente (Digital Video Recorder), die Bild- und Videoclip-Erfassung sowie Analysewerkzeuge können verwendet werden.
- Metadaten können in Echtzeit angezeigt werden.
- Sie können Lesezeichen erstellen und verwalten.
- Positionen und relevante Phänomene können markiert werden.
- Die Anzeige wird durch die GPU beschleunigt.
Diese Funktionen bilden die Bausteine für Workflows, die detaillierten räumlichen Kontext in den Videoanalyseprozess integrieren.
Überblick über Full Motion Video
Eine primäre Verwendung von FMV besteht in der Unterstützung der Entscheidungsfindung in operativen Umgebungen. Informationen darüber, wer FMV einsetzt und wie die Daten erfasst und verwendet werden, bieten wichtigen Kontext für die Evaluierung der Funktionen von FMV.
Branchen, die FMV verwenden
FMV ist nützlich für die Überwachung abgelegener, unzugänglicher oder gefährlicher Orte. FMV wird u. a. von folgenden Organisationen bzw. Experten genutzt:
- Öffentliche Sicherheit und Katastrophenschutz
- Militär
- Ölunternehmen
- Kommunale und Regierungsbehörden
- Grenzschutz
- Versorgung
- Fachleute für natürliche Ressourcen
Es gibt zahlreiche Anwendungsmöglichkeiten für FMV:
- Katastrophenschutz und öffentliche Sicherheit
- Situationsbewusstsein
- Schadensaufnahme
- Maßnahmenkoordination
- Eindämmung
- Sicherheitsüberwachung
- Asset Management
- Korridor-Kartenerstellung, -Überwachung und -Management
- Versorgung, z. B. Elektrizität, Gas, Wasser oder Ähnliches
- Verkehrsnetz, z. B. Straßen, Brücken, Schienennetze, Autobahnen sowie Flughäfen, Seehäfen und Landesgrenzen
- Kommunikation, z. B. Mobilfunkmasten und Infrastruktur
- Hydrologie, einschließlich natürlicher und vom Menschen geschaffener Infrastruktur
- Ufer, z. B. Gewässerrand-Pufferstreifen, Lebensraum, Diversitätskartenerstellung und Verbindungen
- Militär
- Nachrichtendienst, Überwachung und Aufklärung
- Missionsunterstützung
- Spionageabwehr
- Überwachung der Infrastruktur
- Bestand
- Neubau
- Abgleich von Ausführung und Planung
- Compliance und Sicherheit
Erfassung von FMV-Daten
Die FMV-Anwendung in ArcGIS Pro verwendet Daten, die aus einer Vielzahl von Fernerkundungsplattformen stammen. Videodaten und Metadaten werden gleichzeitig erfasst, und die Metadaten werden in der Videodatei codiert. Dies erfolgt entweder in Echtzeit auf der Sensorplattform (MISB-kompatibel) oder in einem späteren, auch als Multiplexing bezeichneten, Verarbeitungsschritt.
FMV-Daten können über unterschiedliche Sensorplattformen erfasst werden:
- Unbemannte Fluggeräte (UAV, UAS, RPV, Drohnen)
- Starrflügel- und Hubschrauber-Befliegungsplattform
- Orbitale raumgestützte Sensoren
- Fahrzeugmontierte Kameras
- Mobile Handheld-Geräte und -Kameras
- Stationäre Geräte für Dauerüberwachung
FMV unterstützt zwölf Videoformate:
| Beschreibung | Erweiterung |
|---|---|
MPEG-2-Transportstrom | .ts |
MPEG-2-Programmstrom | .ps |
MPEG-Datei | .mpg |
MPEG-2-Datei | .mpg2 |
MPEG-2-Datei | .mp2 |
MPEG-Datei | .mpeg |
VLC (mpeg2) | .mpeg2 |
MPEG-4-Film | .mp4 |
MPEG-4-Datei | .mpg4 |
H264-Videodatei | .h264 |
VLC-Mediendatei (mpeg4) | .mpeg4 |
VLC-Mediendatei (vob) | .vob |
FMV-Funktionen
FMV ist so konzipiert, dass es unterschiedliche operative Umgebungen unterstützt, von zeitkritischen Anwendungen wie Situationsbewusstsein und Notfallmaßnahmen unter Verwendung von Live-Streaming-Videos über die Analyse stündlich oder täglich archivierter Überwachungsvideos bis hin zur forensischen Analyse historischer Archivdaten. Jeder Anwendungstyp erfordert intuitive Visualisierungs- und Analysewerkzeuge, um schnell und einfach relevante Features oder Situationen zu identifizieren und aufzuzeichnen und die extrahierten Informationen an Entscheidungsträger und Projektbeteiligte weiterzugeben. Im Folgenden werden die FMV-Funktionen zur Unterstützung der Entscheidungsfindung nach ihren wesentlichen Funktionen unterteilt.
Videoplayer
Der Videoplayer wird als DVR (Digital Video Recorder) bezeichnet und weist das vertraute Erscheinungsbild eines herkömmlichen DVR auf. Er verfügt über Standard-Steuerelemente wie Wiedergabe, schneller Vor- und Rücklauf, schrittweise vorwärts- und rückwärts, Sprung zum bzw. Ende des Videos Sie können auf ein Video zoomen und dieses durchlaufen, während es sich im Wiedergabe- oder im Pausenmodus befindet. Größe und Position der gezoomten Ansicht innerhalb des Videobildes werden im Übersichtsfenster angezeigt.
Wenn ein Video in die Anzeige geladen wird, wird die Videodatei im Bereich Inhalt aufgeführt und die Registerkarte Ansicht im Hauptmenüband angezeigt. Die Registerkarte Ansicht enthält Werkzeuge zum Navigieren im Video, zum Hinzufügen und Verwalten von Grafiken und zum Anzeigen von Video-Metadaten. Um die Bedienung zu vereinfachen, stehen diese Werkzeuge auch für den DVR zur Verfügung.
Zu den Werkzeugoperationen zählen das Zoomen der zugehörigen Kartenansicht, um das gesamte Videobild auf dem Boden anzuzeigen, das Anzeigen des Sensorpfades und des sichtbaren Bereichs des Videobildes auf dem Boden sowie das Zoomen und Schwenken der Karte, um dem Video auf dem Boden zu folgen. Diese Werkzeuge bieten einen geographischen Kontext, während Sie mit den Videodaten arbeiten.
Hinzufügen von Grafiken
Sie können relevante Boden-Features im Videoplayer erfassen, indem Sie diese mit einem Feature markieren, das auch auf der Karte angezeigt wird. Umgekehrt werden Boden-Features, die Sie in der Kartenansicht markieren, auch im Videoplayer angezeigt. Diese Punkte können als Feature-Class gespeichert und später für weitere Analysen genutzt werden.
Lesezeichen
Das Erstellen von Video-Lesezeichen erfüllt eine wichtige Funktion bei der Aufzeichnung relevanter Phänomene und Features im Rahmen der Analyse eines Videos. Video-Lesezeichen können in verschiedenen Abspielmodi eines Videos erfasst werden, z. B. Wiedergabe, Pause, Vor- und Rücklauf. Sie können Lesezeichen im Bereich Lesezeichen beschreiben; dieser wird angezeigt, wenn Sie ein Video-Lesezeichen erfassen. Lesezeichen werden im Bereich Lesezeichen erfasst und verwaltet, der auf der Registerkarte Karte in der Gruppe Navigieren in ArcGIS Pro zur Verfügung steht.
Hinzufügen von Metadaten zu Videos
In FMV können nur Videos verwendet werden, die essenzielle Metadaten enthalten. Üblicherweise erfassen hochwertige flugzeuggestützte Videodatenerfassungssysteme die erforderlichen Metadaten und codieren sie in Echtzeit in der Videodatei. Diese Daten können direkt in der FMV-Anwendung verwendet werden, entweder im Live-Streaming-Modus oder aus einer archivierten Datei.
Videoerfassungssysteme für Endverbraucher erzeugen oft separate Videodaten- und Metadatendateien, die zu einer einzelnen FMV-kompatiblen Videodatei kombiniert werden müssen. Dieser auch als Multiplexing bezeichnete Prozess wird in der Software durchgeführt. FMV stellt ein Werkzeug namens Video-Multiplexer bereit, das die richtigen Metadaten an der richtigen Position der Videodatei codiert, um eine einzelne FMV-kompatible Videodatei zu erzeugen. Jede Video- und Metadatendatei verwendet Zeitstempel, um die Codierung der richtigen Metadaten an der richtigen Position in der Videodatei zu synchronisieren.
Die Metadaten werden aus geeigneten Sensoren generiert, z. B. GPS für die X-, Y- und Z-Position, Höhenmesser, inertiale Messeinheiten (Inertial Measurement Unit, IMU) oder andere Datenquellen für die Kameraausrichtung. Die Metadatendatei muss im CSV-Format mit kommagetrennten Werten vorliegen.
FMV-Metadaten werden verwendet, um den Flugpfad des Videosensors, die Mitte des Videobildes und den Footprint der Videobilder auf dem Boden zu berechnen. Darüber hinaus unterstützt FMV die Motion Imagery Standards Board (MISB)-Metadaten-Spezifikationen, die aus 87 Parametern bestehen. Alle bereitgestellten MISB-Parameter werden im endgültigen FMV-kompatiblen Video codiert, einschließlich aller 87 Parameter oder einer Teilmenge davon.
Mehrere FMV-Parameter enthalten die Kartenkoordinaten der vier Ecken des auf den Boden projizierten Videobildes. Wenn die Kartenkoordinaten der vier Eckpunkte angegeben sind, dann werden diese verwendet. Andernfalls berechnet das Werkzeug den Video-Footprint anhand einer Teilmenge der erforderlichen Parameter.
Um die relativen Eckpunkte des Videobild-Footprints zu berechnen und als Bildumriss auf der Karte anzuzeigen, benötigt FMV die zwölf essenziellen Metadatenfelder, die nachfolgend aufgelistet sind:
- Unix-Zeitstempel
- Breitengrad des Sensors
- Längengrad des Sensors
- Höhe des Sensors
- Kurs der Plattform
- Neigung der Plattform
- Rollwinkel der Plattform
- Relativer Rollwinkel des Sensors
- Relative Höhe des Sensors
- Sensor Relative Azimuth
- Horizontaler sichtbarer Bereich
- Vertikaler sichtbarer Bereich
Wenn die Metadaten vollständig und genau sind, berechnet das Werkzeug die Ecken des Videobildes und damit die Größe, Form und Position des Videobildumrisses, der dann auf einer Karte angezeigt werden kann. Diese zwölf Parameter umfassen die minimalen Metadaten, die erforderlich sind, um die Transformation zwischen Video und Karte zu berechnen, den Video-Footprint auf der Karte anzuzeigen und andere Funktionen wie die Digitalisierung und Markierung auf dem Video und der Karte zu ermöglichen.
Die Leistung der Multiplexing-Videodatei hängt vom Typ und von der Qualität der in der Metadatendatei enthaltenen Daten sowie davon ab, wie genau die Videodaten und die Metadatendateien synchronisiert sind. Wenn die Metadaten nicht genau sind oder Abweichungen enthalten, werden diese Diskrepanzen im Video codiert und bei der Wiedergabe des Videos auf der Karte angezeigt. Enthält die Datei metadata.csv lediglich die Felder UNIX Time Stamp, Sensor Latitude und Sensor Longitude, wird zwar die Position des Sensors auf der Karte angezeigt, nicht jedoch der Footprint der Videobilder. Außerdem werden einige Funktionen, z. B. die Digitalisierung von Features und die Messung von Entfernungen innerhalb des Videos, nicht unterstützt.
Sie können Ihre Metadaten in die FMV-Metadatenvorlage FMV_Multiplexer_Field_Mapping_Template.csv eingeben, die Sie unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo abrufen können. Diese Vorlage enthält die zwölf essenziellen Metadatenfelder, die für die Berechnung des Videobild-Footprints erforderlich sind, sowie zusätzliche Felder, die in der MISB-Spezifikation enthalten sind. Stimmen Ihre Metadaten-Feldnamen nicht mit den für FMV benötigten Feldnamen überein, können diese mit den FMV-Feldnamen in der Vorlage FMV_Multiplexer_Field_Mapping_Template.csv abgeglichen werden.
Im Idealfall sind die Videodaten und die Metadaten zeitsynchron. Wenn der Zeitstempel, der das Video und die Metadaten verbindet, nicht genau synchronisiert ist, sind der Video-Footprint und die Sensorposition auf der Karte in der Ansicht im Videoplayer versetzt. Wenn die Zeitverschiebung beobachtbar und gleichmäßig ist, kann der Multiplexer die Zeitabläufe der Metadaten an die des Videos anpassen. Die Zeitverschiebungen werden durch das Erstellen und Eingeben einer optionalen CSV-Datei in das Werkzeug Video-Multiplexer angewendet, das die Position mit Versatz im Video sowie die zugehörige Zeitdiskrepanz identifiziert. Verwenden Sie die Vorlage FMV_Multiplexer_TimeShift_Template.csv, die unter C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo zur Verfügung steht, um die Versätze anzupassen. Die Vorlage enthält Spalten mit den Beschriftungen elapsed time, d. h. die Position im Video, an der die Zeitverschiebung auftritt, und time shift, die die Höhe des Zeitversatzes angibt. Ist die Zeitverschiebung zwischen dem Video und den Metadaten nicht gleichmäßig, können Sie mehrere Videopositionen mit den zugehörigen Zeitverschiebungen in der Vorlage auflisten. Dadurch wird dem Multiplexer mitgeteilt, wo die entsprechenden Metadaten in Relation zum Zeitablauf des Videos platziert werden sollen.
Zusammenfassung
Die räumlich aktivierten Eigenschaften von FMV eignen sich für Echtzeit- oder forensische Analysen und Situationsbewusstseins-Anwendungen. Die Fähigkeit, den Videobild-Footprint und den Flugpfad auf die Karte zu projizieren und darauf anzuzeigen, liefert wichtigen Kontext für das Video und ermöglicht die bidirektionale Erfassung von Features im Videoplayer und in der Karte.
Zusammen mit beschrifteten Video-Lesezeichen bieten diese Funktionen einem Analysten die Möglichkeit, Videobilder oder -segmente für weitere Analysen zu identifizieren und diese Informationen mit anderen Projektbeteiligten zu teilen. Indem Sie FMV-kompatible Videos mit kompletter GIS-Funktionalität integrieren, können Sie wichtige Kontextinformationen synthetisieren, um fundierte Entscheidungen in operativen Umgebungen zu unterstützen.