Objektverfolgung in bewegten Bilddaten

Mit der Image Analyst-Lizenz verfügbar.

Eine Funktion von bewegten Bilddaten ist die Verfolgung bestimmter Objekte in Videodaten während der Wiedergabe. Dabei kann es sich um stationäre oder bewegte Objekte handeln, die möglicherweise verdeckt und dann wieder sichtbar werden oder ihre Form ändern (beispielsweise eine Person, die in ein Fahrzeug steigt). Die Objektverfolgungsfunktion in Full Motion Video (FMV) stellt automatisierte und computergestützte Werkzeuge für die verschiedensten Situationen beim Verfolgen von Objekten in Videobilddaten bereit. Objektverfolgung, Feature-Extraktion und Abgleich werden durch Deep-Learning-Technologie unterstützt. Sie können ein auf Deep Learning basierendes Objektverfolgungsmodell erstellen und die Palette an Werkzeugen zum Auswählen und Verfolgen eines relevanten Objekts verwenden. Die Schwerpunkte, die den Identifizierungsrechtecken des Objekts entsprechen, können digitalisiert und als Punktklasse in der Geodatabase des Projekts gespeichert werden. Die gespeicherten Punkte können dann bei der Wiedergabe des archivierten Videos angezeigt werden.

Anforderungen

Die Objektverfolgungsfunktion in FMV ist in ArcGIS Pro mit der Erweiterung ArcGIS Image Analyst verfügbar.

Deep-Learning-Modell

Zum Verfolgen von Objekten in einem Video ist ein trainiertes Deep-Learning-Modell erforderlich. Die Effektivität der Verfolgung hängt von der Qualität der für das Deep-Learning-Training verwendeten Trainingsgebiete ab sowie davon, wie eng das relevante Objekt mit den Trainingsdaten verknüpft ist. Wenn Sie zum Beispiel einen auf einer Autobahn fahrenden LKW verfolgen möchten, benötigen Sie beschriftete Trainingsgebiete mit LKWs aus verschiedenen Winkeln. Als Quelle der Trainingsgebiete (Bilder mit Annotationen) müssen bewegte Bilddaten verwendet werden. Die beschrifteten Trainingsgebiete werden genutzt, um das Deep-Learning-Modell für das Verfolgen von Objekten, in diesem Fall beispielsweise LKWs, zu trainieren. Das Modell kann nur in begrenztem Umfang Objekte mit unterschiedlichem Aussehen wie beispielsweise Autos verfolgen, während es größere Wohnmobile oder Busse erfolgreich verfolgen kann.

Sie müssen Pakete für das Deep-Learning-Framework installieren, um Deep-Learning-Workflows in ArcGIS Pro auszuführen. Mithilfe einer Reihe von Werkzeugen können Sie Trainingsdaten für Video und unbewegte Bilder vorbereiten, Objekte beschriften, Deep-Learning-Modelle und Inferenz erstellen und die Ergebnisse überprüfen. Weitere Informationen zur Installation der Pakete finden Sie unter Installieren von Deep-Learning-Frameworks für ArcGIS.

Da Deep Learning rechenintensiv ist, wird eine leistungsstarke GPU mit Unterstützung für CUDA-Compute Capability, Version 6.0 oder höher, empfohlen.

Details zu Deep Learning und Deep-Learning-Workflows finden Sie unter Einführung in Deep Learning und Deep Learning in ArcGIS Pro. Weitere Informationen zur Palette der Deep-Learning-Werkzeuge in ArcGIS finden Sie unter Überblick über das Toolset "Deep Learning".

Registerkarte "Verfolgung"

Die Registerkarte Verfolgung ist auf den kontextbezogenen Registerkarten unter Standalone-Video aktiviert, wenn Sie im Bereich Inhalt ein Video auswählen.

Hinweis:

Die Registerkarte Verfolgung ist verfügbar, wenn die Deep-Learning-Pakete in ArcGIS Pro installiert und aktiviert sind.

Mithilfe der Werkzeuge in der Gruppe Objektverfolgung können Sie die Objektverfolgung in Ihren Videodaten identifizieren und verwalten:

• Bereich "Verfolgung": Öffnen Sie den Bereich Objektverfolgung für Video, in dem Sie das Deep-Learning-Modell für die Objektverfolgung angeben und Parametereinstellungen konfigurieren können.
• Aktivieren: Aktivieren Sie die interaktiven Objektverfolgungswerkzeuge.
• Objekt hinzufügen: Fügen Sie ein Objekt hinzu, um eine Objektverfolgung auszuführen, indem Sie interaktiv ein Rechteck um das Objekt zeichnen.
• Objekt neu positionieren: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses auszuwählen, und zeichnen Sie das Rechteck neu um die aktualisierte Position des Objekts.
• Objekt entfernen: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses nicht mehr aktiv zu verfolgen.
• Objekt(e) in Features: Speichern Sie die Schwerpunkte der Objekterkennungsrechtecke als neue Feature-Class.

Bereich "Verfolgung"

Klicken Sie auf die Schaltfläche Bereich "Verfolgung", um den Bereich Objektverfolgung für Video zu öffnen. Der Bereich enthält die Registerkarten Einstellungen und Verfolgte Objekte.

Einstellungen

Auf der Registerkarte Einstellungen können Sie das Deep-Learning-Modell auswählen und Parameter für Verfolgungsobjekte festlegen.

Klicken Sie auf die Schaltfläche Objektverfolgungsmodell mithilfe eines lokalen Pfades oder einer URL hinzufügen , um das Dialogfeld Deep-Learning-Modell aus Pfad hinzufügen zu öffnen. Geben Sie den Pfad der Paketdatei des Deep-Learning-Modells (.dlpk) an, indem Sie eine URL eingeben oder zu der Datei in einem lokalen Verzeichnis wechseln. Im Textfeld Modell können Sie einen Alias für den Namen des Modells zuweisen. Klicken Sie auf Hinzufügen, um das Modell zu laden und das Dialogfeld zu schließen. Der Modellname wird in der Dropdown-Liste Modell angezeigt und kann dort ausgewählt werden.

Die Registerkarte Einstellungen enthält zwei Optionen, die die Steuerung der Objektverfolgung erleichtern: Track-Fehler ermitteln und Track wiederherstellen.

• Track-Fehler ermitteln: Gibt an, ob das Objekt basierend auf geändertem Aussehen erfolgreich verfolgt wird. Diese Option ist standardmäßig aktiviert.
  • Intervall (Videobilder): Das Intervall (die Anzahl der Videobilder), in dem die Anwendung überprüft, ob sich das Aussehen des Objekts geändert hat. Der Standardwert beträgt 5 Videobilder.
  • Minimale Objektgröße (Pixel): Die Objektverfolgung wird beendet, wenn das Objekt kleiner als der angegebene Größenwert ist. Der Standardwert ist 10 Pixel.
• Track wiederherstellen: Gibt an, ob versucht wird, ein Objekt nach Abbruch der Verfolgung zu suchen. Diese Option ist standardmäßig aktiviert.
  • Konfidenzschwellenwert (0–1): Das Mindestverhältnis zwischen zugeordneten Quell-Bild-Features und gesuchten Objekt-Features für die erfolgreiche Wiederherstellung. Der Konfidenzschwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.
  • Minimaler Überlappungsschwellenwert (0–1): Das Verhältnis des minimalen Überlappungsschwellenwertes zwischen dem erkannten Objekt und dem gesuchten Objekt für eine erfolgreiche Wiederherstellung. Der Schwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.

Verfolgte Objekte

Auf der Registerkarte Verfolgte Objekte können Sie verfolgte Objekte anzeigen und verwalten. In der Tabelle werden für jedes verfolgte Objekt die Werte ID, Quelle und Status aufgeführt.

• ID: Die eindeutige Kennung für jedes verfolgte Objekt.
• Quelle: Die Quellvideodatei, in der das Objekt identifiziert wird.
• Status: Der Status jedes verfolgten Objekts: aktiv verfolgt, verloren oder Gegenstand einer Suche.

Die Registerkarte Verfolgte Objekte enthält außerdem die folgenden fünf Aktionsschaltflächen zum Verwalten verfolgter Objekte:

• Hinzufügen: Fügen Sie ein oder mehrere Objekte hinzu, indem Sie um jedes relevante Objekt ein Rechteck zeichnen.
• Neu positionieren: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses auszuwählen, und positionieren Sie das Rechteck neu um die aktualisierte Position des Objekts herum.
• Entfernen: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses nicht mehr aktiv zu verfolgen.
• Neu verknüpfen: Verknüpfen Sie das aufgeführte Objekt mit dem Status Verloren erneut, indem Sie die aktualisierte Position des Objekts neu zeichnen.
• Löschen: Löschen Sie das ausgewählte Objekt aus der Liste der verfolgten Objekte.

Workflow der Objektverfolgung

Eine Zusammenfassung des Workflows der Objektverfolgung finden Sie nachfolgend:

• Laden Sie ein Deep-Learning-Modell, und legen Sie im Bereich Objektverfolgung für Video auf der Registerkarte Einstellungen die Verfolgungsparameter fest.
• Klicken Sie auf Aktivieren, um die Objektverfolgungswerkzeuge zu aktivieren.
• Klicken Sie auf Objekt hinzufügen, um ein Rechteck um das Objekt zu zeichnen, das Sie im Videoplayer verfolgen möchten. Das Objekt wird in jedem Videobild verfolgt.
• Zeigen Sie auf der Registerkarte Verfolgte Objekte den Status der verfolgten Objekte an.
• Wenn das Objekt verdeckt wird und die Verfolgung abbricht, klicken Sie auf Neu verknüpfen, und zeichnen Sie ein neues Rechteck um die aktualisierte Position, um die Verfolgung wieder aufzunehmen.
• Wenn ein Verfolgungsrechteck nicht mehr am verfolgten Objekt ausgerichtet ist, klicken Sie auf Neu positionieren, wählen Sie das Verfolgungsrechteck aus, und positionieren Sie es neu um das Objekt.
• Klicken Sie optional auf Hinzufügen, um ein zu verfolgendes Objekt hinzuzufügen.
• Klicken Sie optional auf Entfernen, um ein Objekt nicht mehr aktiv zu verfolgen.
• Klicken Sie auf der Registerkarte Verfolgung in der Gruppe Objektverfolgung auf Objekt(e) in Features, und geben Sie den Ausgabespeicherort und den Präfixnamen an, um die Objektschwerpunkte in einer Feature-Class zu speichern. Geben Sie optional an, ob die Feature-Class der Karte hinzugefügt werden soll und in welchem Häufigkeitsintervall (in Sekunden) die Schwerpunkte gespeichert werden sollen.