Objektverfolgung in bewegten Bilddaten

Mit der Image Analyst-Lizenz verfügbar.

Eine Funktion von bewegten Bilddaten ist die Verfolgung bestimmter Objekte in Videodaten während der Wiedergabe. Dabei kann es sich um stationäre oder bewegte Objekte handeln, die möglicherweise verdeckt und dann wieder sichtbar werden oder ihre Form ändern (beispielsweise eine Person, die in ein Fahrzeug steigt). Die Objektverfolgungsfunktion in Full Motion Video (FMV) stellt automatisierte und computergestützte Werkzeuge für die verschiedensten Situationen beim Verfolgen von Objekten in Videobilddaten bereit. Objektverfolgung, Feature-Extraktion und Abgleich werden durch Deep-Learning-Technologie unterstützt. Sie können ein auf Deep Learning basierendes Objektverfolgungsmodell erstellen und die Palette an Werkzeugen zum Auswählen und Verfolgen eines relevanten Objekts verwenden. Die Schwerpunkte, die den Identifizierungsrechtecken des Objekts entsprechen, können digitalisiert und als Punktklasse in der Geodatabase des Projekts gespeichert werden. Die gespeicherten Punkte können dann bei der Wiedergabe des archivierten Videos angezeigt werden.

Anforderungen

Die Objektverfolgungsfunktion in FMV ist in ArcGIS Pro mit der ArcGIS Image Analyst-Erweiterung verfügbar.

Hinweis:

Stellen Sie sicher, dass die Treiber der Videokarte aktuell sind.

Deep-Learning-Modell

Zum Verfolgen von Objekten in einem Video ist mindestens ein trainiertes Deep-Learning-Modell erforderlich. Die Effektivität der Verfolgung hängt von der Qualität der für das Deep-Learning-Training verwendeten Trainingsgebiete ab sowie davon, wie eng das relevante Objekt mit den Trainingsdaten verknüpft ist. Wenn Sie zum Beispiel einen auf einer Autobahn fahrenden LKW verfolgen möchten, benötigen Sie beschriftete Trainingsgebiete mit LKWs aus verschiedenen Winkeln. Als Quelle der Trainingsgebiete (Bilder mit Annotationen) müssen bewegte Bilddaten verwendet werden. Die beschrifteten Trainingsgebiete werden genutzt, um das Deep-Learning-Modell für das Verfolgen von Objekten, in diesem Fall beispielsweise LKWs, zu trainieren. Das Modell kann nur in begrenztem Umfang Objekte mit unterschiedlichem Aussehen wie beispielsweise Autos verfolgen, während es größere Wohnmobile oder Busse erfolgreich verfolgen kann.

Sie müssen Pakete für das Deep-Learning-Framework installieren, um Deep-Learning-Workflows in ArcGIS Pro auszuführen. Mithilfe einer Reihe von Werkzeugen können Sie Trainingsdaten für Video und unbewegte Bilder vorbereiten, Objekte beschriften, Deep-Learning-Modelle und Inferenz erstellen und die Ergebnisse überprüfen. Weitere Informationen zur Installation der Pakete finden Sie unter Installieren von Deep-Learning-Frameworks für ArcGIS.

Da Deep Learning rechenintensiv ist, wird eine leistungsstarke GPU mit Unterstützung für CUDA-Compute Capability, Version 6.0 oder höher, empfohlen.

Details zu Deep Learning und Deep-Learning-Workflows finden Sie unter Einführung in Deep Learning und Deep Learning in ArcGIS Pro. Weitere Informationen zur Palette der Deep-Learning-Werkzeuge in ArcGIS finden Sie unter Überblick über das Toolset "Deep Learning".

Registerkarte "Verfolgung"

Die Registerkarte Tracking ist kontextbezogen. Sie wird aktiviert, wenn Sie im Bereich Inhalt ein Video auswählen.

Hinweis:

Die Registerkarte Verfolgung ist verfügbar, wenn die Deep-Learning-Pakete in ArcGIS Pro installiert und aktiviert sind.

Mithilfe der Werkzeuge in der Gruppe Objektverfolgung können Sie die Objektverfolgung in Ihren Videodaten identifizieren und verwalten:

• Bereich "Verfolgung": Öffnen Sie den Bereich Objektverfolgungsanzeige, in dem Sie das Deep-Learning-Modell für die Objektverfolgung angeben und Parametereinstellungen konfigurieren können.
• Aktivieren: Aktivieren Sie die interaktiven Objektverfolgungswerkzeuge.
• Objekt hinzufügen: Fügen Sie ein Objekt hinzu, um eine Objektverfolgung auszuführen, indem Sie interaktiv ein Rechteck um das Objekt zeichnen.
• Objekt neu positionieren: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses auszuwählen, und zeichnen Sie das Rechteck neu um die aktualisierte Position des Objekts.
• Objekt entfernen: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses nicht mehr aktiv zu verfolgen.
• Objekt(e) in Features: Speichern Sie die Schwerpunkte der Objekterkennungsrechtecke als neue Feature-Class.

Bereich "Verfolgung"

Klicken Sie auf die Schaltfläche Bereich "Verfolgung", um den Bereich Objektverfolgungsanzeige zu öffnen. Der Bereich enthält die Registerkarten Einstellungen und Verfolgte Objekte.

Einstellungen

Auf der Registerkarte Einstellungen können Sie das Deep-Learning-Modell auswählen und Parameter für Verfolgungsobjekte festlegen.

Klicken Sie auf die Schaltfläche Objektverfolgungsmodell mithilfe eines lokalen Pfades oder einer URL hinzufügen , um das Dialogfeld Deep-Learning-Modell aus Pfad hinzufügen zu öffnen. Geben Sie den Pfad der Paketdatei des Deep-Learning-Modells (.dlpk) an, indem Sie eine URL eingeben oder zu der Datei in einem lokalen Verzeichnis wechseln. Im Textfeld Modell können Sie einen Alias für den Namen des Modells zuweisen. Klicken Sie auf Hinzufügen, um das Modell zu laden und das Dialogfeld zu schließen. Der Modellname wird in der Dropdown-Liste Modell angezeigt und kann dort ausgewählt werden.

Die Registerkarte Einstellungen enthält Optionen, die die Steuerung der Objektverfolgung erleichtern: Track-Fehler ermitteln, Track wiederherstellen und Auto Detector.

• Track-Fehler ermitteln: Gibt an, ob das Objekt basierend auf geändertem Aussehen erfolgreich verfolgt wird. Diese Option ist standardmäßig aktiviert.
  • Intervall (Videobilder): Das Intervall (die Anzahl der Videobilder), in dem die Anwendung überprüft, ob sich das Aussehen des Objekts geändert hat. Der Standardwert beträgt 5 Videobilder.
  • Minimale Objektgröße (Pixel): Die Objektverfolgung wird beendet, wenn das Objekt kleiner als der angegebene Größenwert ist. Der Standardwert ist 10 Pixel.
  • Max. Suchintervall: Wenn ein Objekt verloren gegangen ist, wird hier das maximale Suchintervall angegeben, das in Einheiten von Videobildern definiert ist. Der Standardwert ist 60.
  • Größe der Statuswarteschlange: Die Anzahl der Bilder, während der ein Objektstatus aufrechterhalten wird, wenn das Objekt verloren gegangen ist.
• Track wiederherstellen: Gibt an, ob versucht wird, ein Objekt nach Abbruch der Verfolgung zu suchen. Diese Option ist standardmäßig aktiviert.
  • Konfidenzschwellenwert (0–1): Das Mindestverhältnis zwischen zugeordneten Quell-Bild-Features und gesuchten Objekt-Features für die erfolgreiche Wiederherstellung. Der Konfidenzschwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.
  • Minimaler Überlappungsschwellenwert (0–1): Das Verhältnis des minimalen Überlappungsschwellenwertes zwischen dem erkannten Objekt und dem gesuchten Objekt für eine erfolgreiche Wiederherstellung. Der Schwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.
• Auto Detector: Gibt an, ob die Erkennung und Identifizierung von Zielobjekten automatisch mithilfe eines auf Deep Learning basierenden Detector-Modells durchgeführt wird. Diese Option ist standardmäßig deaktiviert.

  Geben Sie den Pfad der Datei des Deep-Learning-Modells (.emd) an, indem Sie eine URL eingeben oder zu der Datei in einem lokalen Verzeichnis wechseln.

  • Häufigkeit der automatischen Erkennung: Das Intervall zwischen aufeinanderfolgenden Detector-Läufen, um Zielobjekte in der Szene neu zu identifizieren und neu auszurichten. Niedrigere Werte führen zu höherer Genauigkeit bei reduzierter Leistung. Der Standardwert ist 1.
  • Minimaler Konfidenzschwellenwert: Der minimale Konfidenzwert zum Herausfiltern von Erkennungen. Der Schwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,4.

Verfolgte Objekte

Auf der Registerkarte Verfolgte Objekte können Sie verfolgte Objekte anzeigen und verwalten. In der Tabelle werden für jedes verfolgte Objekt die Werte ID, Quelle und Status aufgeführt.

• ID: Die eindeutige Kennung für jedes verfolgte Objekt.
• Quelle: Die Quellvideodatei, in der das Objekt identifiziert wird.
• Status: Der Status jedes verfolgten Objekts: aktiv verfolgt, verloren oder Gegenstand einer Suche.

Die Registerkarte Verfolgte Objekte enthält außerdem die folgenden fünf Aktionsschaltflächen zum Verwalten verfolgter Objekte:

• Hinzufügen: Fügen Sie ein oder mehrere Objekte hinzu, indem Sie um jedes relevante Objekt ein Rechteck zeichnen.
• Neu positionieren: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses auszuwählen, und positionieren Sie das Rechteck neu um die aktualisierte Position des Objekts herum.
• Entfernen: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses nicht mehr aktiv zu verfolgen.
• Neu verknüpfen: Verknüpfen Sie das aufgeführte Objekt mit dem Status Verloren erneut, indem Sie die aktualisierte Position des Objekts neu zeichnen.
• Löschen: Löschen Sie das ausgewählte Objekt aus der Liste der verfolgten Objekte.

Workflow der Objektverfolgung

Eine Zusammenfassung des Workflows der Objektverfolgung finden Sie nachfolgend:

• Laden Sie ein Deep-Learning-Modell, und legen Sie im Bereich Objektverfolgungsanzeige auf der Registerkarte Einstellungen die Verfolgungsparameter fest.
• Klicken Sie auf Aktivieren, um die Objektverfolgungswerkzeuge zu aktivieren.
• Klicken Sie auf Objekt hinzufügen, um ein Rechteck um das Objekt zu zeichnen, das Sie im Videoplayer verfolgen möchten. Das Objekt wird in jedem Videobild verfolgt.

  Hinweis:

  Dieser Schritt ist im Modus Auto Detector nicht erforderlich.

• Zeigen Sie auf der Registerkarte Verfolgte Objekte den Status der verfolgten Objekte an.
• Wenn das Objekt verdeckt wird und die Verfolgung abbricht, klicken Sie auf Neu verknüpfen, und zeichnen Sie ein neues Rechteck um die aktualisierte Position, um die Verfolgung wieder aufzunehmen.

  Hinweis:

  Dieser Schritt ist im Modus Auto Detector nicht erforderlich.

• Wenn ein Verfolgungsrechteck nicht mehr am verfolgten Objekt ausgerichtet ist, klicken Sie auf Neu positionieren, wählen Sie das Verfolgungsrechteck aus, und positionieren Sie es neu um das Objekt.

  Hinweis:

  Dieser Schritt ist im Modus Auto Detector nicht erforderlich.

• Klicken Sie optional auf Hinzufügen, um ein zu verfolgendes Objekt hinzuzufügen.

  Hinweis:

  Dieser Schritt ist im Modus Auto Detector nicht erforderlich.

• Klicken Sie optional auf Entfernen, um ein Objekt nicht mehr aktiv zu verfolgen.

  Hinweis:

  Dieser Schritt ist im Modus Auto Detector nicht erforderlich.

• Klicken Sie auf der Registerkarte Verfolgung in der Gruppe Objektverfolgung auf Objekt(e) in Features, und geben Sie den Ausgabespeicherort und den Präfixnamen an, um die Objektschwerpunkte in einer Feature-Class zu speichern. Geben Sie optional an, ob die Feature-Class der Karte hinzugefügt werden soll und in welchem Häufigkeitsintervall (in Sekunden) die Schwerpunkte gespeichert werden sollen.