Text mit Deep Learning transformieren (GeoAI)

Zusammenfassung

Führt ein trainiertes Sequenz-in-Sequenz-Modell für ein Textfeld in einer Feature-Class oder Tabelle aus und aktualisiert dieses mit einem neuen Feld mit dem konvertierten, transformierten oder übersetzten Text.

Weitere Informationen zur Funktionsweise der Texttransformation

Verwendung

• Für dieses Werkzeug müssen Deep-Learning-Frameworks installiert sein. Informationen zum Einrichten des Computers für Deep-Learning-Frameworks in ArcGIS Pro finden Sie unter Installieren von Deep-Learning-Frameworks for ArcGIS.

• Dieses Werkzeug erfordert eine Modelldefinitionsdatei, die Informationen zum trainierten Modell enthält. Das Modell kann mit dem Werkzeug Texttransformationsmodell trainieren trainiert werden. Als Parameterwert für die Eingabe-Modelldefinitionsdatei kann eine JSON-Datei mit der Esri Modelldefinition (.emd) oder ein Deep-Learning-Modellpaket (.dlpk) verwendet werden. Die Modelldateien können lokal gespeichert oder in ArcGIS Living Atlas of the World gehostet werden.

• Dieses Modell unterstützt Modelle, die mit Transformer-basierten Backbones und dem Mistral-Backbone trainiert wurden. Informationen zur Installation des Mistral-Backbone finden Sie unter ArcGIS Mistral Backbone.

• Dieses Werkzeug unterstützt die Verwendung von Sprachmodellen von Drittanbietern, die mithilfe des Modellerweiterbarkeits-Features erstellt wurden. Das Modellerweiterbarkeits-Feature ermöglicht Texttransformations-Tasks mithilfe einer Datei für ein benutzerdefiniertes Deep-Learning-Modell (.dlpk), die nicht mithilfe des Werkzeugs Texttransformationsmodell trainieren erstellt wurde. Weitere Informationen zum Erstellen einer Datei für ein benutzerdefiniertes Deep-Learning-Modell (.dlpk) finden Sie unter Verwenden von Sprachmodellen von Drittanbietern mit ArcGIS.

• Dieses Werkzeug kann in einer CPU oder einem Grafikprozessor ausgeführt werden. Deep Learning ist jedoch rechenintensiv, sodass ein Grafikprozessor empfohlen wird. Wenn Sie dieses Werkzeug mit dem Grafikprozessor ausführen möchten, legen Sie die Umgebungsvariable Prozessortyp auf "GPU" fest. Wenn Sie mehrere Grafikprozessoren haben, legen Sie stattdessen die Umgebungsvariable GPU ID fest.

• Weitere Informationen zu den Voraussetzungen für die Ausführung dieses Werkzeugs und eventuell dabei auftretenden Problemen finden Sie unter Häufig gestellte Fragen zu Deep Learning.

Parameter

Dialogfeld

Beschriftung	Erläuterung	Datentyp
Eingabetabelle	Die Point-, Line- oder Polygon-Eingabe-Feature-Class oder Eingabetabelle mit dem zu transformierenden Text.	Feature Layer; Table View
Textfeld	Ein Textfeld in der Eingabe-Feature-Class oder Eingabetabelle, das den zu transformierenden Text enthält.	Field
Eingabe-Modelldefinitionsdatei	Das trainierte Modell, das für die Texttransformation verwendet werden soll. Als Modelldefinitionsdatei kann eine JSON-Datei mit der Esri Modelldefinition (.emd) oder ein Deep-Learning-Modellpaket (.dlpk) verwendet werden, das lokal gespeichert oder in ArcGIS Living Atlas (.dlpk_remote) gehostet wird. Wenn Sie eine .dlpk-Datei verwenden möchten, die mit dem Mistral-Backbone trainiert wurde, müssen Sie dieses vor Verwendung des Modells installieren. Informationen zur Installation des Mistral-Backbone finden Sie unter ArcGIS Mistral Backbone. Bei der .dlpk-Datei kann es sich auch um ein Sprachmodell eines Drittanbieters handeln. Vorsicht: Die .dlpk-Datei für ein Sprachmodell eines Drittanbieters kann schädlichen Code enthalten. Verwenden Sie diese Modelle daher nur, wenn Sie deren Quelle als vertrauenswürdig einstufen.	File
Ergebnisfeld (optional)	Der Name des Feldes für den transformierten Text in der Ausgabe-Feature-Class oder -Tabelle. Der Standardname des Feldes lautet Result.	String
Modellargumente (optional)	Zusätzliche Argumente, die vom Modell beim Ausführen von Inferenzen verwendet werden. Als Modellargument wird sequence_length unterstützt, das zum Anpassen der Ausgabe des Modells verwendet wird. Hinweis: Bei Verwendung eines Sprachmodells eines Drittanbieters werden die Modellargumente entsprechend den in der .dlpk-Datei angegebenen Parametern aktualisiert. Weitere Informationen zum Definieren von Modellargumenten finden Sie im Abschnitt "getParameterInfo" unter Verwenden von Sprachmodellen von Drittanbietern mit ArcGIS.	Value Table
Batch-Größe (optional)	Die Anzahl der Trainingsgebiete, die gleichzeitig verarbeitet werden sollen. Der Standardwert ist 4. Durch größere Batches kann die Leistung des Werkzeugs erhöht werden. Aber größere Batches belegen mehr Arbeitsspeicher. Wird die Fehlermeldung "Nicht genügend Arbeitsspeicher" angezeigt, verwenden Sie kleinere Batches.	Double
Mindestens erforderliche Sequenzlänge (optional)	Die Anzahl von Zeichen, die für die Ausgabetextzeichenfolge mindestens erforderlich sind. Der Standardwert ist 20.	Double
Maximal zulässige Sequenzlänge (optional)	Die Anzahl von Zeichen, die für die Ausgabetextzeichenfolge maximal zulässig sind. Der Standardwert ist 50.	Double

Abgeleitete Ausgabe

Beschriftung	Erläuterung	Datentyp
Aktualisierte Tabelle	Die Point-, Line- oder Polygon-Ausgabe-Feature-Class oder Ausgabetabelle mit dem transformierten Text, die aus den Eingabedaten abgeleitet wurde.	Table View; Feature Layer

Python

arcpy.geoai.TransformTextUsingDeepLearning(in_table, text_field, in_model_definition_file, {result_field}, {model_arguments}, {batch_size}, {minimum_sequence_length}, {maximum_sequence_length})

Name	Erläuterung	Datentyp
in_table	Die Point-, Line- oder Polygon-Eingabe-Feature-Class oder Eingabetabelle mit dem zu transformierenden Text.	Feature Layer; Table View
text_field	Ein Textfeld in der Eingabe-Feature-Class oder Eingabetabelle, das den zu transformierenden Text enthält.	Field
in_model_definition_file	Das trainierte Modell, das für die Texttransformation verwendet werden soll. Als Modelldefinitionsdatei kann eine JSON-Datei mit der Esri Modelldefinition (.emd) oder ein Deep-Learning-Modellpaket (.dlpk) verwendet werden, das lokal gespeichert oder in ArcGIS Living Atlas (.dlpk_remote) gehostet wird. Wenn Sie eine .dlpk-Datei verwenden möchten, die mit dem Mistral-Backbone trainiert wurde, müssen Sie dieses vor Verwendung des Modells installieren. Informationen zur Installation des Mistral-Backbone finden Sie unter ArcGIS Mistral Backbone. Bei der .dlpk-Datei kann es sich auch um ein Sprachmodell eines Drittanbieters handeln. Vorsicht: Die .dlpk-Datei für ein Sprachmodell eines Drittanbieters kann schädlichen Code enthalten. Verwenden Sie diese Modelle daher nur, wenn Sie deren Quelle als vertrauenswürdig einstufen.	File
result_field (optional)	Der Name des Feldes für den transformierten Text in der Ausgabe-Feature-Class oder -Tabelle. Der Standardname des Feldes lautet Result.	String
model_arguments [model_arguments,...] (optional)	Zusätzliche Argumente, die vom Modell beim Ausführen von Inferenzen verwendet werden. Als Modellargument wird sequence_length unterstützt, das zum Anpassen der Ausgabe des Modells verwendet wird. Hinweis: Bei Verwendung eines Sprachmodells eines Drittanbieters werden die Modellargumente entsprechend den in der .dlpk-Datei angegebenen Parametern aktualisiert. Weitere Informationen zum Definieren von Modellargumenten finden Sie im Abschnitt "getParameterInfo" unter Verwenden von Sprachmodellen von Drittanbietern mit ArcGIS.	Value Table
batch_size (optional)	Die Anzahl der Trainingsgebiete, die gleichzeitig verarbeitet werden sollen. Der Standardwert ist 4. Durch größere Batches kann die Leistung des Werkzeugs erhöht werden. Aber größere Batches belegen mehr Arbeitsspeicher. Wird die Fehlermeldung "Nicht genügend Arbeitsspeicher" angezeigt, verwenden Sie kleinere Batches.	Double
minimum_sequence_length (optional)	Die Anzahl von Zeichen, die für die Ausgabetextzeichenfolge mindestens erforderlich sind. Der Standardwert ist 20.	Double
maximum_sequence_length (optional)	Die Anzahl von Zeichen, die für die Ausgabetextzeichenfolge maximal zulässig sind. Der Standardwert ist 50.	Double

Abgeleitete Ausgabe

Name	Erläuterung	Datentyp
updated_table	Die Point-, Line- oder Polygon-Ausgabe-Feature-Class oder Ausgabetabelle mit dem transformierten Text, die aus den Eingabedaten abgeleitet wurde.	Table View; Feature Layer

Codebeispiel

TransformTextUsingDeepLearning: Beispiel (Python-Fenster)

Das folgende Skript im Python-Fenster veranschaulicht, wie Sie die Funktion TransformTextUsingDeepLearning verwenden.

# Name: TransformText.py
# Description: Translate text from English to German
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy
import os

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_table = os.path.join("translationdata")
pretrained_model_path_emd = "c:\\translatedata\\Seq2Seq.emd"

# Run Transform Text Using Deep Learning
arcpy.geoai.TransformTextUsingDeepLearning(in_table, "EnglishText", pretrained_model_path_emd)

Umgebungen

Prozessortyp, GPU-ID

Lizenzinformationen

• Basic: Nein
• Standard: Nein
• Advanced: Ja