Text mit KI-Modell verarbeiten (GeoAI)

Zusammenfassung

Verarbeitet Text aus aus verschiedenen Quellentypen, zum Beispiel den Textfeldern in Feature-Classes oder -Tabellen oder Textdateien in einem Ordner, um verschiedene Anwendungsfälle, einschließlich Texttransformation, Entitätenerkennung, Textklassifizierung, Texterstellung, Textzusammenfassung usw. zu unterstützen. Das Werkzeug verwendet benutzerdefinierte Modelle von Drittanbietern oder Deep-Learning-Modelle, die mit den Werkzeugen Textklassifizierungsmodell trainieren, Texttransformationsmodell trainieren und Entitätenerkennungsmodell trainieren trainiert wurden.

Verwendung

• Für dieses Werkzeug müssen Deep-Learning-Frameworks installiert sein. Informationen zum Einrichten des Computers für Deep-Learning-Frameworks in ArcGIS Pro finden Sie unter Installieren von Deep-Learning-Frameworks for ArcGIS.

• Dieses Werkzeug erfordert eine Modelldefinitionsdatei, die Informationen zum Modell enthält. Das Modell kann mit dem Werkzeug Textklassifizierungsmodell trainieren, Texttransformationsmodell trainieren oder Entitätenerkennungsmodell trainieren trainiert werden. Als Parameterwert für die Eingabe-Modelldefinitionsdatei kann eine JSON-Datei mit der Esri Modelldefinition (.emd) oder ein Deep-Learning-Modellpaket (.dlpk) verwendet werden. Die Modelldateien können lokal gespeichert oder in ArcGIS Living Atlas of the World gehostet werden.

• Dieses Werkzeug unterstützt die Verwendung von Sprachmodellen von Drittanbietern, die mithilfe des Modellerweiterbarkeits-Features erstellt wurden. Mithilfe dieses Features können für Aufgaben – z. B. Entitätenextraktion, Textklassifizierung, Textzusammenfassung, Textübersetzung usw. – benutzerdefinierte Deep-Learning-Modelle verwendet werden, die nicht mit von ArcGIS Pro unterstützten Werkzeugen trainiert wurden. Weitere Informationen zum Erstellen einer Datei für ein benutzerdefiniertes Deep-Learning-Modell finden Sie unter Verwenden von Sprachmodellen von Drittanbietern mit ArcGIS.

• Dieses Werkzeug kann in einer CPU oder einem Grafikprozessor ausgeführt werden. Deep Learning ist jedoch rechenintensiv, sodass ein Grafikprozessor empfohlen wird. Wenn Sie dieses Werkzeug mit dem Grafikprozessor ausführen möchten, legen Sie die Umgebungsvariable Prozessortyp auf "GPU" fest. Wenn Sie mehrere Grafikprozessoren haben, legen Sie stattdessen die Umgebungsvariable GPU ID fest.

• Dieses Werkzeug unterstützt die Ausführung von Sprachmodellen von Drittanbietern, die remote gehostet werden, ohne dass die Installation von Deep-Learning-Frameworks oder GPU-Spezifikationen erforderlich ist, da diese remote verwaltet werden.

• Weitere Informationen zu den Voraussetzungen für die Ausführung dieses Werkzeugs und eventuell dabei auftretenden Problemen finden Sie unter Häufig gestellte Fragen zu Deep Learning.

Parameter

Dialogfeld

Beschriftung	Erläuterung	Datentyp
Eingabe-Layer oder -Tabelle	Zur Eingabe stehen folgende Möglichkeiten zur Verfügung: Die Point-, Line- oder Polygon-Eingabe-Feature-Class oder Eingabetabelle mit den Eingabefeldern. Jede Zeile in der Eingabe stellt einen einzelnen Datensatz dar. Ein Ordner mit Textdateien.	Feature Layer; Table View; Table; Folder
Datenfelder	Die Namen der Felder aus der Eingabe-Feature-Class oder Eingabetabelle, die für nachgeordnete NLP-Tasks (Natural Language Processing, Verarbeitung natürlicher Sprache) verwendet werden.	Field
Eingabe-Modelldefinitionsdatei	Das trainierte Modell, das für NLP-Tasks verwendet wird. Als Modelldefinitionsdatei kann eine JSON-Datei mit der Esri Modelldefinition (.emd) oder ein Deep-Learning-Modellpaket (.dlpk), das lokal gespeichert ist oder in ArcGIS Living Atlas (.dlpk_remote) gehostet wird, verwendet werden. Bei der .dlpk-Datei kann es sich auch um ein Sprachmodell eines Drittanbieters handeln. Vorsicht: Die .dlpk-Datei für ein Sprachmodell eines Drittanbieters kann schädlichen Code enthalten. Verwenden Sie diese Modelle daher nur, wenn Sie deren Quelle als vertrauenswürdig einstufen.	File
Ausgabe-Layer oder Ausgabetabelle	Die Feature-Class oder Tabelle, in der die Ausgabe der NLP-Tasks gespeichert wird.	Feature Class; Table; Feature Layer
Modellargumente (optional)	Zusätzliche Argumente, die vom Modell beim Ausführen von Inferenzen verwendet werden. Dazu können Argumente gehören, die durch Modellen von Drittanbietern unterstützt werden, sowie zusätzliche Parameter, die von den Werkzeugen Textklassifizierungsmodell trainieren, Texttransformationsmodell trainieren oder Entitätserkennungsmodell trainieren unterstützt werden. Hinweis: Bei Verwendung eines Sprachmodells eines Drittanbieters werden die Modellargumente entsprechend den in der .dlpk-Datei angegebenen Parametern aktualisiert. Weitere Informationen zum Definieren von Modellargumenten finden Sie im Abschnitt "getParameterInfo" unter Verwenden von Sprachmodellen von Drittanbietern mit ArcGIS.	Value Table
Region oder Zone zur Verortung (optional)	Die geographische Region oder Zone, in der sich die Adressen vermutlich befinden. Der angegebene Text wird an die Adresse angehängt, die vom Modell extrahiert wurde. Vom Locator werden die Informationen der Verortungszone verwendet, um die Region oder den geographischen Bereich zu identifizieren, wo sich die Adresse vermutlich befindet, um so bessere Ergebnisse zu erzielen. Hinweis: Dieser Parameter wird nur für Modelle unterstützt, die mit dem Werkzeug Entitätenerkennungsmodell trainieren mit einer definierten Adressenentität trainiert wurden.	String
Eingabe-Locator (optional)	Der Locator, der verwendet wird, um Adressen in Eingabetextdokumenten zu geokodieren. Für jede erfolgreich geokodierte Adresse wird ein Punkt erzeugt und in der Ausgabe-Feature-Class gespeichert. Hinweis: Dieser Parameter wird nur für Modelle unterstützt, die mit dem Werkzeug Entitätenerkennungsmodell trainieren mit einer definierten Adressenentität trainiert wurden.	Address Locator

Abgeleitete Ausgabe

Beschriftung	Erläuterung	Datentyp
Aktualisierte Tabelle	Der Ausgabe-Feature-Layer mit dem aus den Eingabedaten abgeleiteten Ergebnis.	Feature Layer; Table

Python

arcpy.geoai.ProcessTextUsingAIModel(in_layer, data_fields, in_model_definition_file, out_layer, {model_arguments}, {location_zone}, {in_locator})

Name	Erläuterung	Datentyp
in_layer	Zur Eingabe stehen folgende Möglichkeiten zur Verfügung: Die Point-, Line- oder Polygon-Eingabe-Feature-Class oder Eingabetabelle mit den Eingabefeldern. Jede Zeile in der Eingabe stellt einen einzelnen Datensatz dar. Ein Ordner mit Textdateien.	Feature Layer; Table View; Table; Folder
data_fields [data_fields,...]	Die Namen der Felder aus der Eingabe-Feature-Class oder Eingabetabelle, die für nachgeordnete NLP-Tasks (Natural Language Processing, Verarbeitung natürlicher Sprache) verwendet werden.	Field
in_model_definition_file	Das trainierte Modell, das für NLP-Tasks verwendet wird. Als Modelldefinitionsdatei kann eine JSON-Datei mit der Esri Modelldefinition (.emd) oder ein Deep-Learning-Modellpaket (.dlpk), das lokal gespeichert ist oder in ArcGIS Living Atlas (.dlpk_remote) gehostet wird, verwendet werden. Bei der .dlpk-Datei kann es sich auch um ein Sprachmodell eines Drittanbieters handeln. Vorsicht: Die .dlpk-Datei für ein Sprachmodell eines Drittanbieters kann schädlichen Code enthalten. Verwenden Sie diese Modelle daher nur, wenn Sie deren Quelle als vertrauenswürdig einstufen.	File
out_layer	Die Feature-Class oder Tabelle, in der die Ausgabe der NLP-Tasks gespeichert wird.	Feature Class; Table; Feature Layer
model_arguments [model_arguments,...] (optional)	Zusätzliche Argumente, die vom Modell beim Ausführen von Inferenzen verwendet werden. Dazu können Argumente gehören, die durch Modellen von Drittanbietern unterstützt werden, sowie zusätzliche Parameter, die von den Werkzeugen Textklassifizierungsmodell trainieren, Texttransformationsmodell trainieren oder Entitätserkennungsmodell trainieren unterstützt werden. Hinweis: Bei Verwendung eines Sprachmodells eines Drittanbieters werden die Modellargumente entsprechend den in der .dlpk-Datei angegebenen Parametern aktualisiert. Weitere Informationen zum Definieren von Modellargumenten finden Sie im Abschnitt "getParameterInfo" unter Verwenden von Sprachmodellen von Drittanbietern mit ArcGIS.	Value Table
location_zone (optional)	Die geographische Region oder Zone, in der sich die Adressen vermutlich befinden. Der angegebene Text wird an die Adresse angehängt, die vom Modell extrahiert wurde. Vom Locator werden die Informationen der Verortungszone verwendet, um die Region oder den geographischen Bereich zu identifizieren, wo sich die Adresse vermutlich befindet, um so bessere Ergebnisse zu erzielen. Hinweis: Dieser Parameter wird nur für Modelle unterstützt, die mit dem Werkzeug Entitätenerkennungsmodell trainieren mit einer definierten Adressenentität trainiert wurden.	String
in_locator (optional)	Der Locator, der verwendet wird, um Adressen in Eingabetextdokumenten zu geokodieren. Für jede erfolgreich geokodierte Adresse wird ein Punkt erzeugt und in der Ausgabe-Feature-Class gespeichert. Hinweis: Dieser Parameter wird nur für Modelle unterstützt, die mit dem Werkzeug Entitätenerkennungsmodell trainieren mit einer definierten Adressenentität trainiert wurden.	Address Locator

Abgeleitete Ausgabe

Name	Erläuterung	Datentyp
updated_table	Der Ausgabe-Feature-Layer mit dem aus den Eingabedaten abgeleiteten Ergebnis.	Feature Layer; Table

Codebeispiel

ProcessTextUsingAIModel: Beispiel (eigenständiges Skript)

Im folgenden Beispiel wird veranschaulicht, wie die ProcessTextUsingAIModel-Funktion verwendet wird.

# Name: ProcessText.py
# Description: ArcGIS geoprocessing tool that enables a broad range of advanced
# text processing tasks, with customizable outputs to meet various NLP needs.
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy

arcpy.env.workspace = "C:/processtextexamples/data"

# Set local variables
in_table = "ProcessTextData"
pretrained_model_path_emd = "c:\\processtextdata\\ProcessTextUsingLLMs.emd"

# Run Process Text Using AI Model
arcpy.geoai.ProcessTextUsingAIModel(
    in_layer, data_fields, in_model_definition_file, out_layer, model_arguments,
    location_zone, in_locator)

Umgebungen

Prozessortyp, GPU-ID

Lizenzinformationen

• Basic: Nein
• Standard: Nein
• Advanced: Ja