Transformer du texte à l’aide du Deep Learning (GeoAI)

Synthèse

Exécute un modèle séquence-à-séquence entraîné sur un champ de texte dans une table ou une classe d’entités et le met à jour avec un nouveau champ contenant le texte converti, transformé ou traduit.

En savoir plus sur le fonctionnement de l’outil Transformation de texte

Utilisation

• Cet outil requiert l’installation des structures de Deep Learning. Pour configurer votre machine afin d’utiliser des structures d’apprentissage profond dans ArcGIS Pro, consultez la rubrique Installer les structures d’apprentissage profond pour ArcGIS.

• Cet outil nécessite un fichier de définition de modèle contenant des informations de modèle entraîné. Le modèle peut être entraîné avec l’outil Entraîner le modèle de transformation de texte. La valeur du paramètre Fichier de définition de modèle en entrée peut être un fichier JSON de définition de modèle Esri (.emd) ou un paquetage de modèle de Deep Learning (.dlpk). Les fichiers de modèle peuvent être stockés localement ou hébergés sur ArcGIS Living Atlas of the World.

• Cet outil prend en charge les modèles entraînés avec des backbones basés sur des transformeurs et le backbone Mistral. Pour installer le backbone Mistral, reportez-vous à la rubrique ArcGIS Mistral Backbone.

• Cet outil prend en charge l’utilisation de modèles de langage tiers créés avec la fonctionnalité d’extensibilité du modèle. La fonctionnalité d’extensibilité du modèle permet de réaliser des tâches de transformation de texte à l’aide d’un fichier de modèle Deep Learning personnalisé (.dlpk) qui n’est pas créé avec l’outil Entraîner le modèle de transformation de texte. Pour en savoir plus sur la création d’un fichier de modèle (.dlpk) Deep Learnnig personnalisé, consultez Utiliser des modèles de langage tiers avec ArcGIS.

• Cet outil peut s’exécuter sur des UC ou GPU. Toutefois, le Deep Learning sollicite d’importantes ressources de calcul et un GPU est recommandé. Pour exécuter cet outil avec un processeur, définissez le paramètre d’environnement Type de processeur sur GPU. Si vous avez plusieurs processeurs, spécifiez plutôt le paramètre d’environnement ID de GPU.

• Pour en savoir plus sur les exigences relatives à l’exécution de cet outil, ainsi que sur les problèmes que vous pouvez rencontrer, consultez les rubriques FAQ Apprentissage profond. .

Paramètres

Boîte de dialogue

Étiquette	Explication	Type de données
Table en entrée	Table ou classe d’entités ponctuelles, linéaires ou surfaciques en entrée qui contient le texte à transformer.	Feature Layer; Table View
Champ de texte	Champ de texte dans la table ou la classe d’entités en entrée qui contient le texte à transformer.	Field
Fichier de définition du modèle en entrée	Modèle entraîné qui servira pour la transformation de texte. Le fichier de définition du modèle peut être un fichier JSON de définition de modèle Esri (.emd) ou un paquetage de modèle de Deep Learning (.dlpk) qui est stocké localement ou hébergé sur ArcGIS Living Atlas (.dlpk_remote). Pour utiliser un fichier .dlpk qui est entraîné avec le backbone Mistral, il doit être installé avant d’utiliser le modèle. Pour installer le backbone Mistral, reportez-vous à la rubrique ArcGIS Mistral Backbone. Le fichier .dlpk peut également être un modèle de langage tiers. Attention : Un modèle de langage tiers .dlpk peut contenir du code dangereux. Utilisez ces modèles uniquement si vous approuvez leur source.	File
Champ de résultat (Facultatif)	Nom du champ qui contiendra le texte transformé dans la table ou la classe d’entités en sortie. Le nom de champ par défaut est Result.	String
Arguments du modèle (Facultatif)	Arguments supplémentaires qui seront utilisés par le modèle lors de la réalisation de l’inférence. L’argument du modèle pris en charge est sequence_length, qui permettra d’ajuster la sortie du modèle. Remarque : Lorsque vous utilisez un modèle de langage tiers, les arguments du modèle sont mis à jour conformément aux paramètres spécifiés dans le fichier .dlpk. Pour en savoir plus sur la définition des arguments de modèle, consultez la section getParameterInfo de la rubrique Utiliser des modèles de langage tiers avec ArcGIS.	Value Table
Taille de lot (Facultatif)	Nombre d’échantillons d’entraînement qui seront traités en une fois. La valeur par défaut est 4. Il est possible d’augmenter la taille de lot pour améliorer les performances de l’outil. Il convient toutefois de noter que le volume de mémoire utilisée est proportionnel à la taille de lot. Si un message d’erreur s’affiche pour mémoire insuffisante, utilisez une taille de lot plus petite.	Double
Longueur de séquence minimale (Facultatif)	Nombre minimal de caractères de la chaîne de texte en sortie. La valeur par défaut est 20.	Double
Longueur de séquence maximale (Facultatif)	Nombre maximal de caractères de la chaîne de texte en sortie. La valeur par défaut est 50.	Double

Sortie obtenue

Étiquette	Explication	Type de données
Table mise à jour	Table ou classe d’entités ponctuelles, linéaires ou surfaciques en sortie qui contient le texte transformé obtenu à partir des données en entrée.	Table View; Feature Layer

Python

arcpy.geoai.TransformTextUsingDeepLearning(in_table, text_field, in_model_definition_file, {result_field}, {model_arguments}, {batch_size}, {minimum_sequence_length}, {maximum_sequence_length})

Nom	Explication	Type de données
in_table	Table ou classe d’entités ponctuelles, linéaires ou surfaciques en entrée qui contient le texte à transformer.	Feature Layer; Table View
text_field	Champ de texte dans la table ou la classe d’entités en entrée qui contient le texte à transformer.	Field
in_model_definition_file	Modèle entraîné qui servira pour la transformation de texte. Le fichier de définition du modèle peut être un fichier JSON de définition de modèle Esri (.emd) ou un paquetage de modèle de Deep Learning (.dlpk) qui est stocké localement ou hébergé sur ArcGIS Living Atlas (.dlpk_remote). Pour utiliser un fichier .dlpk qui est entraîné avec le backbone Mistral, il doit être installé avant d’utiliser le modèle. Pour installer le backbone Mistral, reportez-vous à la rubrique ArcGIS Mistral Backbone. Le fichier .dlpk peut également être un modèle de langage tiers. Attention : Un modèle de langage tiers .dlpk peut contenir du code dangereux. Utilisez ces modèles uniquement si vous approuvez leur source.	File
result_field (Facultatif)	Nom du champ qui contiendra le texte transformé dans la table ou la classe d’entités en sortie. Le nom de champ par défaut est Result.	String
model_arguments [model_arguments,...] (Facultatif)	Arguments supplémentaires qui seront utilisés par le modèle lors de la réalisation de l’inférence. L’argument du modèle pris en charge est sequence_length, qui permettra d’ajuster la sortie du modèle. Remarque : Lorsque vous utilisez un modèle de langage tiers, les arguments du modèle sont mis à jour conformément aux paramètres spécifiés dans le fichier .dlpk. Pour en savoir plus sur la définition des arguments de modèle, consultez la section getParameterInfo de la rubrique Utiliser des modèles de langage tiers avec ArcGIS.	Value Table
batch_size (Facultatif)	Nombre d’échantillons d’entraînement qui seront traités en une fois. La valeur par défaut est 4. Il est possible d’augmenter la taille de lot pour améliorer les performances de l’outil. Il convient toutefois de noter que le volume de mémoire utilisée est proportionnel à la taille de lot. Si un message d’erreur s’affiche pour mémoire insuffisante, utilisez une taille de lot plus petite.	Double
minimum_sequence_length (Facultatif)	Nombre minimal de caractères de la chaîne de texte en sortie. La valeur par défaut est 20.	Double
maximum_sequence_length (Facultatif)	Nombre maximal de caractères de la chaîne de texte en sortie. La valeur par défaut est 50.	Double

Sortie obtenue

Nom	Explication	Type de données
updated_table	Table ou classe d’entités ponctuelles, linéaires ou surfaciques en sortie qui contient le texte transformé obtenu à partir des données en entrée.	Table View; Feature Layer

Exemple de code

Exemple d’utilisation de la fonction TransformTextUsingDeepLearning (fenêtre Python)

Le script ci-dessous pour la fenêtre Python illustre l’utilisation de la fonction TransformTextUsingDeepLearning.

# Name: TransformText.py
# Description: Translate text from English to German
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy
import os

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_table = os.path.join("translationdata")
pretrained_model_path_emd = "c:\\translatedata\\Seq2Seq.emd"

# Run Transform Text Using Deep Learning
arcpy.geoai.TransformTextUsingDeepLearning(in_table, "EnglishText", pretrained_model_path_emd)

Environnements

Type de processeur, ID du processeur graphique

Informations de licence

• Basic: Non
• Standard: Non
• Advanced: Oui