Преобразовать текст при помощи глубокого обучения (GeoAI)

Краткая информация

Запускает обученную модель от последовательности к последовательности для текстового поля класса объектов или таблицы и обновляет их новым полем, которое содержит конвертированный, преобразованный или переведенный текст.

Более подробно о том, как работает инструмент Преобразовать текст

Использование

• Для этого инструмента требуются установленные системы глубокого изучения. Чтобы настроить компьютер на работу в среде глубокого обучения в ArcGIS Pro, см. раздел Установка сред глубокого обучения для ArcGIS.

• Для этого инструмента требуется файл определения модели, содержащий обученную информацию о модели. Модель можно обучить при помощи инструмента Обучение модели преобразования текста. Значением параметра Входной файл определения модели может быть JSON-файл определения модели Esri (.emd) или пакет модели глубокого обучения (.dlpk). Файлы модели должны храниться локально или быть размещены на ArcGIS Living Atlas of the World.

• Этот инструмент поддерживает модели, обученные с использованием опорных сетей на основе преобразователей и опорной сети Mistral. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.

• Этот инструмент поддерживает использование языковых моделей сторонних разработчиков, созданных с использованием функции расширяемости модели. Функция расширяемости модели позволяет выполнять задачи преобразования текста с использованием пользовательского файла модели глубокого обучения (.dlpk), который не создается с помощью инструмента Обучение модели преобразования текста. Чтобы узнать больше о создании пользовательского файла модели глубокого обучения (.dlpk), см. Использование языковых моделей сторонних разработчиков с ArcGIS.

• Этот инструмент может работать на центральном процессоре или графическом процессоре; однако глубокое обучение является интенсивным вычислительным процессом, поэтом рекомендуется использовать именно графический процессор. Чтобы запустить этот инструмент с помощью графического процессора, установите для параметра Тип процессора значение GPU. Если у вас более одного графического процессора, вместо этого задайте параметр среды GPU ID.

• Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Параметры

Диалог

Подпись	Описание	Тип данных
Входная таблица	Входной класс точечных, линейных, полигональных объектов или таблица, содержащие текст, который будет преобразован.	Feature Layer; Table View
Поле текста	Текстовое поле во входном классе объектов или таблице, которое содержит текст для преобразования.	Field
Входной файл определения модели	Обученная модель, которая будет использоваться для преобразования текста. Файлом определения модели может быть файл JSON определения модели Esri (.emd) или пакет модели глубокого обучения (.dlpk), который хранится локально или размещен на ArcGIS Living Atlas (.dlpk_remote). Чтобы использовать файл .dlpk, обученный с помощью Mistral backbone, он должен быть установлен перед использованием модели. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone. Файл .dlpk также может быть языковой моделью стороннего разработчика. Внимание: Файл .dlpk языковой модели стороннего разработчика потенциально может содержать вредоносный код. Используйте эти модели только в том случае, если вы доверяете их источнику.	File
Поле результата (Дополнительный)	Имя поля, которое будет содержать преобразованный текст в выходном классе объектов или таблице. По умолчанию поле называется Result.	String
Аргументы модели (Дополнительный)	Дополнительные аргументы, которые будут использоваться моделью при выполнении вывода. Поддерживаемый аргумент модели - sequence_length, который будет использоваться для настройки выходных данных модели. Примечание: При использовании языковой модели стороннего разработчика аргументы модели будут обновлены в соответствии с параметрами, указанными в файле .dlpk. Чтобы узнать больше об определении аргументов модели, см. раздел getParameterInfo в Использование языковых моделей сторонних разработчиков с ArcGIS.	Value Table
Размер пакета (Дополнительный)	Количество обучающих выборок, которые будут обрабатываться за один раз. Значение, предлагаемое по умолчанию, равно 4. Увеличение размера пакета может улучшить производительность инструмента, но при этом увеличение размера пакета приводит к расходованию большего объема памяти. Если возникает ошибка нехватки памяти, используйте меньший размер пакета.	Double
Минимальная длина последовательности (Дополнительный)	Минимальное число символов для выходной текстовой строки. Значение по умолчанию равно 20.	Double
Максимальная длина последовательности (Дополнительный)	Максимальное число символов для выходной текстовой строки. Значение, предлагаемое по умолчанию, равно 50.	Double

Производные выходные данные

Подпись	Описание	Тип данных
Обновленная таблица	Выходной класс точечных, линейных, полигональных объектов или таблица, содержащие преобразованный текст, полученный из входных данных.	Table View; Feature Layer

Python

arcpy.geoai.TransformTextUsingDeepLearning(in_table, text_field, in_model_definition_file, {result_field}, {model_arguments}, {batch_size}, {minimum_sequence_length}, {maximum_sequence_length})

Имя	Описание	Тип данных
in_table	Входной класс точечных, линейных, полигональных объектов или таблица, содержащие текст, который будет преобразован.	Feature Layer; Table View
text_field	Текстовое поле во входном классе объектов или таблице, которое содержит текст для преобразования.	Field
in_model_definition_file	Обученная модель, которая будет использоваться для преобразования текста. Файлом определения модели может быть файл JSON определения модели Esri (.emd) или пакет модели глубокого обучения (.dlpk), который хранится локально или размещен на ArcGIS Living Atlas (.dlpk_remote). Чтобы использовать файл .dlpk, обученный с помощью Mistral backbone, он должен быть установлен перед использованием модели. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone. Файл .dlpk также может быть языковой моделью стороннего разработчика. Внимание: Файл .dlpk языковой модели стороннего разработчика потенциально может содержать вредоносный код. Используйте эти модели только в том случае, если вы доверяете их источнику.	File
result_field (Дополнительный)	Имя поля, которое будет содержать преобразованный текст в выходном классе объектов или таблице. По умолчанию поле называется Result.	String
model_arguments [model_arguments,...] (Дополнительный)	Дополнительные аргументы, которые будут использоваться моделью при выполнении вывода. Поддерживаемый аргумент модели - sequence_length, который будет использоваться для настройки выходных данных модели. Примечание: При использовании языковой модели стороннего разработчика аргументы модели будут обновлены в соответствии с параметрами, указанными в файле .dlpk. Чтобы узнать больше об определении аргументов модели, см. раздел getParameterInfo в Использование языковых моделей сторонних разработчиков с ArcGIS.	Value Table
batch_size (Дополнительный)	Количество обучающих выборок, которые будут обрабатываться за один раз. Значение, предлагаемое по умолчанию, равно 4. Увеличение размера пакета может улучшить производительность инструмента, но при этом увеличение размера пакета приводит к расходованию большего объема памяти. Если возникает ошибка нехватки памяти, используйте меньший размер пакета.	Double
minimum_sequence_length (Дополнительный)	Минимальное число символов для выходной текстовой строки. Значение по умолчанию равно 20.	Double
maximum_sequence_length (Дополнительный)	Максимальное число символов для выходной текстовой строки. Значение, предлагаемое по умолчанию, равно 50.	Double

Производные выходные данные

Имя	Описание	Тип данных
updated_table	Выходной класс точечных, линейных, полигональных объектов или таблица, содержащие преобразованный текст, полученный из входных данных.	Table View; Feature Layer

Пример кода

TransformTextUsingDeepLearning, пример (окно Python)

Скрипт окна Python, демонстрирующий использование функции TransformTextUsingDeepLearning.

# Name: TransformText.py
# Description: Translate text from English to German
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy
import os

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_table = os.path.join("translationdata")
pretrained_model_path_emd = "c:\\translatedata\\Seq2Seq.emd"

# Run Transform Text Using Deep Learning
arcpy.geoai.TransformTextUsingDeepLearning(in_table, "EnglishText", pretrained_model_path_emd)

Параметры среды

Тип процессора, GPU ID

Информация о лицензиях

• Basic: Нет
• Standard: Нет
• Advanced: Да