使用深度学习转换文本 (GeoAI)

摘要

在要素类或表中的文本字段上运行经过训练的序列到序列模型，并使用包含已转换、已变换或已翻译文本的新字段对其进行更新。

了解有关“文本转换”工作原理的详细信息

使用情况

• 该工具要求安装深度学习框架。 要设置计算机以在 ArcGIS Pro 中使用深度学习框架，请参阅安装 ArcGIS 的深度学习框架。

• 该工具需要包含经过训练的模型信息的模型定义文件。 该模型可以使用训练文本转换模型工具进行训练。 输入模型定义文件参数值可以是 Esri 模型定义 JSON 文件 (.emd) 或深度学习模型包 (.dlpk)。 模型文件必须存储在本地或者托管在 ArcGIS Living Atlas of the World 上。

• 该工具支持使用基于转换器的主干和 Mistral 主干训练的模型。 要安装 Mistral 主干，请参阅 ArcGIS Mistral 主干。

• 该工具支持使用利用模型扩展功能创建的第三方语言模型。 模型可扩展性功能支持使用未使用训练文本转换模型工具创建的自定义深度学习模型文件 (.dlpk) 执行文本转换任务。 要了解有关创建自定义深度学习 (.dlpk) 模型文件的详细信息，请参阅将第三方语言模型与 ArcGIS 结合使用。

• 该工具可以在 CPU 或 GPU 上运行；但是，由于深度学习为计算密集型，因此建议使用 GPU。 要使用 GPU 运行此工具，请将处理器类型环境设置为 GPU。 如果您具有多个 GPU，还可以指定 GPU ID 环境。

• 有关运行此工具的要求以及您可能遇到的问题的信息，请参阅深度学习常见问题。

参数

对话框

标注	说明	数据类型
输入表	输入点、线或面要素类或表，其中包含将转换的文本。	Feature Layer; Table View
文本字段	输入要素类或表中的文本字段，其中包含将转换的文本。	Field
输入模型定义文件	经过训练的模型将用于文本转换。 模型定义文件可以是 Esri 模型定义 JSON 文件 (.emd)，也可以是存储在本地或者托管在 ArcGIS Living Atlas (.dlpk_remote) 的深度学习模型包 (.dlpk)。 要使用通过 Mistral 主干训练的文件，必须在使用模型之前安装 .dlpk 文件。 要安装 Mistral 主干，请参阅 ArcGIS Mistral 主干。 该 .dlpk 文件也可以是第三方语言模型。 警告： 第三方语言模型 .dlpk 文件可能包含有害代码。 仅当您信任这些模型的源时才能使用模型。	File
结果字段 (可选)	包含输出要素类或表中已转换文本的字段名称。 默认字段名称为 Result。	String
模型参数 (可选)	模型在执行推理时将使用的附加参数。 支持的模型参数为 sequence_length，它用于调整模型的输出。 注： 当使用第三方语言模型时，模型参数将根据 .dlpk 文件中指定的参数进行更新。 要了解有关定义模型参数的详细信息，请参阅在 ArcGIS 中使用第三方语言模型中的 getParameterInfo 部分。	Value Table
批处理大小 (可选)	一次需要处理的训练样本数。 默认值为 4。 增加批处理大小可以提高工具性能；但是，随着批处理大小的增加，会占用更多内存。 如果发生内存不足错误，请使用较小的批处理大小。	Double
最小序列长度 (可选)	输出文本字符串的最小字符数。 默认值为 20。	Double
最大序列长度 (可选)	输出文本字符串的最大字符数。 默认值为 50。	Double

派生输出

标注	说明	数据类型
已更新的表	输出点、线或面要素类或表，其中包含派生自输入数据的已转换文本。	Table View; Feature Layer

Python

arcpy.geoai.TransformTextUsingDeepLearning(in_table, text_field, in_model_definition_file, {result_field}, {model_arguments}, {batch_size}, {minimum_sequence_length}, {maximum_sequence_length})

名称	说明	数据类型
in_table	输入点、线或面要素类或表，其中包含将转换的文本。	Feature Layer; Table View
text_field	输入要素类或表中的文本字段，其中包含将转换的文本。	Field
in_model_definition_file	经过训练的模型将用于文本转换。 模型定义文件可以是 Esri 模型定义 JSON 文件 (.emd)，也可以是存储在本地或者托管在 ArcGIS Living Atlas (.dlpk_remote) 的深度学习模型包 (.dlpk)。 要使用通过 Mistral 主干训练的文件，必须在使用模型之前安装 .dlpk 文件。 要安装 Mistral 主干，请参阅 ArcGIS Mistral 主干。 该 .dlpk 文件也可以是第三方语言模型。 警告： 第三方语言模型 .dlpk 文件可能包含有害代码。 仅当您信任这些模型的源时才能使用模型。	File
result_field (可选)	包含输出要素类或表中已转换文本的字段名称。 默认字段名称为 Result。	String
model_arguments [model_arguments,...] (可选)	模型在执行推理时将使用的附加参数。 支持的模型参数为 sequence_length，它用于调整模型的输出。 注： 当使用第三方语言模型时，模型参数将根据 .dlpk 文件中指定的参数进行更新。 要了解有关定义模型参数的详细信息，请参阅在 ArcGIS 中使用第三方语言模型中的 getParameterInfo 部分。	Value Table
batch_size (可选)	一次需要处理的训练样本数。 默认值为 4。 增加批处理大小可以提高工具性能；但是，随着批处理大小的增加，会占用更多内存。 如果发生内存不足错误，请使用较小的批处理大小。	Double
minimum_sequence_length (可选)	输出文本字符串的最小字符数。 默认值为 20。	Double
maximum_sequence_length (可选)	输出文本字符串的最大字符数。 默认值为 50。	Double

派生输出

名称	说明	数据类型
updated_table	输出点、线或面要素类或表，其中包含派生自输入数据的已转换文本。	Table View; Feature Layer

代码示例

TransformTextUsingDeepLearning 示例(Python 窗口)

以下 Python 窗口脚本演示了如何使用 TransformTextUsingDeepLearning 函数。

# Name: TransformText.py
# Description: Translate text from English to German
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy
import os

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_table = os.path.join("translationdata")
pretrained_model_path_emd = "c:\\translatedata\\Seq2Seq.emd"

# Run Transform Text Using Deep Learning
arcpy.geoai.TransformTextUsingDeepLearning(in_table, "EnglishText", pretrained_model_path_emd)

环境

处理器类型, GPU ID

许可信息

• Basic: 否
• Standard: 否
• Advanced: 是