Наверх

Обучение модели классификации текста (GeoAI)

В этом разделе

  1. Краткая информация
  2. Использование
  3. Параметры
  4. Параметры среды
  5. Информация о лицензиях

Краткая информация

Обучает модель классификации текста с одной или несколькими метками для назначения преднастроенных категорий или меток для неструктурированного текста.

Более подробно о том, как работает Классификация текста

Использование

  • Для этого инструмента требуются установленные системы глубокого изучения. Чтобы настроить компьютер на работу в среде глубокого обучения в ArcGIS Pro, см. раздел Установка сред глубокого обучения для ArcGIS.

  • Этот инструмент также можно использовать для тонкой настройки существующей обученной модели.

  • Чтобы запустить этот инструмент с помощью графического процессора, установите для параметра Тип процессора значение GPU. Если у вас более одного графического процессора, вместо этого задайте параметр среды GPU ID.

  • Входными данными могут быть таблица или класс объектов, которые содержат данные обучения, с текстовым полем, где хранится входной текст, и полем метки, где хранятся метки целевого класса.

  • Этот инструмент использует опорные модели на основе преобразователей для обучения моделей классификации текста, а также поддерживает контекстное обучение с подсказками с использованием Mistral LLM. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.

  • Информацию о требованиях к запуску этого инструмента и проблемах, с которыми вы можете столкнуться, см. в разделе Часто задаваемые вопросы по глубокому обучению.

Параметры

ДиалогPython

ПодписьОписаниеТип данных
Входная таблица

Класс объектов или таблица, который содержит текстовое поле с входным текстом для модели и поле меток с метками целевого класса.

Feature Layer; Table View
Поле текста

Текстовое поле во входном классе или таблице, содержащее текст, который будет классифицирован моделью.

Field
Поле меток

Текстовое поле во входном классе объектов или таблице, которое содержит метки целевого клсса для обучения модели. В случае классификации текста с несколькими метками укажите более одного текстового поля.

Field
Выходная модель

Местоположение выходной папки, в которой будет храниться обученная модель.

Folder
Файл предварительно обученной модели
(Дополнительный)

Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. Входными данными является файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk).

Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.

File
Максимальное число периодов времени
(Дополнительный)

Максимальное количество периодов времени, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение по умолчанию 5.

Long
Опорная модель
(Дополнительный)

Определяет преднастроенную нейронную сеть, которая будет действовать как кодировщик для модели и извлекать представления объектов входного текста в форме векторов фиксированной длины. Эти векторы будут переданы в качестве входных данных в заголовок классификации модели.

  • bert-base-cased—Модель будет обучена с использованием нейронной сети BERT. Модель BERT предварительно обучена с использованием маскированного языкового моделирования (MLM) и прогнозирования следующего предложения.
  • roberta-base—Модель будет обучена с использованием нейронной сети RoBERTa. RoBERTa изменяет ключевые гиперпараметры модели BERT, удаляя директивы предварительного обучения и обучая следующее предложение небольшими партиями с высокими скоростями обучения.
  • albert-base-v1—Модель будет обучена с использованием нейронной сети ALBERT. АЛЬБЕРТ использует самоконтролируемый алгоритм, который фокусируется на моделировании согласованности между предложениями, и обеспечивает лучшую масштабируемость, чем у модели BERT.
  • xlnet-base-cased—Модель будет обучена с использованием нейронной сети XLNet. Модель XLNet - генерализованный авторегрессивный метод предварительного обучения. Это обеспечивает двунаправленный обучающий контекст путем максимизации ожидаемой вероятности для всех перестановок порядка факторизации, что устраняет недостатки модели BERT.
  • xlm-roberta-base—Модель будет обучена с использованием нейронной сети XLM-RoBERTa. XLM-RoBERTa - мультиязыковая модель, обученная для 100 различных языков. В отличие от других мультиязыковых моделей XLM, она не требует языковых массивов для идентификации используемого языка, и определяет правильный язык по входным идентификаторам.
  • distilroberta-base—Модель будет обучена с использованием нейронной сети DistilRoBERTa. DistilRoBERTa — это модель английского языка, предварительно обученная под надзором нейронной сети roberta-base, основанной исключительно на OpenWebTextCorpus, воспроизведении набора данных WebText OpenAI.
  • distilbert-base-cased—Модель будет обучена с использованием нейронной сети DistilBERT. DistilBERT - небольшая модель, представляющая язык общего назначения.
  • mistral—Модель будет создана с использованием большой языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.
String
Размер пакета
(Дополнительный)

Количество обучающих выборок, которые будут обрабатываться за один раз. Значение по умолчанию – 2.

Увеличение размера пакета может улучшить производительность инструмента, но при этом увеличение размера пакета приводит к расходованию большего объема памяти. Если возникает ошибка нехватки памяти, используйте меньший размер пакета.

Double
Аргументы модели
(Дополнительный)

Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — sequence_length, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели.

Value Table
Скорость обучения
(Дополнительный)

Размер шага, показывающий, как можно настроить веса модели в ходе процесса обучения. Если значение не указано, то оптимальная скорость обучения будет применена автоматически.

Double
Процент проверки
(Дополнительный)

Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.

Double
Завершить, когда модель перестанет улучшаться
(Дополнительный)

Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра Максимальное число эпох.

  • Отмечено — обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра Максимальное число эпох. Это значение по умолчанию
  • Не отмечено — обучение модели будет продолжено, пока не будет достигнуто значение Максимальное число эпох.
Boolean
Сделать опорную модель обучаемой
(Дополнительный)

Указывает, будут ли закреплены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально разработаны.

  • Отмечено — опорные слои не будут закреплены, а веса и смещения параметра Опорная модель могут быть изменены для соответствия обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Это значение по умолчанию
  • Не отмечено — опорные слои будут закреплены, а предопределенные веса и смещения в значении параметра Опорная модель не будут изменены в ходе обучения.

Boolean
Удалить теги HTML
(Дополнительный)

Определяет, будут ли теги HTML удалены из входного текста.

  • Отмечено — теги HTML будут удалены из входного текста. Это значение по умолчанию
  • Не отмечено — теги HTML не будут удалены из входного текста.

Boolean
Удалить URL
(Дополнительный)

Определяет, будут ли адреса URL удалены из входного текста.

  • Отмечено — адреса URL будут удалены из входного текста. Это значение по умолчанию
  • Не отмечено — адреса URL не будут удалены из входного текста.

Boolean
Запрос
(Дополнительный)

Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата.

Значение по умолчанию - Классифицировать предоставленный текст по указанным классам. Не создавать новые метки для классификации.

String

arcpy.geoai.TrainTextClassificationModel(in_table, text_field, label_field, out_model, {pretrained_model_file}, {max_epochs}, {model_backbone}, {batch_size}, {model_arguments}, {learning_rate}, {validation_percentage}, {stop_training}, {make_trainable}, {remove_html_tags}, {remove_urls}, {prompt})
ИмяОписаниеТип данных
in_table

Класс объектов или таблица, который содержит текстовое поле с входным текстом для модели и поле меток с метками целевого класса.

Feature Layer; Table View
text_field

Текстовое поле во входном классе или таблице, содержащее текст, который будет классифицирован моделью.

Field
label_field
[label_field,...]

Текстовое поле во входном классе объектов или таблице, которое содержит метки целевого клсса для обучения модели. В случае классификации текста с несколькими метками укажите более одного текстового поля.

Field
out_model

Местоположение выходной папки, в которой будет храниться обученная модель.

Folder
pretrained_model_file
(Дополнительный)

Предварительно обученная модель, которая будет использоваться для тонкой настройки новой модели. Входными данными является файл определения модели Esri (.emd) или файл пакета глубокого обучения (.dlpk).

Предварительно обученную модель с подобными классами можно настроить так, чтобы она соответствовала новой модели. Предварительно обученная модель должна быть обучена с тем же типом модели и опорной моделью, которые будут использоваться для обучения новой модели.

File
max_epochs
(Дополнительный)

Максимальное количество периодов времени, для которых будет обучаться модель. Максимальное значение эпохи, равное 1, означает, что набор данных будет передаваться через нейронную сеть один раз. Значение по умолчанию 5.

Long
model_backbone
(Дополнительный)

Определяет преднастроенную нейронную сеть, которая будет действовать как кодировщик для модели и извлекать представления объектов входного текста в форме векторов фиксированной длины. Эти векторы будут переданы в качестве входных данных в заголовок классификации модели.

  • bert-base-cased—Модель будет обучена с использованием нейронной сети BERT. Модель BERT предварительно обучена с использованием маскированного языкового моделирования (MLM) и прогнозирования следующего предложения.
  • roberta-base—Модель будет обучена с использованием нейронной сети RoBERTa. RoBERTa изменяет ключевые гиперпараметры модели BERT, удаляя директивы предварительного обучения и обучая следующее предложение небольшими партиями с высокими скоростями обучения.
  • albert-base-v1—Модель будет обучена с использованием нейронной сети ALBERT. АЛЬБЕРТ использует самоконтролируемый алгоритм, который фокусируется на моделировании согласованности между предложениями, и обеспечивает лучшую масштабируемость, чем у модели BERT.
  • xlnet-base-cased—Модель будет обучена с использованием нейронной сети XLNet. Модель XLNet - генерализованный авторегрессивный метод предварительного обучения. Это обеспечивает двунаправленный обучающий контекст путем максимизации ожидаемой вероятности для всех перестановок порядка факторизации, что устраняет недостатки модели BERT.
  • xlm-roberta-base—Модель будет обучена с использованием нейронной сети XLM-RoBERTa. XLM-RoBERTa - мультиязыковая модель, обученная для 100 различных языков. В отличие от других мультиязыковых моделей XLM, она не требует языковых массивов для идентификации используемого языка, и определяет правильный язык по входным идентификаторам.
  • distilroberta-base—Модель будет обучена с использованием нейронной сети DistilRoBERTa. DistilRoBERTa — это модель английского языка, предварительно обученная под надзором нейронной сети roberta-base, основанной исключительно на OpenWebTextCorpus, воспроизведении набора данных WebText OpenAI.
  • distilbert-base-cased—Модель будет обучена с использованием нейронной сети DistilBERT. DistilBERT - небольшая модель, представляющая язык общего назначения.
  • mistral—Модель будет создана с использованием большой языковой модели (LLM) Mistral. Mistral - это преобразование только декодирования, которое использует токенизаторы Sliding Window Attention, Grouped Query Attention и Byte-fallback BPE. Чтобы установить Mistral backbone, см. ArcGIS Mistral Backbone.
String
batch_size
(Дополнительный)

Количество обучающих выборок, которые будут обрабатываться за один раз. Значение по умолчанию – 2.

Увеличение размера пакета может улучшить производительность инструмента, но при этом увеличение размера пакета приводит к расходованию большего объема памяти. Если возникает ошибка нехватки памяти, используйте меньший размер пакета.

Double
model_arguments
[model_arguments,...]
(Дополнительный)

Дополнительные аргументы, которые будут использоваться для инициализации модели. Поддерживаемый аргумент модели — sequence_length, который используется для установки максимальной длины последовательности обучающих данных, которые будут учитываться при обучении модели.

Value Table
learning_rate
(Дополнительный)

Размер шага, показывающий, как можно настроить веса модели в ходе процесса обучения. Если значение не указано, то оптимальная скорость обучения будет применена автоматически.

Double
validation_percentage
(Дополнительный)

Процент обучающих выборок, которые будут использоваться для проверки модели. Значение по умолчанию — 10 для опорных сетей на основе преобразователей и 50 для опорной сети Mistral.

Double
stop_training
(Дополнительный)

Определяет, остановится ли обучение модели, если модель больше не улучшается, или обучение продолжится до достижения значения параметра max_epochs.

  • STOP_TRAINING—Обучение модели остановится, когда модель перестанет улучшаться, независимо от значения параметра max_epochs. Это значение по умолчанию
  • CONTINUE_TRAINING—Обучение модели будет продолжено, пока не будет достигнуто значение max_epochs.
Boolean
make_trainable
(Дополнительный)

Указывает, будут ли закреплены опорные слои в предварительно обученной модели, чтобы веса и смещения оставались такими, как они были изначально разработаны.

  • TRAIN_MODEL_BACKBONE—Опорные слои не будут закреплены, а веса и смещения параметра model_backbone могут быть изменены для соответствия обучающим выборкам. Это требует больше времени для обработки, но обычно дает лучшие результаты. Это значение по умолчанию
  • FREEZE_MODEL_BACKBONE—Опорные слои будут закреплены, а предопределенные веса и смещения в значении параметра model_backbone не будут изменены в ходе обучения.
Boolean
remove_html_tags
(Дополнительный)

Определяет, будут ли теги HTML удалены из входного текста.

  • REMOVE_HTML_TAGS—Теги HTML будут удалены из входного текста. Это значение по умолчанию
  • DO_NOT_REMOVE_HTML_TAGS—Теги HTML не будут удалены из входного текста.
Boolean
remove_urls
(Дополнительный)

Определяет, будут ли адреса URL удалены из входного текста.

  • REMOVE_URLS—Адреса URL будут удалены из входного текста. Это значение по умолчанию
  • DO_NOT_REMOVE_URLS—Адреса URL не будут удалены из входного текста.
Boolean
prompt
(Дополнительный)

Определенные входные данные или инструкция, передаваемая большой языковой модели (LLM) для генерации ожидаемого результата.

Значение по умолчанию - Классифицировать предоставленный текст по указанным классам. Не создавать новые метки для классификации.

String

Пример кода

TrainTextClassificationModel (автономный скрипт)

В следующем примере демонстрируется, как использовать функцию TrainTextClassificationModel.

# Name: TrainTextClassification.py
# Description: Train a text classifier model to classify text in different
#              classes.  
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy

arcpy.env.workspace = "C:/textanalysisexamples/data"

# Set local variables
in_table = "training_data_textclassifier.csv"
out_folder = "c:\\textclassifier"

# Run Train Text Classification Model
arcpy.geoai.TrainTextClassificationModel(
    in_table, out_folder, max_epochs=2, text_field="Address",
    label_field="Country", batch_size=16)

Параметры среды

Тип процессора, GPU ID

Информация о лицензиях

  • Basic: Нет
  • Standard: Нет
  • Advanced: Да

Связанные разделы

  • Обзор группы инструментов Анализ текста
  • Поиск инструмента геообработки

Отзыв по этому разделу?

В этом разделе
  1. Краткая информация
  2. Использование
  3. Параметры
  4. Параметры среды
  5. Информация о лицензиях