Инструмент Создать рабочую область загрузки данных создает рабочую область загрузки данных, рабочую книгу базовых данных и рабочие книги сопоставлений.
Рабочая область загрузки данных
Рабочая область загрузки данных содержит папки, рабочие книги Microsoft Excel и другие элементы вспомогательные при сопоставлении данных из источника с целевой схемой. Ниже описана структура папок рабочей области загрузки данных.
- Папка сопоставления данных содержит следующие папки в зависимости от исходных данных:
- Точки – содержит рабочие книги для каждого исходного набора точечных данных, которые были сопоставлены.
- Полигоны – содержит рабочие книги для каждого исходного набора полигональных данных, которые были сопоставлены.
- Полилинии – содержит рабочие книги для каждого исходного набора полилинейных данных, которые были сопоставлены.
- Таблицы – содержит рабочие книги для каждого исходного набора табличных данных, которые были сопоставлены.
- GlobalLookup — содержит рабочую книгу GlobalLookup.xlsx, которую можно использовать для создания таблиц поиска, использующихся в рабочих книгах сопоставлений.
- Папка Скрипты содержит описанные ниже файлы скриптов, которые можно использовать для обработки данных с помощью пользовательских функций. Эти функции могут использоваться в столбце Expression рабочих книг сопоставлений.
- base.py - используйте основные функции из этого файла в рабочих книгах сопоставлений.
- shape_operations.py - используйте функции манипуляции с формой из этого файла в рабочих книгах сопоставлений.
- user.py - используйте этот файл для пользовательских функций.
- Папка Домены содержит рабочие книги с информацией о схеме для всех доменов в исходной и целевой рабочей области.
- Файл DataReference.xlsx содержит пути к исходным данным, целевым данным и рабочим книгам сопоставлений, а также настройки загрузки данных.
Рабочая книга базовых данных
Рабочая книга базовых данных содержит пути к исходным данным, целевому объекту и рабочей книге сопоставлений. Если расположение любого из этих элементов изменится, вы можете обновить пути вручную. Дополнительные столбцы управляют тем, как данные могут быть загружены из источника в целевой объект, включая определенные Настройки среды геообработки.
Ниже приведены определения столбцов:
- Source- Расположение исходного набора данных.
- SourceDefinitionQueryНапишите запрос SQL, чтобы выбрать подмножество исходного набора данных для сопоставления с целевым набором данных. Например, используйте Type = 0 для выбора только тех записей, тип атрибута которых равен 0, для загрузки в целевой набор данных.
- Target- Расположение целевого набора данных.
- TargetDeleteQuery- Напишите запрос SQL для выборочного удаления данных из целевого набора данных перед загрузкой. Например, 1=1 удаляет все существующие данные из целевого набора данных.
- MappingWorkbook- Ссылка на расположение рабочей книги сопоставления данных в рабочей области загрузки данных.
- EnabledЗначение типа Boolean, определяющее, будет ли рабочая книга сопоставлений обрабатываться или пропускаться во время процесса загрузки данных. По умолчанию – True.
- MaintainAttachmentsЗначение Boolean, определяющее, будут ли вложения сохраняться во время процесса загрузки данных. По умолчанию – True.
- PreserveGlobalIdsЗначение типа Boolean, определяющее, будут ли сохраняться глобальные идентификаторы во время процесса загрузки данных. По умолчанию – False. Глобальные идентификаторы не могут быть сохранены при загрузке в сервис.
- GeographicTransformationsОпределите допустимые географические преобразования, которые будут использоваться при загрузке данных.
Рабочие книги сопоставления данных
Картографические рабочие книги находятся в папке Картографирование данных и организованы по типам геометрии. Каждая рабочая книга сопоставления данных соответствует одной из пар источника данных и целевых данных, определенных в рабочей книге базовых данных. Используйте эти рабочие книги, чтобы определить, как будут сопоставляться данные из источника с целевыми, с применением параметров, описанных ниже.
Рабочие таблицы сопоставления
Используйте эти рабочие таблицы для определения сопоставления полей Рабочая таблица выделена зеленым в рабочей книге.
Ниже приведены определения столбцов:
- TargetField— Поля из целевого набора данных.
- FieldType— Тип поля каждого поля в целевом наборе данных.
- Expression— Непосредственно сопоставьте поля, выбрав поле из раскрывающегося меню, или напишите выражение Python. Например, это может быть ссылка на внешнюю функцию Python или постоянное значение, такое как число или строка.
- LookupSheet— Укажите рабочую таблицу поиска. Это необходимо использовать с LookupKeys и столбцами LookupValue.
- LookupKeys— Укажите один или несколько столбцов из рабочей таблицы поиска для использования в качестве ключей. Чтобы использовать несколько столбцов, разделите их запятой.
- LookupValue— Укажите столбец из рабочей таблицы поиска, который будет использоваться в качестве целевого значения.
- LookupDefault— При использовании рабочей таблицы поиска это поле можно использовать для определения значения по умолчанию. Это значение будет присвоено нулевым значениям и значениям, которые не совпадают в рабочей таблице поиска. Этот столбец является необязательным и его можно оставить пустым, если не используется значение по умолчанию.
Проверка рабочих таблиц сопоставления
Условное форматирование в рабочей книге использует разные цвета для обозначения определенных типов ошибок и предупреждений. Различные цвета означают следующее:
- Непрозрачный красный цвет — ячейки, выделенные непрозрачным красным цветом, означают, что среди исходных и целевых полей есть недопустимый тип данных. Маловероятно, что исходные и целевые типы данных будут совместимы при обработке и, скорее всего, их придется изменить.
- Непрозрачный оранжевый цвет — ячейки, выделенные непрозрачным оранжевым цветом, означают, что для целевого поля существует потенциально недопустимый тип данных исходного поля. Исходные и целевые типы данных, возможно, несовместимы и должны быть проверены.
- Сплошной светло-синий цвет — ячейки, выделенные сплошным светло-синим цветом, указывают на то, что как столбец Expression, так и любой из столбцов поиска заполнены значениями. Значения могут быть либо в столбце выражения, либо в столбцах поиска, но не и там, и там одновременно.
- Красный контур — ячейки, обведенные красным, указывают на то, что в столбцах поиска отсутствуют значения. При использовании листа поиска необходимо заполнить значениями столбцы LookupSheet, LookupKeys и LookupValue.
- Непрозрачный темно-синий цвет — ячейки, выделенные непрозрачным темно-синим цветом, указывают на то, что имя поля в столбце TargetField дублируется. Все значения в этом столбце должны быть уникальными и соответствовать целевой схеме.
Рабочая таблица поиска
Используйте рабочие таблицы поиска, чтобы определить сопоставление значений исходных и целевых данных. Они используются в рабочей таблице сопоставления в качестве ключей поиска и значений поиска. Для всех доменов кодированных значений в исходных данных автоматически создается таблица со столбцами, содержащими коды доменов и описания. Дополнительные столбцы, представляющие поля в исходных данных, можно добавить вручную для поддержки поиска по нескольким значениям. Эти рабочие таблицы выделены в рабочей книге синим цветом.
Если для инструмента Создать рабочую область загрузки данных для параметра Опции прогнозного сопоставления полей задано значение Сходство описания домена кодированных значений, рабочая таблица поиска будет автоматически создана между исходным и целевым доменами. Сначала будут добавлены столбцы исходных данных, а затем все соответствующие столбцы целевых данных.
Глобальная рабочая книга поиска
Глобальная рабочая книга поиска работает так же, как и локальная рабочая таблица поиска, но позволяет использовать одну и ту же рабочую таблицу поиска в нескольких рабочих книгах поиска. Глобальная рабочая книга поиска находится в каталоге DataMapping\GlobalLookup рабочей области загрузки данных. При ссылке на глобальную рабочую таблицу поиска заключите имя рабочей таблицы поиска в скобки в столбце LookupSheet рабочей книги сопоставления. Например, если глобальная таблица поиска называется Материалы, в столбце LookupSheet рабочей таблицы сопоставления вы должны указать его как [Материалы]. Это позволяет инструментам загрузки данных извлекать значения из глобальной рабочей таблицы поиска, а не из локальной рабочей таблицы поиска.
Рабочая таблица схемы
Используйте эти Рабочие таблицы для просмотра схематичной информации об исходном и целевом наборах данных. Они используются при построении рабочей области сопоставления и не используются при обработке. Эти рабочие таблицы выделены в рабочей книге желтым цветом.
Информационная рабочая таблица
Используйте эту рабочую таблицу, чтобы при необходимости определить значение подтипа источника данных. Эта рабочая таблица выделена оранжевым в рабочей книге.
Параметры сопоставления данных
Существует несколько параметров сопоставления данных в рабочих книгах сопоставления данных. Можно использовать столбцы Lookup и Expression, но для каждого целевого поля можно использовать только один метод. Просмотрите все параметры, чтобы определить, какой из них лучше всего подойдет для процесса загрузки данных. Описанные ниже параметры настраиваются в рабочей таблице сопоставления.
Выражение
Столбец Expression можно использовать для прямого сопоставления полей с совместимыми типами данных. Некоторые исходные и целевые поля автоматически сопоставляются, если у них одинаковые имена полей. Просмотрите все автоматически сопоставленные поля, чтобы проверить, что исходные и целевые типы данных совпадают, а также, если присутствуют домены кодированных значений, что значения эквивалентны.
Столбец Expression также можно настроить для использования выражения Python, написанного непосредственно в Excel или для вызова функции из папки Скрипты. Ниже приведены сценарии, в которых это самая лучшая опция:
- Преобразование значения поля в другой тип данных
- Сопоставление всех исходных значений с одним целевым значением
- Создание глобального уникального идентификатора (GUID)
- Выполнение манипуляций с формой для преобразования между типами геометрии.
Таблица сопоставления
Таблица сопоставления позволяет добавлять или переопределять сопоставления, созданные с помощью инструмента Создать рабочую область загрузки данных. Таблица сопоставления также позволяет блокировать сопоставления. При создании таблицы сопоставления укажите, как исходные данные будут сопоставлены с целевым набором данных. Это обеспечивает больший контроль над процессом загрузки данных и гарантирует точное сопоставление полей, атрибутов и описаний доменов. Использование таблицы сопоставления необязательно, но при ее использовании инструмент Создать рабочую область загрузки данных использует таблицу сопоставления в качестве входных данных. Он учитывает сопоставления, указанные в таблице, и использует их для помощи в создании совпадений и блокировки.
Дополнительную информацию о таблице сопоставления см. в документации инструмента Создать таблицу сопоставления.