Использование подключений к большим данным

Вы можете настроить, визуализировать и использовать подключения к большим данным (BDC) в анализе.

Использование BDC

После того, как вы структурировали свои данные, вы можете выполнить следующее:

  1. Настройка BDC
  2. Визуализация набора данных BDC
  3. Использовать наборы данных BDC в анализе.

Настройка BDC

Чтобы начать, необходимо создать BDC. Существует два способа создания BDC:

При поиске наборов данных в BDC может возникнуть две проблемы:

  • Ожидаемые наборы данных отсутствуют. В этом случае проверьте, что указан правильный путь, который задает папку-источник, содержащую подпапки, и что тип данных поддерживается.
  • Не удается зарегистрировать один или несколько наборов данных. Если наборы данных не удается зарегистрировать, изучите следующее:

    ВыпускРешениеПример

    Формат наборов данных не отвечает требованиям.

    Откройте файл, чтобы убедиться, что он выглядит как ожидается. Если структура данных неверна, обновите его и повторите попытку.

    Файл .csv содержит несколько строк и описание данных, затем только пустые строки.

    Схемы наборов данных в папке не совпадают.

    Все файлы в папке набора данных должны иметь одинаковую схему. Откройте файлы и сравните схемы. Исправьте не совпадающие схемы и снова попробуйте зарегистрировать набор данных.

    Один файл .csv содержит 10 полей, другой - только 8.

    Типы файлов набора данных в папке не совпадают.

    Все файлы в папке набора данных должны иметь одно расширение (тип файла). Проверьте типы файлов в источнике данных и удалите или переместите лишние.

    Набор данных шейп-файла - это та же папка, что и файл Parquet.

    Не распознается формат полей.

    Это происходит редко, но может случиться, если ORC и Parquet используют необычный формат. Убедитесь, что вы используете допустимые форматы полей.

    Используется файл Parquet с неизвестным форматом поля.

Если вы создаете BDC с помощью файла с разделителями и не видите строк заголовка, у вас, возможно, недопустимое значение строки заголовка. Убедитесь, что все поля имеют заголовки и что ни одно из них не является пустым. Если для создания доступа к файлу больших данных вы используете диалоговое окно, вы можете обновить заголовки полей на панели Поля. Вы также можете обновить имена полей с помощью инструмента Обновить свойства подключения набора больших данных.

Когда вы создаете BDC, схема, геометрия и время определяются для каждого из наборов данных. Часто, в отображение этих значений в наборе данных вносятся изменения. Чтобы проверить, что каждый набор данных правильно представляет геометрию, время и поля, используйте инструмент геообработки Описание набора данных. Например, при просмотре наборов данных, вам может потребоваться сделать одно или несколько из следующих изменений в вашем BDC:

  • Изменение имен полей наборов данных с разделителями.
  • Изменение полей, доступных для анализа.
  • Изменение полей, используемых для представления геометрии или времени.
  • Добавление фильтра в набор данных.
  • Добавление псевдонима в набор данных.
  • Удаление из BDC наборов данных, которые не требуются в анализе.
  • Обновление BDC для включения новых наборов данных (новой подпапки в папке-источнике).

Чтобы внести такие изменения, можно использовать диалоговое окно Новое подключение к большим данным или любую комбинацию следующих инструментов:

Визуализация набора данных BDC

Вы можете визуализировать шейп-файлы и файлы с разделителями в наборах данных BDC на карте.

Примечание:
Наборы данных BDC, использующие исходные файлы parquet и ORC, не могут быть визуализированы.

Чтобы добавить набор данных на карту, найдите элемент BDC на панели Каталог, щелкните, чтобы развернуть наборы данных, и добавьте набор на карту.

Наборы данных BDC отображаются на карте в упрощенном виде и имеют следующие ограничения:

  • При визуализации наборов данных BDC свойства времени в свойствах набора данных BDC не задаются автоматически в новом слое. Чтобы визуализировать набор данных со временем, установите свойства времени слоя после добавления набора данных на карту
  • Рисование файлов с разделителями будет масштабироваться до полного экстента пространственной привязки набора данных BDC.
  • Если вы добавляете новые записи в существующий набор данных BDC, например добавляете новые строки в CSV-файл в существующем BDC, новые записи не будут отображаться до тех пор, пока вы не перезагрузите ArcGIS Pro.
  • Если вы добавляете новые файлы в существующий набор данных BDC, например добавляете новый CSV-файл в существующем наборе данных BDC, новые записи не будут отображаться до тех пор, пока вы не перезагрузите ArcGIS Pro.

Использование наборов данных BDC в анализе

Когда наборы данных BDC используются для инструментов GeoAnalytics Desktop, анализ оптимизируется для чтения данных и происходит параллельно на нескольких ядрах ЦПУ вашего компьютера. Для всех других инструментов геообработки чтение и обработка данных BDC не оптимизированы для параллельного выполнения, а являются последовательными и однопоточными.

Наборы данных BDC на основе файлов с разделителями или шейп-файлов можно использовать в большинстве инструментов геообработки.

Примечание:
Наборы данных BDC, использующие исходные файлы parquet и ORC, могут быть использованы только для инструментов GeoAnalytics Desktop.

Вы не сможете применить выборку к набору данных BDC, если он используется как входной в инструменте GeoAnalytics Desktop.

Чтобы использовать набор данных BDC в инструменте геообработки, добавьте набор данных BDC на карту и выберите имя слоя из списка выбора параметров или используйте кнопку Обзор для перехода в рабочую область BDC и выбора входного набора данных. Следующие инструменты не поддерживают входные файлы BDC:


В этом разделе
  1. Использование BDC