Подключение к Google BigQuery из ArcGIS

Для подключения к Google BigQuery вы должны установить и настроить файлы клиента для осуществления коммуникации между ArcGIS и BigQuery, а также создать файлы подключения к базе данных из ArcGIS Pro. Для публикации веб-слоев файлы подключения к базе данных должны быть зарегистрированы на сайте хост-сервера портала ArcGIS Enterprise. Для лучшей производительности клиентские части ArcGIS следует развернуть в Google Cloud.

Обычно ИТ-специалисты устанавливают программное обеспечение ArcGIS и драйверы, необходимые для подключения к хранилищу данных. Они также настраивают сеть, брандмауэр и другие каналы связи, необходимые для обеспечения связи между ArcGIS и облачным хранилищем данных.

Затем администратор облачного хранилища данных создает учетные записи и предоставляет им права доступа к определенным таблицам в облачном хранилище данных. Администратор может создать подключение из ArcGIS Pro к облачному хранилищу данных и поделиться файлом подключения с издателями, либо предоставить издателям учетные данные, необходимые для создания собственных файлов подключения.

Чтобы опубликовать веб-сервисы ArcGIS Server, которые ссылаются на данные в облачном хранилище, издатели должны зарегистрировать файл подключения к базе данных на сайте ArcGIS GIS Server, который является хост-сервером портала ArcGIS Enterprise.

Установить и настроить драйверы

Для подключения из ArcGIS Pro к BigQuery вы должны установить последний драйвер Открытого подключения к базе данных (ODBC) Magnitude Simba на тех же машинах, на которых установлен ArcGIS Pro. Для публикации слоя изображения карты или векторного слоя, содержащего данные из BigQuery, вы должны установить драйверы и настроить машины на сайте хост-сервера портала ArcGIS Enterprise для подключения к BigQuery.

Для получения дополнительной информации, а также ссылок на загрузку и установку 64-разрядного драйвера ODBC, см. Документацию Google BigQuery.

Компьютеры Microsoft Windows

Установите драйвер ODBC Magnitude Simba на каждой машине, где установлен ArcGIS Pro, и на каждой машине хост-сервера, использующей операционную систему Windows.

Подтвердите, что путь к драйверу ODBC Magnitude Simba указан в PATH системной переменной среды Windows. Если нет, добавьте его.

Компьютеры Linux

Если хост-сервер портала запущен на машинах Linux, вы должны установить драйверы ODBC Magnitude Simba на каждой машине сайта GIS Server.

Когда вы редактируете файл Magnitude Simba /etc/odbcinst.ini, чтобы указать местоположение драйвера ODBC Simba, вы должны изменить заголовок раздела на Simba ODBC Driver for Google BigQuery. Текст должен в точности совпадать. Например, если заголовок будет Simba ODBC Driver for Google BigQuery 64bit или какой-либо ещё, подключения из ArcGIS не будут выполнены.

После настройки файла /etc/odbcinst.ini, настройте файл ArcGIS Server init_user_param.sh для получения доступа к драйверам.

После скрипта init_user_param.sh

После установки ArcGIS Server скрипт init_user_param.sh должен ссылаться на драйверы. Этот скрипт находится в директории <ArcGIS Server installation directory>/arcgis/server/usr.

  1. Убедитесь, что у владельца установки ArcGIS Server на каждом компьютере есть права доступа к библиотекам клиента облачного хранилища данных как минимум для чтения и выполнения.
  2. В текстовом редакторе откройте скрипт init_user_param.sh.
  3. Удалите знаки комментария (#) в строках, которые начинаются с export и замените местоположения драйверов на пути на вашей машине.

    # -----------------------------------------------------------------------
    # Modify this section to configure an ODBC connection to Google BigQuery Data 
    # Warehouse.
    #
    # To make a connection, copy GoogleBigQueryODBC.did to the lib folder under the 
    # extracted directory for Google BigQuery ODBC driver. Edit 
    # simba.googlebigqueryodbc.ini and set DriverManagerEncoding=UTF-16. Configure and 
    # store the odbcinst.ini in the /etc folder. 
    #
    # -----------------------------------------------------------------------
    export LIB_ODBC_DRIVER_MANAGER=<Location_to_ODBC_driver_manager_libraries>/libodbc.so.2
    export SIMBAGOOGLEBIGQUERYODBCINI=<Location_to_simba.googlebigqueryodbc.ini>/simba.googlebigqueryodbc.ini

  4. Сохраните и закройте скрипт.
  5. Чтобы внесенные вами в файл init_user_param.sh изменения сохранились, нужно перезапустить ArcGIS Server.

    Вы можете сделать это, запустив скрипт stopserver.sh, а затем скрипт startserver.sh на каждом компьютере вашего сайта ArcGIS Server.

    ./stopserver.sh

    ./startserver.sh

Создайте файлы подключения к базе данных

В ArcGIS Pro используйте диалоговое окно Новое подключение к базе данных для создания подключения к BigQuery.

  1. Откройте панель Каталог в ArcGIS Pro.
  2. Щелкните правой кнопкой Базы данных и выберите Новое подключение к базе данных.
  3. Выберите BigQuery из ниспадающего списка Платформа базы данных.
  4. Из ниспадающего списка Тип аутентификации выберите тип подключения, чтобы осуществить:
    • Аутентификация пользователя - Использует токен обновления для аутентификации.
    • Аутентификация сервиса - Использует файл ключа сервисной учетной записи для аутентификации.

    См. Документацию по аутентификации Google BigQuery, которая поможет вам решить, что использовать.

  5. Если вы выберете Аутентификацию пользователя, предоставьте токен обновления.
  6. Если вы выберите Аутентификацию сервиса, перейдите к папке, где находится ключевой файл, который содержит учетные данные, необходимые для подключения к BigQuery, выберите файл и нажмите Открыть.
  7. Введите ID проекта и имя набора данных по умолчанию, связанного с пользователем, с которым вы хотите подключиться.

    Примечание:

    Не подключайтесь, используя любой из общедоступных проектов данных BigQuery в качестве проекта по умолчанию. Вы не можете включить биннинг объектов и не можете создать материализованное представление непосредственно для каких-либо таблиц в наборах данных общедоступных проектов данных.

    Если вы собираетесь создать материализованное представление с использованием этого файла подключения, убедитесь, что подключению назначен набор данных по умолчанию, в котором могут быть созданы объекты базы данных.

  8. Если вам требуются параметры для подключения в дополнение к тем, которые требовались в предыдущих шагах, введите дополнительные параметры в поле Дополнительные опции.

    Опции разделяются точками с запятой (;). См. документацию Google BigQuery для получения информации о дополнительных параметрах подключения.

    Например, для настройки коннектора ODBC на повторение неудачных вызовов API в течение 200 секунд и для использования сертификата из центра сертификации, хранящегося на общем диске \\certificates, введите Timeout=200;TrustedCerts=\\certificates в поле Дополнительные опции.

  9. Нажмите ОК, чтобы создать файл подключения.

Вы можете переименовать файл, указав новое имя на панели Каталог и нажав Enter.

Убедитесь, что учетная запись, которая используется для подключения, имеет достаточно прав на доступ к данным в хранилище.

Зарегистрируйтесь на хост-сервере

Чтобы разрешить доступ сайта ArcGIS Server к данным, используйте созданный файл подключения для добавления зарегистрированного источника данных в ArcGIS Pro или добавления элемента хранилища данных на портал.

Что дальше

После настройки клиентов ArcGIS для подключения и создания файла подключения к базе данных вы и другие участники организации можете делать следующее: