Подключение к Google BigQuery из ArcGIS

Для подключения к Google BigQuery вы должны установить и настроить файлы клиента для осуществления коммуникации между ArcGIS и BigQuery, а также создать файлы подключения к базе данных из ArcGIS Pro. Для публикации веб-слоев файлы подключения к базе данных должны быть зарегистрированы на сайте хост-сервера портала ArcGIS Enterprise. Для лучшей производительности клиентские части ArcGIS следует развернуть в Google Cloud.

Обычно ИТ-специалисты устанавливают программное обеспечение ArcGIS и драйверы, необходимые для подключения к хранилищу данных. Они также настраивают сеть, брандмауэр и другие каналы связи, необходимые для обеспечения связи между ArcGIS и облачным хранилищем данных.

Затем администратор облачного хранилища данных создает учетные записи и предоставляет им права доступа к определенным таблицам в облачном хранилище данных. Администратор может создать подключение из ArcGIS Pro к облачному хранилищу данных и поделиться файлом подключения с издателями, либо предоставить издателям учетные данные, необходимые для создания собственных файлов подключения.

Чтобы опубликовать веб-сервисы ArcGIS Server, которые ссылаются на данные в облачном хранилище, издатели должны зарегистрировать файл подключения к базе данных на сайте ArcGIS GIS Server, который является хост-сервером портала ArcGIS Enterprise.

Установить и настроить драйверы

Для подключения из ArcGIS Pro к BigQuery вы должны установить последний драйвер Открытого подключения к базе данных (ODBC) Magnitude Simba на тех же машинах, на которых установлен ArcGIS Pro. Для публикации слоя изображения карты или векторного слоя, содержащего данные из BigQuery, вы должны установить драйверы и настроить машины на сайте хост-сервера портала ArcGIS Enterprise для подключения к BigQuery.

Для получения дополнительной информации, а также ссылок на загрузку и установку 64-разрядного драйвера ODBC, см. Документацию Google BigQuery.

Компьютеры Microsoft Windows

Установите драйвер ODBC Magnitude Simba на каждой машине, где установлен ArcGIS Pro, и на каждой машине хост-сервера, использующей операционную систему Windows.

Подтвердите, что путь к драйверу ODBC Magnitude Simba указан в PATH системной переменной среды Windows. Если нет, добавьте его.

Компьютеры Linux

Если хост-сервер портала запущен на машинах Linux, вы должны установить драйверы ODBC Magnitude Simba на каждой машине сайта GIS Server.

Когда вы редактируете файл Magnitude Simba /etc/odbcinst.ini, чтобы указать местоположение драйвера ODBC Simba, вы должны изменить заголовок раздела на Simba ODBC Driver for Google BigQuery. Текст должен в точности совпадать. Например, если заголовок будет Simba ODBC Driver for Google BigQuery 64bit или какой-либо ещё, подключения из ArcGIS не будут выполнены.

После настройки файла /etc/odbcinst.ini, настройте файл ArcGIS Server init_user_param.sh для получения доступа к драйверам.

Измените скрипт init_user_param.sh

После установки ArcGIS Server скрипт init_user_param.sh должен ссылаться на драйверы. Этот скрипт находится в директории <ArcGIS Server installation directory>/arcgis/server/usr.

  1. Убедитесь, что у владельца установки ArcGIS Server на каждом компьютере есть права доступа к библиотекам клиента облачного хранилища данных как минимум для чтения и выполнения.
  2. В текстовом редакторе откройте скрипт init_user_param.sh.
  3. Удалите знаки комментария (#) в строках, которые начинаются с export и замените местоположения драйверов на пути на вашей машине.

    # -----------------------------------------------------------------------
    # Modify this section to configure an ODBC connection to Google BigQuery Data 
    # Warehouse.
    #
    # To make a connection, copy GoogleBigQueryODBC.did to the lib folder under the 
    # extracted directory for Google BigQuery ODBC driver. Edit 
    # simba.googlebigqueryodbc.ini and set DriverManagerEncoding=UTF-16. Configure and 
    # store the odbcinst.ini in the /etc folder. 
    #
    # -----------------------------------------------------------------------
    export LIB_ODBC_DRIVER_MANAGER=<Location_to_ODBC_driver_manager_libraries>/libodbc.so.2
    export SIMBAGOOGLEBIGQUERYODBCINI=<Location_to_simba.googlebigqueryodbc.ini>/simba.googlebigqueryodbc.ini

  4. Сохраните и закройте скрипт.
  5. Чтобы внесенные вами в файл init_user_param.sh изменения сохранились, нужно перезапустить ArcGIS Server.

    Вы можете сделать это, запустив скрипт stopserver.sh, а затем скрипт startserver.sh на каждом компьютере вашего сайта ArcGIS Server.

    ./stopserver.sh

    ./startserver.sh

Создайте файлы подключения к базе данных

В ArcGIS Pro используйте диалоговое окно Новое подключение к базе данных для создания подключения к BigQuery.

  1. Откройте панель Каталог в ArcGIS Pro.
  2. Щелкните правой кнопкой Базы данных и выберите Новое подключение к базе данных.
  3. Выберите BigQuery из ниспадающего списка Платформа базы данных.
  4. Из ниспадающего списка Тип аутентификации выберите тип аутентификации, используемый при подключении.
    • Аутентификация пользователя - для аутентификации используется токен обновления.
    • Аутентификация сервиса - для аутентификации используется файл ключа учетной записи сервиса.

    См. Документацию по аутентификации Google BigQuery, которая поможет вам решить, что использовать.

  5. Если вы выберете Аутентификацию пользователя, предоставьте токен обновления.

    Аутентификация пользователя для подключения к BigQuery

  6. Если вы выберите Аутентификацию сервиса, перейдите к местоположению файла ключа, который содержит учетные данные, необходимые для подключения к BigQuery, выберите файл и щелкните Открыть.

    Аутентификация сервиса для подключения к BigQuery

  7. Введите или выберите ID проекта и набор данных по умолчанию, связанный с пользователем, под которым вы хотите подключиться.

    Задайте проект и набор данных для подключения.

    Примечание:

    Не подключайтесь, используя любой из общедоступных проектов данных BigQuery в качестве проекта по умолчанию. Вы не можете включить биннинг объектов и не можете создать материализованное представление непосредственно для каких-либо таблиц в наборах данных общедоступных проектов данных.

    Если вы собираетесь создать материализованное представление с использованием этого файла подключения, убедитесь, что подключению назначен набор данных по умолчанию, в котором могут быть созданы объекты базы данных. Представление будет создано в этом наборе данных, который может находиться не в том же наборе данных, что и данные, участвующие в материализованном представлении.

  8. Введите имя для файла подключения в поле Имя файла подключения.

    При предоставлении информации о подключении создается имя по умолчанию. Вы можете использовать значение по умолчанию или ввести более информативное имя файла.

    Это имя, которое будет отображаться на панели и в виде Каталог, а также имя файла .sde, хранящегося на диске.

  9. При необходимости разверните раздел Дополнительные свойства и укажите параметры для подключения, которые будут дополнительными к тем, что были заданы на предыдущих шагах.
    • AdditionalProjects
    • Окончание срока действия
    • Трассировка
    • LogLevel
    • LogPath

    Если вам требуется свойство, которое отсутствует в ниспадающем меню, можно ввести его в поле Свойство и указать для него соответствующее значение.

    См. документацию Google BigQuery для получения информации о дополнительных параметрах подключения.

    Например, для настройки коннектора ODBC на повторение неудачных вызовов API в течение 200 секунд, выберите Timeout в ниспадающем меню Свойства и введите 200 в поле Значение.

  10. Нажмите ОК, чтобы создать файл подключения.

Подключение к базе данных появляется в разделе Базы данных на панели Каталог, а файл подключения (.sde) создается в директории проекта ArcGIS Pro.

Убедитесь, что учетная запись, которая используется для подключения, имеет необходимые права на доступ к данным в хранилище.

Зарегистрируйтесь на хост-сервере

Чтобы разрешить доступ сайта ArcGIS Server к данным, используйте созданный файл подключения для добавления зарегистрированного источника данных в ArcGIS Pro или добавления элемента хранилища данных на портал.

Что дальше

После настройки клиентов ArcGIS для подключения и создания файла подключения к базе данных вы и другие участники организации можете делать следующее: