Créer un fichier de connexion au stockage Cloud (Gestion des données)

Synthèse

Crée un fichier de connexion pour le stockage cloud pris en charge par ArcGIS. Cet outil permet aux outils de géotraitement raster existants d’écrire des jeux de données au format CRF (Cloud Raster Format) dans le paquet du stockage cloud ou de lire des jeux de données raster (pas uniquement au format CRF) stockés dans le stockage cloud en entrée.

Utilisation

• Pour exécuter cet outil, vous devez fournir les informations nécessaires à l’établissement d’une connexion au stockage cloud, telles que la clé d’accès, la clé d’accès secrète et le nom du paquet.

• L’outil génère un fichier de connexion au stockage cloud binaire au format ArcGIS Cloud Storage (.icsd).

• Le jeu de données raster présent dans le stockage cloud peut être référencé via un chemin d’accès au fichier, tel que c:/temp/amazons3.acs/someraster.

• Cet outil prend en charge les connexions aux compartiments Amazon Simple Storage Service (S3), aux conteneurs de stockage Blob Microsoft Azure, aux compartiments Alibaba Cloud Object Storage Service (OSS) et à Google Cloud Storage.

• Si le jeu de données est stocké dans un dossier du compartiment, le nom du dossier doit être inclus dans le chemin, par exemple, c:/temp/amazons3.acs/foldername/someraster.

• L’outil valide les identifiants de connexion fournis au moment de l’exécution. Si la connexion ne peut pas être établie, l’exécution de l’outil échoue.

• Pour utiliser cet outil avec le rôle Amazon Web Services (AWS) Identity and Access Management (IAM), laissez le champ des paramètres ID de clé d’accès (nom de compte) et Clé d’accès secrète (clé de compte) vide. Si le rôle IAM est correctement configuré lors de l’exécution de cet outil sur une machine Amazon Elastic Compute Cloud (EC2), une connexion s’établit avec succès. Ce fichier de connexion peut alors être utilisé dans le même environnement.

Paramètres

Boîte de dialogue

Étiquette	Explication	Type de données
Emplacement du fichier de connexion	Chemin d’accès au dossier dans lequel le fichier est créé.	Folder
Nom du fichier de connexion	Nom du fichier de connexion au stockage cloud.	String
Fournisseur de services	Indique le fournisseur de services du stockage cloud. Azur—Le fournisseur de services sera Microsoft Azure. Amazon—Le fournisseur de services sera Amazon S3. Google—Le fournisseur de services sera Google Cloud Storage. Alibaba—Le fournisseur de services sera Alibaba Cloud Storage. WebHDFS—Le fournisseur de services sera WebHDFS. MinIO—Le fournisseur de services sera MinIO. Azure Data Lake—Le fournisseur de services sera Azure Data Lake.	String
Nom du paquet (container)	Nom du container du stockage cloud dans lequel le jeu de données raster est stocké. Pour de nombreux fournisseurs cloud, ce conteneur est également appelé paquet.	String
ID de la clé d’accès (nom du compte) (Facultatif)	Chaîne d’ID de la clé d’accès correspondant au type de stockage cloud donné. Il peut également s’agir du nom du compte, comme avec Azure.	String
Clé d'accès secrète (clé du compte) (Facultatif)	Chaîne de la clé d’accès secrète qui permet d’authentifier la connexion au stockage cloud.	Encrypted String
Région (environnement) (Facultatif)	Chaîne de la région du stockage cloud. Si elle est fournie, la valeur doit utiliser le format défini par le choix du stockage cloud. Par défaut, il s’agit du compte par défaut du fournisseur cloud sélectionné.	String
Point d’arrêt du service (Facultatif)	Extrémité du service (uris) du stockage cloud, comme oss-us-west-1.aliyuncs.com. Si aucune valeur n’est fournie, l’extrémité par défaut du type de stockage cloud sélectionné est utilisée. L’extrémité redirigée CNAME peut également être utilisée, le cas échéant.	String
Options du fournisseur de services (Facultatif)	Options de configuration inhérentes au type spécifique de service cloud. Certains services proposent des options et d’autres non. Vous devez uniquement définir une option si vous souhaitez l’activer. Le contrôle d’accès en fonction du rôle (Role-Based Access Control, RBAC) est disponible pour les fournisseurs cloud Amazon et Azure. Laisser le champ de tous les paramètres d’authentification vide tout en utilisant une machine virtuelle EC2 ou Azure permet à ArcGIS Pro d’accéder au stockage Blob à l’aide des rôles IAM ou de la fonction Azure RBAC. Pour Amazon, IMDSv1 et IMDSv2 sont pris en charge. Microsoft Azure Data Lake Storage Gen2 suit les mêmes options que Azure mais offre des opérations atomiques et une prise en charge réelle des répertoires à l’aide d’une extrémité DFS. Certaines erreurs de réseau survenant pendant des opérations cloud se reproduisent à la suite d’un backoff exponentiel. Pour connaître les aspects spécifiques aux performances et obtenir d’autres informations, reportez-vous à la documentation Systèmes de fichiers virtuels GDAL. Azure / Microsoft Azure Data Lake AZURE_SAS : spécifie une signature d’accès partagé. Assurez-vous que sa valeur est codée au format URL et ne contient pas de caractères de début « ? » ou « & ». Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide. AZURE_NO_SIGN_REQUEST (valeur par défaut : FALSE) : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide. AZURE_STORAGE_CONNECTION_STRING : spécifie une chaîne de connexion Azure Storage. Cette chaîne incorpore le nom de compte, la clé et l’extrémité. Lorsque vous utilisez cette option, le champ des paramètres ID de clé d’accès (nom de compte) et Clé d’accès secrète (clé de compte) doit être vide. CPL_AZURE_USE_HTTPS (valeur par défaut : TRUE) : définissez cette valeur sur FALSE pour utiliser les requêtes http. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes https. Amazon/MinIO AWS_NO_SIGN_REQUEST (valeur par défaut : FALSE) : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. AWS_SESSION_TOKEN : spécifie des identifiants de connexions temporaires. AWS_DEFAULT_PROFILE : les profils d’identifiants de connexion AWS sont automatiquement utilisés si les données d’ID/de clé d’accès sont manquantes. Cette option peut être utilisée pour spécifier le profil à utiliser. AWS_REQUEST_PAYER : vous pouvez accéder aux compartiments Le demandeur paye en définissant cette option sur Demandeur. AWS_Virtual_Hosting (valeur par défaut : TRUE) : les fournisseurs de cloud compatibles avec Amazon S3 et S3 et ne prenant en charge que des requêtes de type chemin d’accès doivent définir cette option sur TRUE. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE (valeur par défaut : TRUE) : certaines mises en œuvre compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur FALSE pour ces fournisseurs. AWS_HTTPS (valeur par défaut : TRUE) : définissez cette valeur sur FALSE pour utiliser les requêtes http. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes https. Alibaba OSS_Virtual_Hosting (valeur par défaut : TRUE) : les fournisseurs de cloud compatibles avec Alibaba et S3 et ne prenant en charge que des requêtes de type chemin d’accès doivent définir cette option sur TRUE. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. OSS_HTTPS (valeur par défaut : TRUE) : définissez cette valeur sur FALSE pour utiliser les requêtes http. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes https. WebHDFS WEBHDFS_REPLICATION (nombre entier) : la valeur de réplication est utilisée pour créer un fichier. WEBHDFS_PERMISSION (décimale) : une marque d’autorisation est utilisée pour créer un fichier. Si plusieurs paramètres d’authentification sont fournis, la précédente est la suivante : Azure : AZURE_STORAGE_CONNECTION_STRING, nom/clé de compte, AZURE_SAS, AZURE_NO_SIGN_REQUEST, RBAC. Amazon : AWS_NO_SIGN_REQUEST, ID/compte d’accès et/ou AWS_SESSION_TOKEN, Profil d’identifiants de connexion AWS, Rôle IAM. En dehors des options de fournisseur répertoriées ci-dessus, cette option ARC_DEEP_CRAWL (valeur par défaut :TRUE) peut être utilisée avec tous les fournisseurs de services. Si elle est définie sur True, cette option est utilisée pour identifier les CRF sans extension dans le cloud. Il s’agit d’une opération de grande ampleur, qu’il est hautement recommandé de définir sur FALSE pour une analyse et une navigation plus rapides dans le catalogue.	Value Table
Dossier (Facultatif)	Dossier indiqué par le paramètre Bucket (Container) Name (Nom du paquet (container)) dans lequel le jeu de données raster sera stocké.	String

Sortie obtenue

Étiquette	Explication	Type de données
Fichier de connexion en sortie	Chemin d’accès du fichier de connexion au stockage cloud en sortie.	File

Python

arcpy.management.CreateCloudStorageConnectionFile(out_folder_path, out_name, service_provider, bucket_name, {access_key_id}, {secret_access_key}, {region}, {end_point}, {config_options}, {folder})

Nom	Explication	Type de données
out_folder_path	Chemin d’accès au dossier dans lequel le fichier est créé.	Folder
out_name	Nom du fichier de connexion au stockage cloud.	String
service_provider	Indique le fournisseur de services du stockage cloud. AZURE—Le fournisseur de services sera Microsoft Azure. AMAZON—Le fournisseur de services sera Amazon S3. GOOGLE—Le fournisseur de services sera Google Cloud Storage. ALIBABA—Le fournisseur de services sera Alibaba Cloud Storage. WEBHDFS—Le fournisseur de services sera WebHDFS. MINIO—Le fournisseur de services sera MinIO. AZUREDATALAKE—Le fournisseur de services sera Azure Data Lake.	String
bucket_name	Nom du container du stockage cloud dans lequel le jeu de données raster est stocké. Pour de nombreux fournisseurs cloud, ce conteneur est également appelé paquet.	String
access_key_id (Facultatif)	Chaîne d’ID de la clé d’accès correspondant au type de stockage cloud donné. Il peut également s’agir du nom du compte, comme avec Azure.	String
secret_access_key (Facultatif)	Chaîne de la clé d’accès secrète qui permet d’authentifier la connexion au stockage cloud.	Encrypted String
region (Facultatif)	Chaîne de la région du stockage cloud. Si elle est fournie, la valeur doit utiliser le format défini par le choix du stockage cloud. Par défaut, il s’agit du compte par défaut du fournisseur cloud sélectionné.	String
end_point (Facultatif)	Extrémité du service (uris) du stockage cloud, comme oss-us-west-1.aliyuncs.com. Si aucune valeur n’est fournie, l’extrémité par défaut du type de stockage cloud sélectionné est utilisée. L’extrémité redirigée CNAME peut également être utilisée, le cas échéant.	String
config_options [config_options,...] (Facultatif)	Options de configuration inhérentes au type spécifique de service cloud. Certains services proposent des options et d’autres non. Vous devez uniquement définir une option si vous souhaitez l’activer. Le contrôle d’accès en fonction du rôle (Role-Based Access Control, RBAC) est disponible pour les fournisseurs cloud Amazon et Azure. Laisser le champ de tous les paramètres d’authentification vide tout en utilisant une machine virtuelle EC2 ou Azure permet à ArcGIS Pro d’accéder au stockage Blob à l’aide des rôles IAM ou de la fonction Azure RBAC. Pour Amazon, IMDSv1 et IMDSv2 sont pris en charge. Microsoft Azure Data Lake Storage Gen2 suit les mêmes options que Azure mais offre des opérations atomiques et une prise en charge réelle des répertoires à l’aide d’une extrémité DFS. Certaines erreurs de réseau survenant pendant des opérations cloud se reproduisent à la suite d’un backoff exponentiel. Pour connaître les aspects spécifiques aux performances et obtenir d’autres informations, reportez-vous à la documentation Systèmes de fichiers virtuels GDAL. Azure / Microsoft Azure Data Lake AZURE_SAS : spécifie une signature d’accès partagé. Assurez-vous que sa valeur est codée au format URL et ne contient pas de caractères de début « ? » ou « & ». Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide. AZURE_NO_SIGN_REQUEST (valeur par défaut : FALSE) : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide. AZURE_STORAGE_CONNECTION_STRING : spécifie une chaîne de connexion Azure Storage. Cette chaîne incorpore le nom de compte, la clé et l’extrémité. Lorsque vous utilisez cette option, le champ des paramètres ID de clé d’accès (nom de compte) et Clé d’accès secrète (clé de compte) doit être vide. CPL_AZURE_USE_HTTPS (valeur par défaut : TRUE) : définissez cette valeur sur FALSE pour utiliser les requêtes http. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes https. Amazon/MinIO AWS_NO_SIGN_REQUEST (valeur par défaut : FALSE) : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. AWS_SESSION_TOKEN : spécifie des identifiants de connexions temporaires. AWS_DEFAULT_PROFILE : les profils d’identifiants de connexion AWS sont automatiquement utilisés si les données d’ID/de clé d’accès sont manquantes. Cette option peut être utilisée pour spécifier le profil à utiliser. AWS_REQUEST_PAYER : vous pouvez accéder aux compartiments Le demandeur paye en définissant cette option sur Demandeur. AWS_Virtual_Hosting (valeur par défaut : TRUE) : les fournisseurs de cloud compatibles avec Amazon S3 et S3 et ne prenant en charge que des requêtes de type chemin d’accès doivent définir cette option sur TRUE. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE (valeur par défaut : TRUE) : certaines mises en œuvre compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur FALSE pour ces fournisseurs. AWS_HTTPS (valeur par défaut : TRUE) : définissez cette valeur sur FALSE pour utiliser les requêtes http. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes https. Alibaba OSS_Virtual_Hosting (valeur par défaut : TRUE) : les fournisseurs de cloud compatibles avec Alibaba et S3 et ne prenant en charge que des requêtes de type chemin d’accès doivent définir cette option sur TRUE. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. OSS_HTTPS (valeur par défaut : TRUE) : définissez cette valeur sur FALSE pour utiliser les requêtes http. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes https. WebHDFS WEBHDFS_REPLICATION (nombre entier) : la valeur de réplication est utilisée pour créer un fichier. WEBHDFS_PERMISSION (décimale) : une marque d’autorisation est utilisée pour créer un fichier. Si plusieurs paramètres d’authentification sont fournis, la précédente est la suivante : Azure : AZURE_STORAGE_CONNECTION_STRING, nom/clé de compte, AZURE_SAS, AZURE_NO_SIGN_REQUEST, RBAC. Amazon : AWS_NO_SIGN_REQUEST, ID/compte d’accès et/ou AWS_SESSION_TOKEN, Profil d’identifiants de connexion AWS, Rôle IAM. En dehors des options de fournisseur répertoriées ci-dessus, cette option ARC_DEEP_CRAWL (valeur par défaut :TRUE) peut être utilisée avec tous les fournisseurs de services. Si elle est définie sur True, cette option est utilisée pour identifier les CRF sans extension dans le cloud. Il s’agit d’une opération de grande ampleur, qu’il est hautement recommandé de définir sur FALSE pour une analyse et une navigation plus rapides dans le catalogue.	Value Table
folder (Facultatif)	Dossier indiqué par le paramètre bucket_name dans lequel le jeu de données raster est stocké.	String

Sortie obtenue

Nom	Explication	Type de données
out_connection	Chemin d’accès du fichier de connexion au stockage cloud en sortie.	File

Exemple de code

Exemple 1 d’utilisation de l’outil CreateCloudStorageConnectionFile (fenêtre Python)

Il s’agit d’un exemple Python d’utilisation de la fonction CreateCloudStorageConnectionFile.

#====================================
# CreateCloudStorageConnectionFile
# Usage:
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     { {Name} {Value}; {Name} {Value}...})
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     {config_options})

import arcpy

# Create connection to open public bucket with requester pay option
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "awss3storage.acs", "AMAZON", "publicrasterstore",
    config_options="AWS_REQUEST_PAYER requester")

# Create connection to secured Azure bucket
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "azurestorage.acs", "AZURE", "rasterstore", "imageaccount",
    "NOGEOU1238987OUOUNOQEWQWEIO")

# Create Alibaba connection with end points
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "aliyun.acs", "ALIBABA", "rasterstore", "AYOUER9273PJJNY",
"NOGEOU1238987OUOUNOQEWQWEIO", end_point="rasterstore.oss-us-west-1.aliyuncs.com")

Exemple 2 d’utilisation de l’outil CreateCloudStorageConnectionFile (script autonome)

Il s’agit d’un exemple Python d’utilisation de la fonction CreateCloudStorageConnectionFile.

#====================================
# CreateCloudStorageConnectionFile
# Usage:
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     { {Name} {Value}; {Name} {Value}...})
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     {config_options})

import arcpy

outfolder = "C:/Workspace/connections"
connectname = "googlecloudos.acs"
provider = "GOOGLE"
accesskey = "AYOUER9273PJJNY"
secretkey = "NOGEOU1238987OUOUNOQEWQWEIO"
bucketname = "rasterstore"

# Create connection to Google cloud object storage
arcpy.management.CreateCloudStorageConnectionFile(
outfolder, connectname, provider, bucketname, accesskey, secretkey)

Environnements

Cet outil n’utilise pas d’environnement de géotraitement.

Informations de licence

• Basic: Oui
• Standard: Oui
• Advanced: Oui