Concepts de l’espace de travail de chargement des données

L’outil Créer un espace de travail de chargement des données crée un espace de travail de chargement des données, un classeur de référence des données et des classeurs d’appariement.

Espace de travail de chargement des données

L’espace de travail de chargement des données contient des dossiers, des classeurs Microsoft Excel et d’autres éléments pour aider à l’appariement des données depuis une structure source vers une structure cible. Vous trouverez ci-après une description de la structure des dossiers d’un espace de travail de chargement des données.

• Le dossier Data Mapping contient les dossiers suivants, en fonction des données source :
  • Points : contient des classeurs pour chaque jeu de données ponctuelles source qui a été apparié.
  • Polygons : contient des classeurs pour chaque jeu de données surfaciques source qui a été apparié.
  • Poylines : contient des classeurs pour chaque jeu de données polylignes source qui a été apparié.
  • Table : contient des classeurs pour chaque jeu de données tabulaires source qui a été apparié.
  • GlobalLookup : contient le classeur GlobalLookup.xlsx, qui peut servir à créer des tables de correspondance à utiliser dans tous les classeurs d’appariement.
• Le dossier Scripts contient les fichiers de script décrits ci-dessous, que vous pouvez utiliser pour traiter des données à l’aide de fonctions personnalisées. Ces fonctions peuvent être utilisées dans la colonne Expression des classeurs d’appariement.
  • base.py : utilisez les fonctions de base de ce fichier dans les classeurs d’appariement.
  • shape_operations.py : utilisez les fonctions de manipulation de formes de ce fichier dans les classeurs d’appariement.
  • user.py : utilisez ce fichier pour des fonctions personnalisées.
• Le dossier Domaines contient des classeurs avec des informations de structure pour tous les domaines dans l’espace de travail source et cible.
• Le fichier DataReference.xlsx contient les chemins d’accès aux classeurs source, cible et d’appariement, ainsi que les paramètres de chargement des données.

Classeur de référence des données

Le classeur de référence des données contient les chemins d’accès aux classeurs source, cible et d’appariement. Si l’emplacement de l’un de ces éléments change, vous pouvez mettre à jour les chemins d’accès manuellement. Des colonnes supplémentaires déterminent le mode de chargement des données source dans la cible, notamment certains paramètres d’environnement de géotraitement.

Les définitions de colonne sont présentées ci -après.

• Source : emplacement du jeu de données source.
• SourceDefinitionQuery : écriture d’une requête SQL pour sélectionner un sous-ensemble d’un jeu de données source à apparier au jeu de données cible. Par exemple, utilisez Type = 0 pour sélectionner uniquement les enregistrements dans lequel le type d’attribut est égal à 0 en vue de les charger dans le jeu de données cible.
• Target : emplacement du jeu de données cible.
• TargetDeleteQuery : écriture d’une requête SQL pour choisir les données du jeu de données cible à supprimer avant le chargement. Par exemple, 1=1 supprime toutes les données existantes dans le jeu de données cible.
• MappingWorkbook— Le lien vers l’emplacement du classeur d’appariement des données dans l’espace de travail de chargement des données.
• Enabled— Une valeur booléenne indiquant si le classeur d’appariement sera traité ou ignoré lors du traitement de chargement des données. La valeur par défaut est True.
• MaintainAttachments— Une valeur booléenne indiquant si les pièces jointes seront conservées lors du traitement de chargement des données. La valeur par défaut est True.
• PreserveGlobalIds— Une valeur booléenne indiquant si les ID globaux seront conservés lors du traitement de chargement des données. La valeur par défaut est False. Les identifiants globaux ne peuvent pas être conservés lors du chargement dans un service.
• GeographicTransformations : définit les transformations géographiques à utiliser lors du chargement des données.

Classeurs d’appariement des données

Les classeurs d’appariement des données se trouvent dans le dossier Data Mapping et sont organisés par type de géométrie. Chaque classeur d’appariement des données correspond à l’une des paires source et cible définies dans le classeur de référence des données. Utilisez ces classeurs pour définir le mode d’appariement des données de la source à la cible à l’aide des options décrites ci-dessous.

Feuille de calcul d’appariement

Utilisez cette feuille de calcul pour définir l’appariement de champs. La feuille de calcul est mise en surbrillance en vert dans le classeur.

Les définitions de colonne sont présentées ci -après.

• TargetField : champs du jeu de données cible.
• FieldType : type de chaque champ dans le jeu de données cible.
• Expression : appariez directement les champs en sélectionnant un champ dans le menu déroulant, ou écrivez une expressionPython. Par exemple, cela peut faire référence à une fonction Python externe ou une valeur constante comme un nombre ou une chaîne.
• LookupSheet— Indiquez une feuille de calcul de correspondance. Elle doit être utilisée avec les colonnes LookupKeys et LookupValue.
• LookupKeys— Spécifiez une ou plusieurs colonnes de la feuille de calcul de correspondance à utiliser en tant que clés. Pour utiliser plusieurs colonnes, séparez-les par une virgule.
• LookupValue— Spécifiez une colonne de la feuille de calcul de correspondance à utiliser en tant que valeur cible.
• LookupDefault— Lorsque vous utilisez une feuille de calcul de correspondance, ce champ permet de définir une valeur par défaut. Cette valeur sera affectée aux valeurs nulles et à celles qui ne sont pas appariées dans la feuille de calcul de correspondance. Cette colonne est facultative et peut rester vide si aucune valeur par défaut n’est utilisée.

Validation des feuilles de calcul d’appariement

Dans un classeur, la mise en forme conditionnelle utilise différentes couleurs pour représenter des types spécifiques d’erreurs et d’avertissements. Les significations des différentes couleurs sont les suivantes :

• Rouge uni : les cellules en surbrillance rouge uni indiquent qu’il existe un type de données non valide entre les champs source et cible. Il est très probable que les types de données source et cible s’avèrent incompatibles lors de leur traitement et doivent être changés.
• Orange uni : les cellules en surbrillance orange uni indiquent qu’il existe potentiellement un type de données de champ source non valide pour le champ cible. Il se peut que les types de données source et cible soient incompatibles et doivent être évalués.
• Bleu clair uni : les cellules en surbrillance bleu clair uni indiquent que la colonne Expression et qu’au moins une des colonnes de correspondance ont été remplies par des valeurs. Soit la colonne d’expression, soit les colonnes de correspondance peuvent comporter des valeurs, mais pas les deux types de colonne en même temps.
• Contour rouge : les cellules entourées de rouge indiquent qu’il manque des valeurs dans les colonnes de correspondance. Les colonnes LookupSheet, LookupKeys et LookupValue doivent toutes être renseignées par des valeurs si vous utilisez une feuille de concordance.
• Bleu foncé uni : les cellules en surbrillance bleu foncé uni indiquent un nom de champ en double dans la colonne TargetField. Toutes les valeurs figurant dans cette colonne doivent être uniques et correspondre à la structure de la cible.

Feuille de calcul Correspondance.

Utilisez des feuilles de calcul de correspondance pour définir l’appariement de valeurs source à cible. Elles sont utilisées dans la feuille de calcul d’appariement en tant que clés et valeurs de correspondance. Une feuille est automatiquement créée pour tous les domaines de valeurs précodées dans les données source, avec des colonnes contenant les codes et descriptions de domaine. Des colonnes supplémentaires représentant des champs dans les données source peuvent être ajoutées manuellement pour prendre en charge la correspondance de plusieurs valeurs. Ces feuilles de calcul sont mises en surbrillance en bleu dans le classeur.

Si le paramètre Options d’appariement de champ prédictif de l’outil Créer un espace de travail de chargement des données est défini sur Similarité de descriptions de valeurs précodées de domaine, une feuille de calcul de correspondance sera automatiquement générée entre les domaines source et cible. Les colonnes de données source seront d’abord ajoutées, puis les colonnes de données cible correspondantes.

Classeur de correspondance globale

Le classeur de correspondance globale fonctionne de la même façon que la feuille de calcul de correspondance locale, mais permet d’utiliser une seule feuille de calcul de correspondance dans plusieurs classeurs d’appariement. Le classeur de correspondance globale se situe dans le répertoire DataMapping\GlobalLookup de l’espace de travail de chargement des données. Lors du référencement d’une feuille de calcul Correspondance globale, mettez le nom de la feuille de correspondance entre crochets dans la colonne LookupSheet du classeur d’appariement. Par exemple, si la feuille de calcul Correspondance globale se nomme Marchandise, faites-y référence sous la forme [Marchandise] dans la colonne LookupSheet de la feuille de calcul d’appariement. Cela indique aux outils de chargement des données de récupérer les valeurs de la feuille de calcul Correspondance globale et non de la feuille de calcul Correspondance locale.

Feuille de calcul Structure

Utilisez ces feuilles de calcul pour afficher les informations de structure relatives aux jeux de données source et cible. Elles sont utilisées lors de la création d’un espace de travail d’appariement, mais ne le sont pas pendant le traitement. Ces feuilles de calcul sont mises en surbrillance en jaune dans le classeur.

Feuille de calcul Infos

Utilisez cette feuille de calcul pour définir éventuellement la valeur de sous-type source. La feuille de calcul est mise en surbrillance en orange dans le classeur.

Options d’appariement des données

Il existe de nombreuses options permettant d’apparier les données dans les classeurs d’appariement des données. Les colonnes Lookup ou Expression peuvent être utilisées, mais une seule méthode peut être utilisée par champ cible. Passez en revue toutes les options pour déterminer la mieux adaptée au processus de chargement des données. Les options décrites ci-dessous sont configurées dans la feuille de calcul d’appariement.

Expression

La colonne Expression peut être utilisée pour apparier directement des champs à des types de données compatibles. Certains champs source et cible sont automatiquement appariés s’ils portent le même nom. Passez en revue les champs appariés automatiquement pour vérifier que les types de données source et cible correspondent et que les valeurs sont équivalentes, en cas de présence de domaines codés.

La colonne Expression peut également être personnalisée pour utiliser une expression Python écrite directement dans Excel ou pour appeler une fonction dans le dossier Scripts. Voici les scénarios dans lesquels il s’agit de la meilleure option :

• Conversion d’une valeur de champ en type de données différent
• Appariement de toutes les valeurs source à une valeur cible
• Création d’un identifiant unique global (GUID)
• Manipulation de formes en vue d’une conversion entre types de géométrie

Table d’appariement

La table d’appariement permet d’ajouter ou de remplacer les appariements effectués à l’aide de l’outil Créer un espace de travail de chargement des données. La table d’appariement permet aussi de bloquer les appariements. Lorsque vous créez la table d’appariement, indiquez de quelle façon les données source vont être appariées au jeu de données cible. Cela renforce le contrôle exercé sur le traitement de chargement des données et garantit que les champs, attributs et descriptions de domaine sont appariés avec précision. L’utilisation d’une table d’appariement est facultative, mais si vous y recourez, l’outil Créer un espace de travail de chargement des données l’utilise comme entrée. Il prend alors en compte les appariements indiqués dans la table et s’en sert pour aider à la création des appariements et des blocages.

Pour plus d’informations sur la table d’appariement, consultez la documentation de l’outil Générer une table d’appariement.