Une logique opérationnelle appelée traitement de subdivision adaptative est appliquée afin d'améliorer la performance et l'évolutivité des outils de superposition d'entités tels que Agréger et Intersecter. L'utilisation de cette logique est déclenchée lorsque les données ne peuvent pas être traitées dans le cadre de l'espace de mémoire physique disponible. Afin de respecter les limites de mémoire physique, ce qui permet d'améliorer considérablement les performances, le traitement est réalisé de manière incrémentielle sur des subdivisions de l'étendue d'origine. Les entités à cheval sur les limites de ces subdivisions (également appelées tuiles) sont fractionnées le long de la limite de la tuile et réassemblées en une seule entité pendant la dernière étape du traitement. Les sommets ajoutés à ces limites de tuile sont conservés dans les entités en sortie. Des limites de tuile peuvent également subsister dans la classe d'entités en sortie lorsqu'une entité en cours de traitement est si grande que le processus de subdivision ne peut pas la restituer dans son état d'origine à l'aide de la mémoire disponible.
Utilité de la subdivision des données
Les outils d'analyse de superposition donnent les meilleurs résultats lorsque le traitement peut être réalisé dans la mémoire disponible de l'ordinateur (mémoire libre non utilisée par le système ou d'autres applications). Cela peut parfois s'avérer impossible lors de l'utilisation de jeux de données contenant un grand nombre d'entités, des entités très complexes présentant des interactions complexes ou des entités contenant des centaines de milliers ou des millions de sommets (ou une association de ces trois caractéristiques). Sans l'utilisation du tuilage, la mémoire disponible serait rapidement épuisée et le système d'exploitation commencerait à paginer (utiliser le stockage secondaire comme s'il s'agissait de la mémoire principale). La pagination entraîne une dégradation des performances et finit par épuiser les ressources du système, aboutissant à l'échec de l'opération. Le tuilage permet d'éviter cela autant que possible. Dans des cas extrêmes, la gestion de la mémoire de traitement est transmise au système afin que l'opération puisse être terminée. Le système d'exploitation utilise alors toutes les ressources à sa disposition pour ce faire.
Forme des tuiles
Chaque processus commence avec une seule tuile qui couvre toute l'étendue des données. Si les données de la tuile unique sont trop volumineuses pour être traitées en mémoire physique, elle est subdivisée en quatre tuiles égales. Le traitement commence alors sur une sous-tuile, à nouveau sous-divisée si les données de ce deuxième niveau de tuiles sont encore trop volumineuses. Cette opération se poursuit jusqu'à ce que les données de chaque tuile puissent être traitées dans la mémoire physique. Voir l'exemple ci-dessous :
Emprise de l'ensemble des entités en entrée
Le processus commence avec une tuile qui couvre toute l'étendue de l'ensemble des jeux de données. Elle est désignée par le niveau de tuile 1.
Si les données sont trop volumineuses pour le traitement en mémoire, la tuile de niveau 1 est subdivisée en quatre tuiles égales. Ces quatre sous-tuiles sont appelées tuiles de niveau 2.
Selon la taille des données de chaque tuile, certaines tuiles sont encore subdivisées, contrairement à d'autres.
Outils utilisant des subdivisions
Les outils suivants de la boîte à outils Outils d'analyse appliquent une logique de subdivision lors du traitement de données volumineuses :
- Zone tampon (lors de l'utilisation de l'option de fusion)
- Découpage
- Effacer
- Identité
- Intersecter
- Fractionnement
- Différence symétrique
- Agréger
- Mettre à jour
Les outils suivants de la boîte à outils Gestion des données appliquent également une logique de subdivision lors du traitement de jeux de données volumineux :
- Fusionner
- Entités vers lignes
- Entités vers polygones
- Polygone vers ligne
Echec d'un processus avec une erreur de mémoire insuffisante
L'approche de subdivision peut être inutile pour le traitement d'entités extrêmement grandes (comportant plusieurs millions de sommets). Le fractionnement et le réassemblement répété d'entités extrêmement grandes le long des limites de tuile est très coûteux en termes de mémoire et peut provoquer des erreurs de mémoire insuffisante si l'entité est trop grande. Cela dépend de la quantité de mémoire disponible (mémoire libre non utilisée par le système ou d'autres applications) sur l'ordinateur exécutant le processus. Certaines grandes entités peuvent provoquer des erreurs de mémoire insuffisante sur une configuration d'ordinateur et pas sur une autre. L'erreur de mémoire insuffisante peut survenir de manière aléatoire sur une même machine, en fonction des ressources utilisées par d'autres applications. Les entités très grandes comportant de nombreux sommets peuvent correspondre par exemple aux bordures de route pour une ville entière ou à un polygone représentant un estuaire de rivière complexe.
L'erreur de mémoire insuffisante peut également se produire si une deuxième application ou un outil de géotraitement est exécuté pendant le traitement par un outil. Ce deuxième processus peut utiliser une partie de la mémoire libre que le processus de subdivision considérait disponible, obligeant le processus de subdivision à demander plus de mémoire que l'espace réellement disponible. Il est déconseillé d'effectuer d'autres opérations sur un ordinateur lors du traitement de jeux de données volumineux.
Une technique conseillée consiste à utiliser l'outil Dés pour diviser de grandes entités en entités plus réduites avant le traitement.
Format de données recommandé lors de l'utilisation de données volumineuses
La taille des géodatabases personnelles et des fichiers de formes est limitée à 2 gigaoctets (Go). Si la sortie d'un traitement dépasse cette taille, des échecs peuvent se produire. Les géodatabases d'entreprise et les géodatabase fichier ne sont pas soumises à cette limitation. Elles sont donc recommandées comme espace de travail en sortie lors du traitement de jeux de données très volumineux. Pour les géodatabases d'entreprise, consultez l'administrateur de base de données pour plus d'informations sur les règles de chargement de données. L'exécution d'opérations de chargement imprévu/non autorisé de volumes de données importants peut être restreinte.
Vous avez un commentaire à formuler concernant cette rubrique ?