Skip to main content

ArcGIS Solutions for Utilities : la voie avec les outils de chargement de données

Découvrez une méthode innovante de gestion des données sur les services publics avec ArcGIS Solutions. Travaillons ensemble pour libérer le potentiel de la solution de gestion des données sur les eaux pluviales. Dans la première partie, nous nous concentrerons sur l’étape essentielle qui consiste à charger sans effort des données dans les couches d’entités de la solution à l’aide des outils de chargement de données, un joyau caché dans ArcGIS Solutions.

Naviguer dans les méandres de la gestion de données issues de services publics peut s’avérer un défi de taille. Dans le vaste domaine de la gestion des services publics, ArcGIS Solutions change la donne. Il transforme ArcGIS en un système dynamique qui permet aux organisations de se livrer sans efforts à des travaux de cartographie, d’édition et de collaboration liés aux actifs. ArcGIS Solutions harmonise l’expérience d’utilisation du personnel sur le terrain et au bureau, en fournissant des cartes et des tableaux de bord interactifs. Chaque service public présente des besoins uniques, que ce soit dans les domaines des eaux pluviales, des communications, de l’électricité, du gaz, et j’en passe. L’équipe affectée à ArcGIS Solutions a donc travaillé avec des experts sectoriels à concevoir des modèles et des applications de données particulières pour vous aider à gérer et à modifier vos renseignements. Cette série s’appuie sur un cas d’utilisation concernant les eaux pluviales à Victoria, en Colombie-Britannique. Elle se veut un guide complet, démontrant comment les solutions ArcGIS Solutions peuvent être exploitées pour surmonter les défis de la gestion des données de service public. Bien que les eaux pluviales soient à l’honneur, les principes explorés sont universellement applicables, ce qui fait de cette série une ressource précieuse pour tout service public cherchant à améliorer la gestion des données. Joignez-vous à nous pour la première partie de ce voyage d’exploration de la puissance d’ArcGIS Solutions, dont la première escale sera le processus de chargement des données.

Premiers pas dans la solution de gestion des données sur les eaux pluviales :

Pour commencer, nous porterons notre attention sur la première étape essentielle de tout flux de travaux ArcGIS Solutions : le chargement des données. Même si ArcGIS Solutions simplifie la configuration des applications, le chargement de vos données dans les solutions offertes peut devenir très compliqué. Déployons la solution de gestion des données sur les eaux pluviales et voyons avec quoi nous travaillons. 

* Notez que cette solution diffère de la solution de fondement de réseau public d’eaux pluviales, qui décrit la mise en œuvre d’un modèle Utility Network de données de réseau de service public.

Enregistrement d’écran de la page web ArcGIS Solutions. La recherche est utilisée pour localiser la solution de gestion des données sur les eaux pluviales. L’on clique sur la solution pour plus d’information et l’on sélectionne le déploiement immédiat. La solution se charge, et les détails sont examinés dans ArcGIS Online.

Une fois qu’une solution est déployée, nous pouvons voir de nombreux composants : des groupes, un paquetage ArcGIS Pro, plusieurs applications web, etc. Ne vous laissez pas submerger par le contenu. Une fois que nous aurons terminé notre première étape, un grand nombre de ces couches, cartes et applications seront injectées en une seule couche d’entité hébergée que nous appellerons StormwaterSystem (systèmes d’eaux pluviales).

La couche d’entité StormwaterSystem contient plusieurs couches et tables. L’équipe ArcGIS Solutions nous a fourni un dictionnaire de données sur la page Configurer la gestion des données sur les eaux pluviales afin de mieux nous faire comprendre tout ce qui est inclus. Ce dictionnaire montre que la solution contient 13 couches, 4 tables, 8 relations et 52 domaines; il se passe beaucoup de choses dans ces données. Lorsque le dictionnaire de données est comparé aux entités téléchargées à partir du portail de données ouvertes de la Ville de Victoria, une différence s’observe immédiatement. La Ville de Victoria dispose de 15 couches de données sur les eaux pluviales, contre 13 pour StormwaterSystem. Vous constaterez encore plus de différences si vous prenez l’entité de regards d’égout intégrée à la solution et que vous la comparez avec la couche de regards d’égout des collecteurs d’eaux pluviales de la Ville de Victoria. En effet, l’écart est manifeste, avec 52 champs dans la couche de solution et 36 dans les données de Victoria. En outre, les données de Victoria se divisent en quatre sous-types, alors qu’il n’y a aucune telle répartition dans la solution, sans parler des nombreux domaines qui ne sont pas alignés avec ceux de la couche StormwaterSystem. L’examen de ces entités nous indique que les schémas ne correspondent pas, de sorte que nous ne pouvons pas ajouter directement les données de la couche des regards de Victoria à la couche des regards de StormwaterSystem. En examinant ces différences et en imaginant comment introduire nos données dans la couche de solution, vous pouvez vous sentir dépassé et vous arrêter dans votre élan, mais n’ayez crainte! L’équipe ArcGIS Solutions a créé une boîte à outils que nous pouvons utiliser dans le cadre de notre travail pour résoudre rapidement ce problème.

Outils de chargement de données :

Voici maintenant l’héroïne de notre histoire : la boîte à outils de chargement de données. Ces outils sont les champions méconnus qui comblent le fossé entre votre ensemble de données unique et la structure simplifiée de la solution de gestion des données sur les eaux pluviales. Plutôt que de baisser les bras face aux divergences, nous pouvons tirer parti de ces outils pour parfaitement harmoniser ces données. Les outils de chargement vous aident à faire passer des données sources vers un ensemble de données cible, avec la possibilité d’effectuer des transformations en cours de route. Ils vous permettent de faire correspondre (ou « mapper ») vos données en détail, du niveau de la classe aux sous-types et aux champs, en passant par le mappage des domaines de valeurs codées et la transformation des valeurs individuelles.

Une série de trois diagrammes décrivant comment les outils de chargement de données peuvent transformer vos données. De haut en bas : (1) Mapper la source avec les classes cibles : montre à gauche une série de rectangles empilés représentant les couches (qui sont jaunes), avec des flèches partant de ces couches et pointant vers une pile de rectangles plus petits représentant les couches d’une autre entité. (2) Mapper les champs sources avec les champs cibles : montre deux tables avec des flèches reliant les en-têtes de colonnes ou les noms de champ d’une table à l’autre. (3) Traduire les valeurs et les domaines de valeurs codées : montre deux tables avec une colonne de données remplie et des flèches reliant ces différentes valeurs d’une table à l’autre.

Explorons les méandres des outils Chargement des données, de sorte à comprendre comment ils nous aident à transformer le processus complexe de chargement de données en une tâche harmonieuse et gérable. Comme je travaille avec ArcGIS Pro 3.2, les outils de chargement de données sont inclus dans la boîte à outils Gestion des données. Si vous suivez la procédure dans une version antérieure d’ArcGIS Pro, vous devez installer la boîte à outils Chargement des données pour ce flux de travaux.

Créer un espace de travail pour le chargement des données :

Ouvrez le paquetage de projet StormwaterDataManager dans ArcGIS Pro, en ajoutant toutes vos données sur les eaux pluviales et la couche d’entité StormwaterSystem. Une fois que toutes les données nécessaires ont été ajoutées, nous pouvons les charger. La première étape consiste à créer un espace de travail pour le chargement des données. Ici, nous définissons nos données sources pour chaque entité de la Ville de Victoria, et nous les faisons correspondre à la couche pertinente de la couche d’entité hébergée StormwaterSystems à partir de la solution en tant que source. Dans certains cas, nous pouvons constater que nous ne disposons pas de données correspondant à un champ de la couche solution ou que nous avons plusieurs entités qui ne correspondent qu’à une seule dans la solution, comme c’est le cas pour les conduites sous pression et les conduites gravitaires, les deux étant des tuyaux. Quand ça se présente, nous pouvons laisser de côté les cibles pour lesquelles nous ne disposons pas de données et ajouter la même cible plusieurs fois pour chaque couche source correspondante. Une fois que les couches source et cible sont toutes appariées, lancez l’outil.

Capture d’écran d’ArcGIS Pro montrant l’outil « Créer un espace de travail de chargement des données », avec les champs source et cible remplis pour chaque couche de l’ensemble de données.

Une fois qu’est exécuté l’outil Créer un espace de travail de chargement des données, un nouveau dossier appelé DataLoadingWorkspace s’affiche. Ce dernier contient des renseignements sur les entités mises en correspondance, ainsi que des dossiers pour les domaines, les scripts et le mappage des données. Il y aura un fichier Excel pour chaque ensemble d’entités appariées et chaque sous-type de ces entités, ce qui signifie que notre résultat comporte 18 fichiers Excel, alors que nous n’avons ajouté que 11 entrées à l’outil. Le classeur de référence des données est un bon point de départ, car il contient des liens vers tous les autres fichiers Excel utilisés dans le processus de chargement des données.

Capture d’écran de l’explorateur de fichiers Windows montrant les trois dossiers créés par l’outil Créer un espace de travail de chargement des données. Chaque dossier s’ouvre en affichant son contenu.


Mapper les données :

Vient ensuite le gros du travail à effectuer tout au long du processus : remplir les feuilles de correspondances (mappage). Ne sous-estimez pas cette tâche! Elle prendra du temps, mais si vous la faites correctement, vous gagnerez un temps considérable à long terme, et le processus de chargement des données sera aussi fluide que possible. Examinons l’entité de collecteurs gravitaires d’eaux pluviales à titre d’exemple. L’image ci-dessous montre un diagramme de l’entité de conduites gravitaires de la Ville de Victoria. Une fois les données chargées, elles deviennent un sous-type de la classe « pipe » (tuyau) dans l’entité de la solution. Nous pouvons également voir comment l’un des domaines du champ de matériaux de cette entité se compare au domaine du champ de matériaux de la couche StormwaterSystem. De nombreux changements doivent être appliqués aux données, et ce n’est qu’un domaine parmi d’autres.   

Un diagramme avec deux boîtes, la gauche pour les données sources et la droite pour les données cibles. Chaque boîte contient une capture d’écran issue d’ArcGIS Pro montrant la table des matériaux pour les données source et cible, respectivement. Une flèche relie l’entité StormDrainGravityMains de la table source au contenu du sous-type Gravity (gravité) de la classe Pipe (tuyau) dans la table des matériaux cible. Chaque boîte contient en outre une capture d’écran des domaines de matériaux appliqués aux entités de conduites gravitaires. Les valeurs correspondantes de chaque domaine sont reliées par des flèches, soit un total de 13 flèches d’interconnexion.

Comme nous nous concentrons uniquement sur la couche Gravity Mains (conduites gravitaires), nous pouvons temporairement désactiver les autres couches à l’aide du champ Enabled (activé) dans le classeur de référence des données. Cela permet de gagner du temps, car vous pouvez tester uniquement des parties de votre mise en correspondance, sans avoir à charger l’intégralité des données chaque fois que vous apportez des modifications. Le champ TargetDeleteQuery peut également faciliter le processus itératif de chargement des données; en lui attribuant la valeur 1=1, vous pouvez supprimer toutes les données existantes de cette entité avant de les charger à nouveau, afin d’éviter les doublons.