Automatiser la gestion des big data géospatiales

Les données géographiques sous-tendent la croissance des économies nationales. Au Royaume-Uni, les données cartographiques de l’agence nationale Ordnance Survey sont tellement vitales qu’un rapport indépendant a fixé leur valeur dans l’économie britannique à plus de 100 milliards de livres sterling. Les banques de données géospatiales sont essentielles à la prise de décision. Elles se doivent par conséquent d’être exactes, à jour et maintenues à un haut niveau qualitatif.

Les organisations (telles que les agences nationales de cartographie et du cadastre, les sociétés d’utilité publique, la Défense et les services gouvernementaux) qui créent et maintiennent ces grandes bases de données géospatiales, assimilables à des big data, doivent faire face à trois principaux défis.

Tout d’abord, ces organisations doivent trouver un moyen de gérer la taille et la complexité de ces grandes bases de données géospatiales, très souvent soumises à un taux élevé de changements liés au monde réel. Il est donc nécessaire de garantir plus d’efficacité et de cohérence dans les processus de saisie, de maintenance et de publication des données.

Ensuite, ces organisations doivent souvent faire preuve de souplesse et d’innovation dans un marché en évolution rapide. La capacité à dériver de nouveaux produits et services de données en réponse à l’évolution des besoins et des exigences est essentielle afin de rester compétitif et de satisfaire la demande des consommateurs. Enfin, ces organisations doivent aussi gérer la qualité des données et garantir leur précision. En effet, ces données doivent être cohérentes et de qualité reconnue. C’est particulièrement difficile pour les grandes banques de données géospatiales nationales contenant des milliards d’objets et des modèles de données complexes en relation avec le monde réel.

En raison de ces défis, de nombreuses organisations évoluent. De fournisseurs de produits cartographiques traditionnels issus d’anciennes bases de données cartographiques, elles deviennent des fournisseurs exclusifs de données intelligentes, riches et de services liés aux données issues de bases de données d’objets relatifs au monde réel. Pour garantir le succès de cette étape révolutionnaire, les organisations doivent procéder à deux changements profonds.

CHANGER LES PROCESSUS DE TRAVAIL

De nombreuses organisations ont mis en place plusieurs produits différents liés aux données, chaque produit ayant ses propres flux de travail et des systèmes de support individuels. Avec le temps, la gestion en devient de plus en plus difficile. Par exemple, à Ordnance Survey Grande-Bretagne, Malcolm Havercroft , responsable des Opérations de collecte et de gestion des données, a déclaré : « Nous sommes arrivés à un point où nous avions mis en place de nombreuses lignes de production différentes. Le maintien de leurs relations devenait de plus en plus difficile, inefficace et coûteux à gérer. »

C’est pourquoi Ordnance Survey Grande-Bretagne a adapté ses processus de travail vers une philosophie du « capturé une fois, stocké une fois, utilisé de nombreuses fois ». D’autres organisations cherchent à faire de même. Cela conduit souvent à la consolidation d’anciennes lignes de production multiples vers un système unique de saisie et de maintenance des données, à partir duquel tous les produits peuvent être générés.

Dans de nombreuses organisations, ceci a également conduit à la création d’une base de données nationale unique, continue et éditable. À partir de ce point central, ces organisations peuvent efficacement concevoir et lancer de nouveaux produits de données différenciés. C’est ce que nous appelons une base de données « product-ready ».

METTRE EN PLACE LES SYSTÈMES ADÉQUATS

Afin de créer et de maintenir ces bases de données « product-ready », des systèmes adéquats doivent être mis en place pour soutenir chaque phase de la chaîne d’approvisionnement des données. La taille de ces bases de données nationales et les taux élevés de changements requièrent de ces systèmes une capacité à évoluer rapidement pour répondre aux exigences d’utilisation et de performance. Pour Ordnance Survey Grande-Bretagne, cela correspond à plus de 35 millions d’objets saisis par jour. Pour répondre à de telles exigences en termes de performance, l’automatisation joue un rôle essentiel.

Dès lors, là où cela est possible et approprié, le but est de réduire au maximum l’intervention humaine, afi n de faciliter le traitement direct et automatisé de bout en bout. Ce concept a été utilisé pour la première fois dans les secteurs financiers afin d’automatiser les échanges et de réduire le grand nombre de processus manuels complexes nécessaires au traitement des transactions – qui, auparavant, prenaient souvent plusieurs jours avant d’être finalisées. En utilisant les mêmes technologies de workflow et d’entreprise éprouvées, les opérations géospatiales peuvent aussi bénéficier de l’aide de méthodes automatisées.

DES GISEMENTS DE BÉNÉFICES MULTIPLES

Parmi les exemples de procédures liées à la saisie de données et à leur maintenance pouvant bénéficier d’une automatisation figurent :

• L’extraction des données
Grâce aux workflows et aux services Web, les données requises par un éditeur peuvent être automatiquement identifiées, extraites de la base de données et transmises à l’éditeur. Les travaux peuvent être ciblés et spécifiques, de sorte que la quantité nécessaire et suffisante d’informations est rendue disponible, plutôt que de transmettre des données génériques comprenant des jeux de données complets dont la plupart des informations ne sont pas utiles.

• L’édition des données
Par l’utilisation de règles automatisées relatives à la topologie et à la qualité de données, les informations éditées sur le terrain ou en interne peuvent être capturées en garantissant leurs précision et adéquation au moment de la saisie, plutôt que d’être validées une fois l’édition terminée ou de ne pas l’être, avec dans ce cas le risque de diminuer la qualité des données.

• La transmission des données
Avec les workflows, les services Web et les mises à jour automatisées réalisées uniquement sur les changements effectués, seules les données modifiées sont transmises automatiquement à la base de données. Cela évite de devoir systématiquement transmettre la totalité des données et permet de gagner du temps.

• La gestion de la qualité des données et des transactions
Grâce au service de transactions longues, la base de données « product-ready » peut être protégée, de façon à garantir que seuls les changements de données certifiés sont consolidés dans la base de production, évitant de la sorte de polluer la base avec des informations non vérifiées ou de mauvaise qualité.

• La génération de produits
Par l’utilisation de traitements automatisés basés sur des règles, les données centralisées dans la base de données peuvent être utilisées pour fournir automatiquement aux utilisateurs des produits dérivés et modifiés, plutôt que de devoir attendre l’exécution de processus manuels pour obtenir des jeux de produits nouveaux ou mis à jour.

L’automatisation de ces tâches signifie que les données géospatiales peuvent être facilement gérées et maintenues tout en tenant compte des taux élevés de changements. Elle permet aux organisations beaucoup d’agilité et de rapidité dans la génération de nouveaux produits, mais aussi une grande adaptabilité à l’évolution des besoins.

Par ailleurs, elle fournit aussi un moyen fiable de gérer les données suivant des normes strictes, et permet de délivrer aux utilisateurs des données à jour et précises.