EARTHSERVER: les mégadonnées à portée de main... enfin une réalité
Les sciences de la Terre, comme la géologie, l'océanographie et l'astronomie, génèrent d'énormes volumes de données informatiques. Sans les outils adaptés, les scientifiques sont souvent désemparés devant ces masses de données qu'ils peinent à utiliser et finissent parfois dans des archives. La vision du projet EARTHSERVER est d'offrir aux chercheurs «des mégadonnées sur la planète à portée de main» de sorte qu'ils puissent accéder à et manipuler d'énormes ensembles de données en quelques clics de souris. «Le projet est le résultat de facteurs contradictoires», déclare le coordinateur du projet Peter Baumann, professeur de science informatique à l'université Jacobs de Brême, en Allemagne. «Du point de vue de la demande, de nouveaux concepts étaient nécessaires pour traiter les grands volumes de données. Du point de vue de l'offre, nous avions une technologie de cube de données parfaitement adéquat à ce domaine». Un cube de données est un structure_de_donn%C3%A9es (tableau) tridimensionnel (ou plus) de valeurs, servant en général à décrire une série chronologique d'images. Les cubes de données pour faciliter l'accès et la visualisation des données EARTHSERVER a construit des cubes de données avancés et des portails web personnalisés afin de permettre aux chercheurs d'extraire et de visualiser des données scientifiques sur la planète sous forme de cubes 3D, cartes 2D ou diagrammes 1D. Le British Geological Survey, par exemple, a utilisé la technologie EARTHSERVER pour effectuer une analyse 3D détaillée des différentes couches terrestres. «Pour l'utilisateur, les cubes de données cachent la complexité inutile des données», explique le professeur Baumann. «En tant qu'utilisateur, je ne veux pas voir un million de fichiers: je veux voir seulement quelques cubes de données». Dans le domaine des sciences de la Terre, les données massives sont représentées par des données statistiques, de simulation, de capteur et des images, bien souvent avec une dimension temporelle. En général, les données forment une trame régulière ou irrégulière avec des coordonnées espace/temps. EARTHSERVER a permis d'accéder à ces tableaux en les présentant sous la forme de cubes de données. Outre leur simplicité d'utilisation, les cubes de données ont également permis d'intégrer des données provenant de différentes disciplines, offrant aux scientifiques la possibilité de combiner des données de mesure et des données générées à partir de simulations. S'appuyer sur les technologies existantes Pour un traitement efficace des métadonnées de la Terre, EARTHSERVER devait élargir les technologies et normes en place. Le langage de requête SQL qui sert à interroger une base de données, par exemple, est surtout axé sur la manipulation des données alphanumériques. Afin d'utiliser les cubes de données, le projet s'est appuyé sur rasdaman, un nouveau type de système de gestion de bases de données spécialisé en données multidimensionnelles maillées, appelées rasters ou tableaux. Rasdaman permet d'extraire rapidement et aisément des données de séries de métadonnées de la Terre, quelle que soit leur taille. «Nous avons essentiellement associé le langage de bases de données SQL au traitement d'image», déclare le professeur Baumann. «Ceci fait maintenant partie de la norme SQL ISO». Par ailleurs, le projet a fortement influencé les normes Big Earth Data de l'Open Geospatial Consortium et de l'infrastructure de données spatiales européenne, INSPIRE. Les chercheurs du projet EARTHSERVER ont également développé une technologie de «parallélisation sémantique» qui subdivise une simple requête de base de données en plusieurs sous-requêtes. Celles-ci sont envoyées vers d'autres serveurs de bases de données en vue de traitement. Cette méthode permet à EARTHSERVER de répartir une simple requête entrante en plus de 1 000 nœuds Cloud et de répondre en moins d'une seconde à des requêtes prenant en charge des centaines de téraoctets de données. Plus imposant et plus perfectionné: EARTHSERVER-2 Le projet EARTHSERVER-1, qui a démarré en septembre 2011 et a duré 36 mois, a bénéficié d'un financement de 4 millions d'euros de l'UE et impliqué des partenaires multinationaux. S'appuyant sur le succès de la première phase du projet, EARTHSERVER a réussi à obtenir un financement de la Commission européenne pour soutenir sa phase suivante, EARTHSERVER-2. Cette dernière a été lancée en mai 2015 et se concentrera sur le paradigme des cubes de données et la gestion de volumes de données encore plus élevés. «L'objectif est de mettre l'accent sur la fusion de données provenant de différents domaines et d'arriver à résoudre en moins d'une seconde une requête sur un pétaoctet de données», déclare le professeur Baumann. «Cela signifierait que l'utilisateur pourrait voir les données sur l'écran et les manipuler de façon interactive». EARTHSERVER-2 s'oriente donc vers la prochaine étape, la visualisation en 4D en source libre. Lien vers le site web du projet Liens vers les vidéos connexes
Mots‑clés
Big Earth Data, cloud, rasdaman, bases de données, SQL, mégadonnées, UE, CORDIS, science de la cryosphère, recherche aéroportée, sciences atmosphériques, géologie, océanographie, science planétaire