EARTHSERVER: Direkter Zugriff auf Big Earth Data wird Realität
Die Geowissenschaften, wie Geologie, Ozeanografie und Astronomie, erzeugen gewaltige Datenmengen. Doch ohne die geeigneten Tools ertrinken die Wissenschaftler entweder in diesem Datenmeer, oder die Informationen werden größtenteils unausgewertet in Archiven abgelegt. Durch das Projekt EARTHSERVER sollen Forscher "direkten Zugriff auf Big Earth Data" erhalten, sodass sie mit wenigen Mausklicks auf riesige Datensätze zugreifen und diese bearbeiten können. "Das Projekt entstand aufgrund von zwei sich ergänzenden Faktoren", sagt Projektkoordinator Peter Baumann, Professor für Informatik an der Jacobs University Bremen. "Erstens bestand Bedarf an neuen Verwaltungskonzepten für die Datenflut, die uns überrollt, und zweitens war eine Datenwürfel-Technologie verfügbar, die sich gut zu diesem Zweck eignet." Ein Datenwürfel ist ein Array aus Werten mit drei (oder mehr) Dimensionen, das häufig zur Beschreibung einer Zeitreihe von Bilddaten verwendet wird. Informationen mit Datenwürfeln leichter abrufen und visualisieren In EARTHSERVER wurden weiterentwickelte Datenwürfel und spezielle Internetportale erstellt, mit denen Forscher geowissenschaftliche Daten als dreidimensionale Würfel, zweidimensionale Karten und eindimensionale Diagramme extrahieren und visualisieren können. Der British Geological Survey nutzte die EARTHSERVER-Technologie etwa dazu, um dreidimensional durch die verschiedenen Erdschichten zu bohren. "Mit Datenwürfeln wird die überwältigende Komplexität der Daten für den Benutzer verborgen," so Professor Baumann. "Als Benutzer möchte ich nicht eine Million Dateien sehen, sondern nur einige Datenwürfel." Die umfangreichen Daten der Geowissenschaften bestehen aus Daten aus Messungen, Bildern, Simulationen und Statistiken, oft mit einer zeitlichen Dimension. Die Daten bilden normalerweise regelmäßige oder unregelmäßige Gitterwerte mit Raum-Zeit-Koordinaten. EARTHSERVER machte diese Arrays als Datenwürfel verfügbar. Neben einer höheren Benutzerfreundlichkeit ermöglichen diese Datenwürfel auch die Integration von Daten aus verschiedenen Disziplinen, sodass Wissenschaftler Messdaten mit den aus Simulationen gewonnenen Informationen kombinieren könnten. Auf bestehenden Technologien aufbauen Um Big Earth Data effizient zu verwalten, musste EARTHSERVER die bestehenden Technologien und Standards erweitern. Die Datenbanksprache SQL ist beispielsweise eher auf die Verarbeitung alphanumerischer Daten ausgelegt. Um Datenwürfel zu erreichen, baute das Projekt auf rasdaman auf, einer neuen Art von Datenbankverwaltungssystem, das auf multidimensionale gerasterte Daten spezialisiert ist, die als Raster oder Arrays bezeichnet werden. Mit rasdaman können Daten flexibel und schnell aus Big Earth Data-Arrays jeder Größe extrahiert werden. "Im Grunde haben wir die Datenbanksprache SQL mit Bildverarbeitung vereinigt," sagt Professor Baumann. "Dies wird nun Teil der SQL-ISO-Norm." Darüber hinaus beeinflusste das Projekt stark die Big Earth Data-Standards der Organisation Open Geospatial Consortium und von INSPIRE, der Initiative zur Schaffung einer europäischen Geodateninfrastruktur. Die Forscher von EARTHSERVER entwickelten außerdem eine Technologie für "semantische Parallelisierung", die eine einzelne Datenbank-Suchanfrage in mehrere Teilanfragen unterteilt. Diese werden zur Verarbeitung an andere Datenbankserver gesendet. So kann EARTHSERVER eine einzige eingehende Anfrage auf über 1.000 Cloud-Knoten verteilen und Anfragen, bei denen hunderte Terabyte durchsucht werden, in unter einer Sekunde beantworten. Größer und besser: EARTHSERVER-2 Am Projekt EARTHSERVER-1, das über eine 36-monatige Laufzeit ab September 2011 verfügte und mit 4 Millionen Euro von der EU gefördert wurde, waren multinationale Partner beteiligt. Auf dem Erfolg der ersten Projektphase aufbauend bewarb sich EARTHSERVER bei der Europäischen Kommission erfolgreich um Finanzierung der nächsten Phase, EARTHSERVER-2. Diese begann im Mai 2015 und wird einen Schwerpunkt auf das Datenwürfel-Paradigma und die Verwaltung noch größerer Datenmengen legen. "Wir möchten uns auf die Fusion von Daten aus verschiedenen Bereichen konzentrieren und eine Anfrage, die sich auf ein Petabyte Daten bezieht, innerhalb von einer Sekunde auflösen können," sagt Professor Baumann. "Dies würde bedeuten, dass ein Benutzer die Daten auf seinem Bildschirm anzeigen lassen und interaktiv bearbeiten könnte." Die Forscher von EARTHSERVER-2 widmen sich jetzt der nächsten Herausforderung – der vierdimensionalen Open-Source-Visualisierung. Link zur Projektwebsite Link zum zugehörigen Video
Schlüsselbegriffe
Big Earth Data, Cloud, rasdaman, Array-Datenbanken, SQL, Big Data, EU, CORDIS, Kryosphärenwissenschaft, luftgestützte Wissenschaft, Atmosphärenwissenschaft, Geologie, Ozeanografie, Planetenwissenschaft