Kombination operativer und analytischer Datenbanken in einer einzigen Plattform

Das EU-finanzierte Projekt LEANBIGDATA entwickelte eine Echtzeit-Datenplattform, um Kosten für Datenanalysen zu halbieren und Operationen in Echtzeit durchzuführen.

Digitale Wirtschaft

Das Projekt unter spanischer Leitung wird Unternehmen die Möglichkeit geben, große Datenmengen besser zu verarbeiten und dabei den Ressourcenaufwand deutlich zu verringern. LEANBIGDATA entwickelte eine extrem effiziente und skalierbare Plattform zur Verwaltung großer Datenmengen. Große Unternehmen und Organisationen müssen immer größere Datenmengen analysieren, allerdings sind die Techniken häufig ineffizient und ressourcenintensiv. Organisationen verwenden in der Regel zwei Datenbanken, eine für Betriebsdaten und eine für das Data Warehousing. Um die Daten zu analysieren, werden sie von der ersten in die zweite Datenbank kopiert, und da Daten schnell veralten, muss dies regelmäßig – normalerweise täglich - erfolgen. Dieser so genannte ETL-Prozess (Extraktion, Transformation, Laden) ist aber aufwändig und teuer. "75 bis 80 % der Kosten von Datenanalysen werden auf diese Weise generiert", sagt Ricardo Jiménez, technischer Koordinator von LEANBIGDATA, CEO und Mitbegründer von LeanXcale, einem Spin-off-Unternehmen, das die wichtigsten Ergebnisse des Projekts vermarkten soll. Zudem tendiert man bei großen Datenanalysen eher zum Batch-Modus als zur Echtzeit-Verarbeitung, so dass Nutzer nicht zügig auf Ereignisse reagieren können. Zwei zum Preis von einem Das LEANBIGDATA-Team entwarf daher eine Architektur, die sowohl operative als auch analytische Fähigkeiten vereint und damit die Effizienz deutlich erhöht. Das Transaktionsmanagementsystem kann linear für sehr große Datenmengen skaliert werden, sodass der operative Teil der Datenbank die analytische Last bewältigen kann. Entwickelt wurden drei neue Managementsysteme. Das erste ist eine Schlüssel-Werte-Datenbank - eine NoSQL-Technologie zur Speicherung von Daten aus kombinierten Datenbanken. Mit dem zweiten, einem komplexen Ereignisverarbeitungssystem, können Nutzer Daten aus Echtzeit-Ereignissen streamen. Das dritte System ist eine verteilte SQL-Suchmaschine, die eine einzelne Abfrage mit mehreren Computern lösen kann. "Auf diese Weise erfolgt die Antwort innerhalb der Online-Antwortzeit - also der Zeitspanne, die ein regulärer Online-Nutzer bereit ist, zu warten", sagt Dr. Jiménez. Das Team hat die Technologie in Fallstudien getestet, etwa bei Echtzeit-Analysen von Tweets, die Aufschluss über das Wählerverhalten in US-amerikanischen und spanischen Wahlen geben. Dies offenbarte zum Einen, wie Emotionen entstehen, Analysten sehen aber auch, was dahinter steckt, und zwar, indem sie die am häufigsten verwendeten Wörter analysieren. "Nach dem E-Mail-Skandal konnten wir mit dem System sehen, in wie vielen Tweets die Reputation Clintons zur Sprache kam", sagt Dr. Jiménez. "Wir wollten keine Ergebnisse prognostizieren, aber nützliche Informationen für Analysten generieren." Eine zweite Studie in Italien erstellte anhand von Social Media-Fußabdrücken Kundenprofile und unterstützte Banken bei der Erkennung von Identitätsdiebstahl. Geschäftsanalysen in Echtzeit Das LEANBIGDATA-Team ist überzeugt, dass die einheitliche Plattform den unterschiedlichen Datenbedürfnissen großer Organisationen gerecht werden kann. So könnten die Kosten für Datenanalysen halbiert werden, da keine ETL mehr eingerichtet und gepflegt werden müssen. "Unternehmen können Geschäftsanalysen in Echtzeit durchführen und sind damit viel flexibler in ihren Reaktionen", sagt Dr. Jiménez. LeanXcale, gegründet von der federführenden Einrichtung LEANBIGDATA der Technischen Universität Madrid, arbeitet auf die kommerzielle Markteinführung im Herbst 2017 hin. So wurden bereits Konzepte mit Banken, Telekommunikationsunternehmen, großen Einzelhändlern und Reiseanbietern erstellt.

Schlüsselbegriffe

LEANBIGDATA, SQL-Datenbanken, Verarbeitung großer Datenmengen, Big Data, Schlüssel-Werte-Datenbank, komplexe Ereignisprozesse, operative Datenbank, Data Warehouse, Echtzeit-Analyse

Ultra-Scalable and Ultra-Efficient Integrated and Visual Big Data Analytics

Kombination operativer und analytischer Datenbanken in einer einzigen Plattform

Schlüsselbegriffe

Entdecken Sie Artikel in demselben Anwendungsbereich

Diese Seite teilen

Herunterladen