Bessere Technologien zur Verarbeitung großer Datenmengen
Wussten Sie, dass ein normales ISP-Netzwerk täglich Terabytes an Daten übermittelt, dass weltweit inzwischen fast zwei Milliarden Menschen Daten austauschen und die Zahl der internetfähigen Geräte bis 2020 die Grenze von 50 Milliarden überschritten haben wird? Klar ist auf jeden Fall, dass sich die jetzt schon enormen Datenmengen noch vervielfachen werden. Damit steht die Aufgabe an, den Netzwerkverkehr genau nach Art der Anwendung zu klassifizieren und zu kategorisieren, was sich das EU-finanzierte Projekt ONTIC vorgenommen hat. Ziel war, neue Methoden zur Analyse und Charakterisierung der großen Datenmengen zu entwickeln, die moderne Computernetzwerke inzwischen bewältigen müssen. "Die genaue Identifizierung und Kategorisierung des Netzwerkverkehrs nach Anwendungstyp ist ein wichtiges Element vieler Netzwerkmanagement- und Entwicklungs-Tasks im Zusammenhang mit QoS (Quality of Service), Kapazitätsplanung und Erkennung von Netzwerkangriffen", sagt Alberto Mozo, Forschungsleiter bei ONTIC. Analysieren, implementieren und testen Laut den Forschern von ONTIC kommt es für die rechtzeitige Diagnose von Netzwerkstörungen und Datenstau auf proaktives und dynamisches QoS-Management an. Voraussetzung hierfür ist ein genau skalierbarer Mechanismus für die Entwicklung von Online-Prüfsystemen, die Veränderungen in der Struktur des Netzwerkverkehrs aufzeigen. Ein Hindernis ist hier noch, dass aktuelle Online-Methoden weder ausreichend skalierbar noch genau genug für Netzwerkanalysen sind. Daher entwickelte ONTIC eine neue Generation skalierbarer Mechanismen und Techniken für die Online-Analyse des Netzwerkverkehrs. "Unsere Maßgabe war, eine neuen Architektur von Mechanismen und Techniken zu analysieren, zu implementieren und zu testen, um Datenströme des Netzwerkverkehrs zu charakterisieren und Störungen in Echtzeit zu erkennen, wenn große Paketmengen pro Sekunde übertragen werden", so Mozo. "Die von uns entwickelten Datenanalysen können wiederkehrende Regelmäßigkeiten bei deskriptiven Modellen erkennen." Das Projekt sollte zudem eine Reihe neuer Regeln für das Offline-Data-Mining und Techniken für die Charakterisierung des Netzwerkverkehrs entwickeln und einen neuen Ansatz zur Analyse großer Datenmengen wie auch Paradigmen für verteiltes Rechnen in der Cloud auf große Datensätzen anwenden. Gleichzeitig integrierten die Forscher On- und Offline-Mechanismen und -Techniken in einen autonom überwachten oder nicht überwachten Netzwerkverkehr. Schwerpunkt auf skalierbaren Algorithmen Statt das Rad neu zu erfinden, nutzte das Projekt die bereits bestehende Lambda-Architektur für große Datenmengen. "Im Wesentlichen stand für uns die Entwicklung massiv skalierbarer Algorithmen zur Klassifizierung des Netzwerkverkehrs im Vordergrund", sagt Mozo. "Insgesamt lag damit der Fokus nicht auf der Architektur, sondern auf der Entwicklung neuer Algorithmen und deren Anwendung auf Prototypen für Fehlererkennung sowie proaktiver Vermeidung von Datenstau und dynamischem QoS/QoE-Management." Da das ONTIC-Projekt Methoden zur sicheren Datenspeicherung für Technologieunternehmen entwickeln sollte, wurde Wert auf Prototypen und eine genaue wissenschaftliche Berichterstattung gelegt, um die Ergebnisse zu verbreiten (statt auf Produkte oder Dienstleistungen). Eines der wichtigsten Ergebnisse war, dass der Code für alle ONTIC-Algorithmen nun über ein GitLab-Repository mit Open-Source-Lizenz frei zugänglich ist. Zum Projektende im Januar 2017 stand ein öffentlich zugänglicher .5 Petabyte-Datensatz mit anonymisierten Paket-Headern zur Verfügung, die auch andere Forscher nutzen können. Weitere Ergebnisse waren drei neue Prototypen, um die Anwendbarkeit parallelen maschinellen Lernens in der Telekommunikation zu demonstrieren, sowie drei Neuerungen zu diesen Prototypen und eine Patentanmeldung. Schließlich wollen verschiedene führende Technologieunternehmen wie Ericsson, Satec und CNRS die Vermarktung mehrerer ONTIC-Produkte unterstützen.
Schlüsselbegriffe
ONTIC, ICT, Computing, große Datenmengen, Telekommunikation
