Datenbanken und Informationssysteme

News

Alle News

Das Forschungspapier ,,Efficient Placement of Decomposable Aggregation Functions...'' wurde zur Veröffentlichung auf der VLDB 2024 angenommen.

Wir gratulieren den Autoren zur Annahme ihres Forschungspapiers "Efficient Placement of Decomposable Aggregation Functions for Stream Processing over Large Geo-Distributed Topologies" zur Veröffentlichung im VLDB 2024.

Titel:
Efficient Placement of Decomposable Aggregation Functions for Stream Processing over Large Geo-Distributed Topologies

Authoren:
Xenofon Chatziliadis, Eleni Tzirita Zacharatou, Alphan Eracar, Steffen Zeuch, Volker Markl.

Zusammenfassung:
Ein aktueller Trend in der Datenstromverarbeitung besteht darin, die Berechnung einer dekomponierbaren Aggregationsfunktion (DAF) von Cloud-Knoten auf geodistributierte Fog-/Edge-Geräte auszulagern, um die Latenzzeit zu verringern und die Energieeffizienz zu verbessern. Der Einsatz von DAFs auf Low-End-Geräten ist jedoch aufgrund ihrer Unbeständigkeit und begrenzten Ressourcen eine Herausforderung. Darüber hinaus ist es in geo-distributierten Fog/Edge-Umgebungen nur eingeschränkt möglich, neue Betreiberinstanzen nach Bedarf zu erstellen und Betreiber ubiquitär zu replizieren, was eine Herausforderung für die Erreichung eines Lastausgleichs ohne Überlastung der Geräte darstellt. Bestehende Arbeiten konzentrieren sich vorwiegend auf Cloud-Umgebungen und vernachlässigen die Platzierung von DAF-Betreibern in ressourcenbeschränkten und unzuverlässigen geo-distribuierten Umgebungen. In diesem Beitrag wird NEMO vorgestellt, ein ressourcenbewusster Optimierungsansatz, der den Replikationsfaktor und die Platzierung von DAF-Betreibern in ressourcenbeschränkten geo-distributiven Topologien bestimmt. Durch die Nutzung euklidischer Einbettungen von Netzwerktopologien und einer Reihe von Heuristiken skaliert NEMO auf Millionen von Knoten und bewältigt topologische Veränderungen durch adaptive Ersetzungs- und Replikationsentscheidungen. Im Vergleich zu bestehenden Lösungen erreicht NEMO eine bis zu 6-fach niedrigere Latenzzeit und eine bis zu 15-fache Reduzierung der Kommunikationskosten, während gleichzeitig eine Überlastung der Knoten verhindert wird. Darüber hinaus optimiert NEMO die Platzierung in konstanter Zeit, unabhängig von der Größe der Topologie. Damit schafft es die Grundlage für die effiziente Verarbeitung kontinuierlicher Datenströme in großen, heterogenen und geografisch verteilten Topologien.