Datenbanken und Informationssysteme

News

Alle News

Das Forschungspapier "Bridging the Gap: Complex Event Processing on Stream Processing Engines" wurde zur Veröffentlichung im EDBT 2024 angenommen. 

Wir gratulieren den Autoren zur Annahme ihres Forschungspapiers "Bridging the Gap: Complex Event Processing on Stream Processing Engines" zur Veröffentlichung im EDBT 2024.

Titel:
Bridging the Gap: Complex Event Processing on Stream Processing Engines

Autoren:
Ariane Ziehn, Philipp M. Grulich, Steffen Zeuch, Volker Markl

Zusammenfassung:
Die analytische Datenstromverarbeitung (ASP) und die komplexe Ereignisverarbeitung (CEP) sind Datenverarbeitungsparadigmen, welche Wissen aus unbegrenzten Datenströmen extrahieren. 
ASP Lösungen bietet zahlreiche skalierbare Cloud Lösungen für die Verarbeitung riesiger Datenmengen in verteilten Systemen. Im Gegensatz dazu sind CEP Lösungen für den Einsatz auf einem einzelnen Computer konzipiert und daher weniger  zur Verarbeitung großer Datenmengen geeignet. Um diese Einschränkung zu adressieren, versuchen hybride Lösungsansätze CEP Funktionalitäten in ASP Systemen bereitzustellen und deren Datenerfassungs- und -verteilungsfunktionen zu nutzen. Diese Ansätze weisen jedoch die gesamte Arbeitslast einer CEP Anfrage einem einzigen unären Operator zu, welcher zum Engpass der gesamten Ausführungspipeline wird. Darüber hinaus verhindert dieser komplexe Operator, dass  hocheffiziente Optimierungen in ASP-Systemen für CEP Anfragen verfügbar sind.
In diesem Artikel stellen wir ein neuartiges Operator Mapping vor, welches die Nachteile dieser hybriden Lösungsansätze überwindet. Insbesondere überbrücken wir die Kluft zwischen CEP und ASP, indem wir CEP auf ASP Operatoren abbilden und somit die Zerlegung der Arbeitslast einer CEP Anfrage in mehrere Operatoren erlauben. Dies ermöglicht, dass CEP Anfragen von der Skalierbarkeit und Effizienz verteilter ASP Systeme profitieren können und umgeht somit die Einschränkungen existierender hybrider Lösungen. Unsere Ergebnisse zeigen, dass unser Operator Mapping den Datendurchsatz von aktuellen Lösungsansätzen um das bis zu 150-fache übertreffen und Arbeitslasten ermöglichen, die diese hybriden CEP Lösungen nicht bewältigen können. Damit unterstützt unser Mapping eine breite Palette von CEP Funktionalitäten in ASP Systemen und schaltet die volle Unterstützung beider Paradigmen in einem hybriden System frei.