Wir gratulieren den Autoren, bestehend aus aktuellen und ehemaligen Mitgliedern des Fachgebiets Datenbanksysteme und Informationsmanagement (DIMA) der TU Berlin, zur Annahme ihres Forschungspapiers "Apache Wayang: A Unified Data Analytics Framework" zur Veröffentlichung im SIGMOD Record 2023.
Titel:
Apache Wayang: A Unified Data Analytics Framework
Autoren:
Kaustubh Beedkar, Bertty Contreras-Rojas, Haralampos Gavriilidis, Zoi Kaoudi, Volker Markl, Rodrigo Pardo-Meza, Jorge-Arnulfo Quiané-Ruiz
Zusammenfassung:
Die große Vielfalt an spezialisierten Datenverarbeitungsplattformen und die zunehmende Komplexität der Datenanalyseaufgaben haben dazu geführt, dass Datenanalysen in einem einzigen Framework vereinheitlicht werden müssen. Ein solches Framework sollte die Nutzer von der Last befreien, (i) die richtige(n) Plattform(en) auszuwählen und (ii) Glue-Code zwischen den verschiedenen Teilen ihrer Pipelines zu schreiben. Apache Wayang (Incubating) ist das einzige Open-Source-Framework, das eine systematische Lösung für einheitliche Datenanalysen durch Integration mehrerer heterogener Datenverarbeitungsplattformen bietet. Erreicht wird dies durch die Entkopplung der Anwendungen von den zugrunde liegenden Plattformen und die Bereitstellung eines Optimierers, so dass die Benutzer nicht angeben müssen, auf welchen Plattformen ihre Pipeline laufen soll. Wayang bietet eine einheitliche Sicht und ein einheitliches Verarbeitungsmodell und integriert so das Sammelsurium heterogener Plattformen in ein einziges Framework mit verbesserter Benutzerfreundlichkeit ohne Einbußen bei der Leistung und den Betriebskosten. In diesem Paper stellen wir die Architektur von Wayang vor, beschreiben die Hauptkomponenten und geben einen Ausblick auf zukünftige Entwicklungen.
