Der Abstract "Wayang AgoraEO Plugin: The Framework for Scalable EO Workflows" von Rodrigo Pardo Meza, Jorge-Arnulfo Quiané-Ruiz, Begüm Demir, und Volker Markl wurde für die Sitzung ESSI1.9 – "GeoML-Ops: Frameworks & methods for automated geospatial machine-learning at scale on hybrid systems" auf der EGU General Assembly 2023 angenommen worden.
https://egu23.eu/
Titel: Wayang AgoraEO Plugin: The Framework for Scalable EO Workflows
Autoren: Rodrigo Pardo Meza, Jorge-Arnulfo Quiané-Ruiz, Begüm Demir, und Volker Markl.
Zusammenfassung: Derzeit bieten Erdbeobachtungsplattformen (EO) Datensätze, Algorithmen und Verarbeitungs
Fähigkeiten. Dennoch bietet jede Plattform ihren eigenen exklusiven Lebensraum für die Entdeckung, Verarbeitung
und EO-Elemente auszuführen. Wir haben kürzlich AgoraEO [2] vorgeschlagen, ein dezentrales, offenes und einheitliches
Ökosystem, in dem Benutzer EO-Elemente finden, plattformübergreifende EO-Pipelines zusammenstellen und
effizient ausführen können. Mit dem Ziel, plattformübergreifende föderierte Analysen zu unterstützen, setzt Agora EO
auf Apache Wayang [1] als Hauptplattform für die analytische Verarbeitung zurück. Innerhalb von AgoraEO werden wir
Apache Wayang mit EO-Funktionen zu entwickeln und zu aktivieren und die Interna von BigEarthNet
[2] für die Erdbeobachtungsgemeinschaft zugänglich machen. Hier stellen wir unser Wayang AgoraEO Plugin vor, das dem
dem BigEarthNet-Workflow folgt, um alle seine Vorteile in einer skalierbaren und parametrisierbaren (wiederverwendbaren)
Weise zu erreichen. Das Wayang AgoraEO-Plugin ermöglicht es Benutzern, EO-Workflows zu erstellen, die jede EO-Plattform nutzen
auf einfache Weise zu erstellen: mit Hilfe von Operatoren und einer intuitiven API, die dem Verhalten der EO
Plattformen folgt, die es nutzt. Die Ausführung von Teilaufgaben wird kontrolliert, aber isoliert in jedem erforderlichen Datenverarbeitungssystem
Datenverarbeitungssystem in Verbindung mit dem Rest der Plattform. Außerdem kann man Datensätze
aus mehreren unabhängigen Quellen abrufen. Apache Wayang arbeitet als deklaratives Framework
für ML: Die Benutzer spezifizieren ML-Aufgaben auf einer hohen Ebene und verwenden die am besten geeignete API, um einen Workflow zu schreiben
(Java-Scala, Python, und Postgres werden unterstützt). Wayang modelliert dann eine ML-Aufgabe als
mathematisches Optimierungsproblem und verwendet seinen auf Gradientenabstieg basierenden Optimierer, um die
Algorithmen und Systemkonfigurationen aufzurufen, um eine bestimmte ML-Aufgabe auszuführen. Daher
die Benutzerspezifikation von ML-Aufgaben von deren Ausführung entkoppelt. Wir glauben, dass das Wayang AgoraEO
Plugin kann die mühsame Aufgabe der Implementierung und des Einsatzes von EO-Workflows
innerhalb heutiger EO-Plattformen: Es macht die Wiederverwendung und gemeinsame Nutzung von Ressourcen einfach. Außerdem ist es eine
leicht erweiterbare Lösung, um neue Operatoren einzubeziehen, die neue EO-Plattformen und Aufgaben einbeziehen können.
Daher kann diese Lösung einen großen Sprung in der Demokratisierung von EO-Technologien darstellen,
Sie trägt zu ihrer Integration, Skalierbarkeit und zum Zugang zu Hochleistungsrechnern bei.
Referenzen:
[1] S. Kruse, Z. Kaoudi, J. -A. Quiane-Ruiz, S. Chawla, F. Naumann and B. Contreras-Rojas,
"Optimizing Cross-Platform Data Movement," IEEE 35th International Conference on Data
Engineering, 2019, pp. 1642-1645.
[2] A. Wall, B. Deiseroth, E. Tzirita Zacharatou, J-A, Quiané-Ruiz, B. Demir, V. Markl, "AGORA-EO: A
Unified Ecosystem for Earth Observation - A Vision For Boosting EO Data Literacy," Big Data from
Space Conference, 2021.
