Datenbanken und Informationssysteme

News

Alle News

„The Art of Losing to Win: Using Lossy Image Compression to Improve Data Loading in Deep Learning Pipelines" wird auf der ICDE 2023 veröffentlicht.

Das Forschungspapier „The Art of Losing to Win: Using Lossy Image Compression to Improve Data Loading in Deep Learning Pipelines" von Lennart Behme, Saravanan Thirumuruganathan, Alireza Rezaei Mahdiraji, Jorge-Arnulfo Quiané-Ruiz und Volker Markl, ist zur Veröffentlichung auf der ICDE2023 angenommen worden.

Titel: The Art of Losing to Win: Using Lossy Image Compression to Improve Data Loading in Deep Learning Pipelines

Autoren: Lennart Behme, Saravanan Thirumuruganathan, Alireza Rezaei Mahdiraji, Jorge-Arnulfo Quiané-Ruiz, Volker Markl

Zusammenfassung:
Das Training von Deep-Learning-Modellen (DL) nimmt oft viel Zeit in Anspruch und wird daher in der Regel auf teuren GPUs durchgeführt, um den Prozess zu beschleunigen. Allerdings ist das Laden von Daten als einer der wichtigsten Performanceengpässe beim DL identifiziert worden, was zu einer unzureichenden Auslastung der GPUs führt. Mit Blick auf die Zukunft wird die Kombination aus größeren Datensätzen und schnelleren GPUs das Problem noch verschärfen. Die Datenmanagement-Gemeinschaft hat daher begonnen, sich mit Optimierungsverfahren für das Laden von Daten, einschließlich verlustbehafteter Bildkomprimierung auseinanderzusetzen. Die verlustbehaftete Bildkomprimierung ist ein konzeptionell vielversprechender Ansatz zur Abschwächung von Datenladeengpässen im DL. Es gibt allerdings nur begrenzte Erkenntnisse über ihre Wirksamkeit in Bezug auf die Auswirkungen auf den Modelldurchsatz und die Vorhersagegenauigkeit. In diesem Beitrag präsentieren wir eine umfassende experimentelle Analyse der verlustbehafteten Bildkompression als Mittel zur Verbesserung der Leistung von Deep Learning-Pipelines. Wir stellen fest, dass verlustbehaftete Kompression sowohl den Durchsatz als auch die Genauigkeit von DL-Pipelines verbessern kann, wenn Ressourcen wie die Trainingszeit oder Speicherkapazität begrenzt sind. Außerdem sind die Wahl der Kompressionsqualität und des -codecs wichtige Hyperparameter beim Training von tiefen neuronalen Netzen.