Große IASI-Datenverarbeitung (LASSIE)

Projekt-ID: LASSIE

Einleitung

Die MUSICA IASI-Verarbeitungskette wurde in den letzten zehn Jahren im Rahmen mehrerer Drittmittelprojekte entwickelt. Hier schlagen wir vor, diese Kette wesentlich effizienter zu gestalten, um Daten zeitnah und zuverlässig zu verarbeiten und in großem Umfang weiterzuverarbeiten. Die verbesserte Kette wird eine dauerhafte, zeitnahe und zuverlässige Versorgung mit hochkonsistenten MUSICA IASI-Daten gewährleisten. Wir erwarten, dass das Projekt einen wesentlichen Einfluss auf die Erforschung des atmosphärischen Wasser- und Treibhausgaskreislaufs haben wird, zwei sehr entscheidende Bereiche der Klimaforschung (z.B. https://www.wcrp-climate.org/grand-challenges/grand-challenges-overview). Darüber hinaus wird das Projekt als Testumgebung für die Verarbeitung der Spektren der kommenden Metop-SG-Mission dienen, die noch größere rechnerische Herausforderungen mit sich bringen wird (größere Anzahl von Beobachtungen und höhere Auflösung der gemessenen Spektren). Mit Hilfe des Reprocessing-Modus der effizienten Kette werden wir in der Lage sein, die Abhängigkeit der Rechenleistung von verschiedenen Elementen (Code-Effizienz, Prozessorarchitekturen, Nutzung von CPUs oder GPUs, Workflow-Management) zu dokumentieren. Dies kann als Leitfaden für andere Gemeinschaften dienen, in denen die Verarbeitung großer Datenmengen wichtig ist und kontinuierliche Leistungsverbesserungen von entscheidender Bedeutung sind.

© Matthias Schneider

Abbildung: Flussdiagramm der MUSICA IASI-Verarbeitungskette (für Details siehe Schneider et al., 2021a). Blaue Symbole markieren die sechs verschiedenen Verarbeitungskomponenten: (1) Preprocessing Stage, (2) PROFFIT-nadir Retrieval, (3) Output Generation, (4) A Posteriori Data Re-usage, (5) Regridding, und (6) Retrieval Simulator. Die Komponenten (5) und (6) stehen nicht in direktem Zusammenhang mit den Ausgabeprodukten (grüne Symbole) und sind für dieses Projekt nicht relevant.

Projektbeschreibung

Mit satellitengestützten Spektrometern lässt sich die Zusammensetzung der Atmosphäre weltweit beobachten. Heutzutage sind sogar operationelle Wettersatelliten mit hochwertigen Spektrometern ausgestattet. Ein herausragendes Beispiel ist das Instrument IASI (Infrared Atmospheric Sounding Interferometer) an Bord der derzeit drei EUMETSAT (European Organisation for the Exploitation of Meteorological Satellites)-Satelliten Metop-A, -B, und -C. Im Rahmen des Projekts MUSICA (Multi-platform remote sensing of Isotopologues for investigating the Cycle of Atmospheric water, 2011-2016) des Europäischen Forschungsrats haben wir einen Algorithmus entwickelt, um die atmosphärische Zusammensetzung von H2O, HDO/H2O-Verhältnis, CH4, N2O und HNO3 aus IASI-Spektren zu ermitteln, die unter wolkenfreien Bedingungen gemessen wurden. Der Algorithmus wurde während der MUSICA-Folgeprojekte kontinuierlich verbessert (Schneider et al., 2021a). Die IASI-Datenprodukte von MUSICA sind von ausgezeichneter Qualität (z. B. Wiegele et al., 2014; Borger et al., 2018; García et al., 2018; Diekmann et al., 2021a; Schneider et al., 2021b). Daher sind sie für fortgeschrittene internationale Studien zum Wasser- und Treibhausgaszyklus von entscheidender Bedeutung (z. B. Dahinden et al., 2021; Diekmann et al., 2021b; Toride et al., 2021; Tu et al., 2021), und die wissenschaftliche Gemeinschaft ist sehr an der groß angelegten Generierung von MUSIC-IASI-Daten interessiert (siehe Schreiben im Anhang).

Die Metop/IASI-Mission kombiniert eine hohe spektrale Auflösung und geringes Messrauschen mit einer hohen räumlichen und zeitlichen Abdeckung (12 km Bodenpixel, global, zweimal täglich). Die IASI-Messungen begannen im Jahr 2007, und im Rahmen einer bereits genehmigten Nachfolgemission (Metop-SG/IASI-NG) sind Beobachtungen bis in die 2040er Jahre garantiert. Diese Bedingungen bieten ein noch nie dagewesenes Potenzial für die Klima- und Wetterforschung; allerdings stellt die gesamte Verarbeitung der IASI-Beobachtungen eine große rechnerische Herausforderung dar. Erstens ist die Anzahl der Beobachtungen, die einzeln verarbeitet werden müssen, sehr hoch (die derzeit drei IASI-Instrumente in der Umlaufbahn liefern alle 24 Stunden etwa 3,8 Millionen Spektren). Zweitens beinhaltet jede hochaufgelöste Spektrenverarbeitung große Matrizen, die mehrmals invertiert werden müssen (aufgrund von Nichtlinearitäten der Strahlungstransportberechnungen sind mehrere Iterationen erforderlich, z. B. Rodgers 2000).

Ein Flussdiagramm der MUSICA IASI-Verarbeitungskette ist in Abb. 1 dargestellt. Die Kette wurde bereits auf ForHLR I/II und HoreKa (HPC-Projekte GLOMIR, GLOMIR+ und die Erweiterung von GLOMIR+) angewandt, ist jedoch noch nicht mit den Anforderungen der wissenschaftlichen Gemeinschaft an eine dauerhafte und quasi-operationelle globale Verarbeitung und die Möglichkeit der Wiederverarbeitung von Daten in großem Maßstab vereinbar. In diesem Projekt werden wir dieses Defizit beheben, indem wir die Effizienz der MUSICA IASI-Verarbeitung auf HPC-Systemen der neuesten Generation deutlich verbessern und so die wissenschaftliche Gemeinschaft angemessen unterstützen.