HPC für "Big Data"-Physik

Projekt-ID: HEP

Einleitung

Viele Bereiche der Grundlagenwissenschaften sehen sich mit einem drastischen Anstieg der Datenmengen konfrontiert und damit auch mit einem entsprechenden Anstieg der Rechenanforderungen für Datenrekonstruktion, Simulation und Datenanalyse. Herkömmliche Infrastrukturen, wie spezialisierte Rechenzentren für einzelne Wissenschaftsbereiche, können diese neuen Anforderungen allein nicht effizient bewältigen. In den letzten Jahren hat eine Reihe erfolgreicher Projekte gezeigt, dass viele dieser Rechenaufgaben auch auf HPC-Systemen effizient ausgeführt werden können. Dies bietet die Möglichkeit, die bestehenden Rechenzentren der großen Wissenschaftsgemeinschaften dynamisch und transparent mit großen HPC-Ressourcen wie dem neuen Supercomputer HoreKa am KIT zu ergänzen. Die praktische Anwendung im großen Maßstab steht jedoch vor Herausforderungen, die sich aus der Bereitstellung bestehender wissenschaftlicher Software-Stacks, einer effizienten mehrstufigen Planung unter Berücksichtigung bestehender globaler Workflow-Management-Systeme und der transparenten, leistungsfähigen Nutzung sehr großer entfernter Datenbestände ergeben. In diesem Vorschlag befassen wir uns mit den wichtigsten Fragen, um einen stabilen und nachhaltigen Betrieb von HoreKa für typische Anwendungen in der Teilchenphysik (Hochenergiephysik, "HEP") und ähnlichen Bereichen wie Hadronen- und Kernphysik ("HaN") und Astroteilchenphysik ("ATP") sicherzustellen. Interessante weitere Schritte in einer späteren Phase sind die Einbeziehung von Workflows, die sich auf GPUs stützen, und die Implementierung von Caching-Methoden, die einen schnellen, wiederholten Zugriff auf Datensätze für die endgültige Analyse durch einzelne Wissenschaftler ermöglichen.

Projektbeschreibung

Ziel des vorgeschlagenen Projekts ist es, die Bereitstellung stabiler, nachhaltiger Rechendienste für die HEP-, ATP- und HaN-Gemeinschaften in HoreKa zu gewährleisten. Die Einrichtung von Beratungsdiensten, Schulen und Schulungsangeboten in Zusammenarbeit mit anderen, bereits bestehenden Bemühungen am KIT (z. B. die jährliche GridKa Computing School) sind ein weiterer wichtiger Bestandteil dieses Vorschlags. Das übergeordnete Ziel ist es, die langjährige internationale Erfahrung in der Forschung und Anwendungsentwicklung im Bereich des transparenten mehrstufigen Schedulings auf der Basis von Virtualisierung und Containern für die Ausführung dynamischer Workflows auf verschiedenen Hardware-Plattformen des GridKa/SCC- und ETP/IAP-Teams mit der Erfahrung im High Throughput Computing in den HEP-, ATP- und HaN-Communities und der Expertise für High Performance Computing im NHR zu kombinieren.

Für die praktischen Herausforderungen ist eine PostDoc-Stelle vorgesehen, die zu einem Drittel aus einem gemeinsamen Projekt von ETP und GridKa/SCC (dem BMBF-Projekt FIDIUM) oder aus Mitteln des ETP-Instituts kofinanziert werden soll. Die zu beschäftigende Person wird eng mit den Doktoranden der gemeinsamen GridKa/SCC-ETP-IAP-Gruppe unter der Leitung von Dr. Manuel Giffels zusammenarbeiten, die die COBalD/TARDIS-Software (Erklärung siehe weiter unten) erweitern und die Gesamtleistung heterogener Rechenumgebungen durch dynamische Platzierung koordinierter Daten-Caches verbessern sollen. Während diese Bemühungen direkt den großen, internationalen Experimenten Belle II und CMS zugute kommen, liegt der Schwerpunkt der in diesem Projekt vorgesehenen Arbeiten auf der Bereitstellung solcher Technologien für andere experimentelle und theoretische Gruppen in der Teilchenphysik oder aus anderen Gemeinschaften, insbesondere ATP und HaN. Dies wird die Rolle des KIT, des SCC und des HoreKa/NHR-Teams als unterstützendes Zentrum für die sehr speziellen Anforderungen dieser Physikgemeinschaften an das Hochleistungs- und datenintensive Rechnen stärken.