Container Standards in HPC

Einleitung

Da Container in der HPC-Welt immer häufiger eingesetzt werden, ist eine gemeinsame NHR-Strategie erforderlich, um die Nutzung von Containern sowohl für Benutzer als auch für Administratoren im NHR und darüber hinaus zu standardisieren. Dieses Projekt konzentriert sich auf die Erweiterung von Lösungen, die im Rahmen des NHR-Container-Projekts "Container & Container Management" in 2022 entwickelt wurden, mit dem Ziel, die Benutzerfreundlichkeit und Anwendbarkeit für eine breitere Palette von Anwendungsfällen zu verbessern. Unsere Methoden zur Erstellung und Bereitstellung portabler, leistungsorientierter Container werden durch automatische Sicherheitsprüfungen und integrierte Leistungsüberwachung verbessert. Unser Container-Repository wird neue Funktionen erhalten, die die Integration in webbasierte Dokumentationsplattformen erleichtern. Das Cloud Bursting wird erweitert, um eine standortübergreifende Ressourcennutzung zwischen NHR-Zentren zu ermöglichen. Die Bereitstellung von NHR-Diensten über Container wird besser zwischen den Zentren übertragbar sein.

Abbildung: Komponenten des Projekts

Projektleitung: Christian Boehme, NHR@Göttingen
Projektpartner:

RWTH Aachen: Sascha Bücken 
Zuse-Institut Berlin: Tobias Watermann 
KIT: Jennifer Buchmüller
TU Darmstadt: Thorsten Reimann
Goethe University Frankfurt: Sarah Neuwirth
TU Dresden/ZIH: Ulf Markwardt

Teilnehmende
NHR-Zentren:

NHR@Göttingen 
NHR@KIT 
NHR@ZIB 
NHR@TUD 
NHR4CES@RWTH 
NHR4CES@TUDa
NHR Süd-West

Software/Library Community Software / Tools

Projektbeschreibung

Die Installation und Konfiguration von Anwendungen in HPC ist in hohem Maße von der tatsächlichen Software- und Hardwareumgebung abhängig, die die Benutzer auf den HPC-Systemen der Rechenzentren vorfinden (Betriebssystemverteilung, Bibliotheken, Module, Netzwerk, Architekturen). Diese erschwert in der Regel die Bereitstellung neuer Software oder neuer Softwareversionen sowie die Migration zwischen Rechenzentren. Beides ist in der Regel mit einem gewissen Supportaufwand verbunden. Darüber hinaus muss beim Umzug auf Cloud-Ressourcen (z.B. um
Anwendungen als On-Demand-Services anzubieten) oder auf die Hardware des Nutzers (für kleine Tests und Entwicklung) die HPC-Softwareumgebung manuell reproduziert werden. Dieses Projekt zielt darauf ab, diese Probleme zu entschärfen und eine Lösung für Benutzer anzubieten, die auch mögliche Leistungseinbußen aufgrund unterschiedlicher Hardware berücksichtigt, die für die Erstellung von Software im Container und deren Ausführung verwendet wird.

Abgesehen von Benutzer-Containern könnten viele HPC-Dienste für HPC-Benutzer mithilfe von Container-Management-Lösungen angeboten und zwischen HPC-Zentren migriert oder dupliziert werden. Hierfür ist ebenfalls eine gewisse Standardisierung erforderlich.