High Performance Computing

JGU feiert Richtfest für neues Rechenzentrum auf dem Campus

Neubau beherbergt zukünftig die gesamte IT-Infrastruktur der Universität

Der Rohbau des neuen Rechenzentrums auf dem Campus der Johannes Gutenberg-Universität Mainz (JGU) ist nur rund zehn Monate nach Baubeginn fertiggestellt. Mit dem heutigen Richtfest feierten Gäste aus Politik und Wissenschaft gemeinsam mit den Baubeteiligten die Halbzeit der Bauarbeiten. Bau- und Finanzministerin Doris Ahnen, Wissenschaftsstaatssekretär Dr. Denis Alt und JGU-Präsident Prof. Dr. Georg Krausch würdigten die Fortschritte am Rechenzentrum, welche im derzeit vorgesehenen Zeit- und Kostenrahmen liegen.

Der Neubau ist wichtig, um die universitäre IT-Infrastruktur und das Nationale Hochstleistungsrechnen (NHR) erfolgreich aufrechtzuerhalten und weiterzuentwickeln. Das neue Rechenzentrum beherbergt künftig die komplette IT-Infrastruktur der Universität, die für den akademischen Betrieb und administrative Aufgaben erforderlich ist. Im Fokus stehen dabei die Sicherheit und Verfügbarkeit der Daten sowie die optimierte Performance der Systeme. Die Gesamtbaukosten belaufen sich auf rund 29 Millionen Euro, die vom Land Rheinland-Pfalz übernommen werden.

Meilensteine erreicht: Richtfest markiert Baufortschritt

Bis zum heutigen Richtfest konnte das Generalunternehmen, die rheinland-pfälzische Data Center Group GmbH, wesentliche Arbeiten am neuen Rechenzentrum erfolgreich abschließen. Der Rohbau ist fertiggestellt und die Stahlbühnen auf dem Flachdach montiert. Diese Stahlkonstruktionen tragen die bereits angelieferten sechs Rückkühler für die Warm- und Kaltwasserkühlung. Auch die Malerarbeiten im Erd- und Obergeschoss wurden termingerecht ausgeführt, mit einer Besonderheit. Aufgrund der nachfolgenden aufwendigen Installationsarbeiten musste bereits jetzt und nicht wie üblich am Ende des Bauprozesses gestrichen werden. Im Erdgeschoss wurden Teile der Wasserleitungen verlegt und auch bei den Außenanlagen hat die Data Center Group GmbH Fortschritte erzielt: Die Entwässerungskanäle und das Rückhaltebauwerk sind verlegt.

Seit Baubeginn wurden insgesamt 8.450 Kubikmeter Erdreich abgetragen, bewegt und teilweise wieder eingebaut, was einer Gesamtmenge von 12.675 Tonnen entspricht. Nach dem Richtfest stehen zunächst weitere Arbeiten im Erdgeschoß an: der Anlagenbau mit den erforderlichen Trassen für Kühlung, Lüftung und Elektro. Des Weiteren erhält das Flachdach über dem Obergeschoss eine extensive Begrünung.

Zukünftiges Rechenzentrum setzt Maßstäbe für Universität und Wissenschaft

Das Rechenzentrum beherbergt im sogenannten Enterprise-Bereich die komplette IT-Infrastruktur der Universität und die Systeme, die für das Wissenschaftsnetz Rheinland-Pfalz und die im Rahmen der Rechenzentrumsallianz Rheinland-Pfalz (RARP) angebotenen Dienste benötigt werden. Im HPC-Bereich werden die Hochleistungsrechner MOGON NHR Süd-West und das geplante Nachfolgesystem von MOGON II untergebracht. Seit Oktober 2021 ist die JGU als Teil des länderübergreifenden Konsortiums NHR Süd-West einer der Betreiber der NHR-Infrastruktur in Deutschland.

Sicherheit hat höchste Priorität

Damit die Universität jederzeit Forschung, Lehre und Studium sicherstellen kann, sind ausfallsichere Systeme von großer Bedeutung. Der Neubau ist so konzipiert, dass der IT-Betrieb eine nahezu 100-prozentige Ausfallsicherheit gewährleisten kann und kritische Dienste wie E-Mail, Lernmanagement-Systeme und Datenbanken immer verfügbar sind. Im Zentrum des Rechenzentrums befinden sich die Serverräume. Diese sind von Fluren umgeben, an die die notwendigen Technikräume wie Transformatoren, Mittelspannungshauptverteilung (MSHV), unterbrechungsfreie Stromversorgung (USV), Gaslöschanlage, Notstromaggregat und Sicherheitstechnik anschließen.

Zum Schutz sensibler und vertraulicher Daten wie Forschungsergebnisse, personenbezogene Daten von Studierenden und Mitarbeitenden wird auf vier vordefinierte Schutzzonen gesetzt. Der Zugang zum Gebäude und insbesondere zu den Serverräumen ist nur über ein Zutrittskontrollsystem mit Schleusenfunktion möglich.

Nachhaltige Entwicklung am Campus konsequent fortgesetzt

Eine optimale Temperatur im Rechenzentrum ist von besonderer Bedeutung. Die vielen Server erzeugen eine enorme Wärme, die zu einer Überhitzung und Serverausfällen führen kann. Um diesem Problem entgegenzuwirken, werden etwa 80 Prozent der Kühlung mit einem geschlossenen Wasserkreislauf realisiert, ohne den Einsatz von Kompressorkältemaschinen. Dieses Verfahren spart Energie und ist besonders effizient. Zusätzlich werden Vorkehrungen getroffen, um in Zukunft einen großen Teil der Abwärme weiterverwenden zu können.

Auf der freien Dachfläche werden Photovoltaik-Module installiert. Die Jahresleistung der Solaranlage lässt sich auf ca. 73.000 kWh abschätzen und würde ausreichen, um ca. 20 Einfamilienhäuser über das Jahr mit Strom zu versorgen.

Neubau ist Voraussetzung für weitere Baumaßnahmen auf dem Campus

Ein Umzug der IT-Infrastruktur ist aus baulichen und energetischen Gesichtspunkten notwendig. Die Verwaltung des ZDV und die Büros des ZDV-Personals bleiben in der Naturwissenschaftlichen Fakultät (NatFak – Gebäude 1341) in der sich momentan auch der aktuelle Serverraum befindet. Nach dem Umzug stehen in dem Raum Ressourcen für den Fall eines Hardwareausfalls zur Verfügung. Darüber hinaus ist eine Renovierung des Gebäudes 1341 geplant. Für die komplette Fertigstellung des neuen Rechenzentrums rechnet die Bauleitung mit rund zwei Jahren. Es soll Mitte 2025 in Betrieb gehen.

Zur kompletten Pressemitteilung: https://presse.uni-mainz.de/jgu-feiert-richtfest-fuer-neues-rechenzentrum-auf-dem-campus/

Nationales Hochleistungsrechnen (NHR) Süd-West: Neuer Hochleistungsrechner am ZDV eingeweiht

Am 13. März wurde der neue MOGON NHR Süd-West von Clemens Hoch, Minister für Wissenschaft und Gesundheit des Landes Rheinland-Pfalz, und Prof. Dr. Müller-Stach, Vizepräsident für Forschung und wissenschaftlichen Nachwuchs der Johannes Gutenberg-Universität Mainz (JGU), eingeweiht. Der Verbund NHR Süd-West besteht aus der Johannes Gutenberg-Universität Mainz, der Rheinland-Pfälzischen Technischen Universität Kaiserslautern-Landau, der Goethe-Universität Frankfurt und der Universität des Saarlandes und ist seit Ende 2021 eines von neun Zentren für Nationales Hochleistungsrechnen (NHR) in Deutschland. Neben Vertretern der JGU waren auch Gäste der drei Partneruniversitäten anwesend.

Das neue HPC-System MOGON NHR Süd-West am Standort Mainz erweitert die Rechenkapazitäten des länderübergreifenden Konsortiums und steht Forschungsgruppen aus ganz Deutschland zur Verfügung. Für den Aufbau des neuen Clusters erhielt der NHR Süd-West 7.5 Millionen Euro aus der Bund-Länder-Förderung „Nationales Hochleistungsrechnen“. Mit den finanziellen Mitteln konnte ein leistungsfähiges System in Mainz aufgebaut werden. Carsten Allendörfer, Technischer Leiter des Zentrums für Datenverarbeitung (ZDV), war zusammen mit der HPC-Gruppe des ZDV für den Aufbau verantwortlich. „Nach MOGON I und MOGON II freuen wir uns, ein Cluster bereitzustellen, das Wissenschaftlerinnen und Wissenschaftler deutschlandweit mit den Schwerpunkten Hochenergiephysik, Physik der kondensierten Materie und Life Science nutzen können“.

 

Markus Tacke, Technischer Leiter der HPC-Gruppe, ergänzt: „Der neue MOGON NHR Süd-West besteht aus 590 Rechenknoten, 75.000 CPU-Kernen und einem Hauptspeicher von 186 TB. Pro Knoten stehen zwei AMD-Prozessoren zur Verfügung (AMD EPYC 7713), pro Prozessor jeweils 64 Kerne“.

MOGON NHR Süd-West | HPC-Cluster-Spezifikationen

590 RECHENKNOTEN
75.000 CPU-KERNE
40 A100 TENSOR CORE GPUS
186 TB RAM
8.000 TB FILESERVER
100 BG/s INFINIBAND-NETZWERK
2.8 PFLOPS SPITZENLEISTUNG

 

AMD EPYC 7713 Prozessor

64 KERNE
2 GHZ TAKTFREQUENZ
256 MB L3 CACHE
2 PRO KNOTEN


Mehr erfahren

Komplette Pressemitteilung des Ministeriums für Wissenschaft und Gesundheit
Website des NHR Süd-West
Webseite des HPC-Teams am ZDV



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

ZDV beteiligt sich an der Entwicklung intelligenter adaptiver Speichersysteme

Das ZDV ist Teil des europäischen Gemeinschaftsprojektes ADMIRE, das sich zum Ziel gesetzt hat, ein neues adaptives Speichersystem für Hochleistungsrechner zu entwickeln. In Zusammenarbeit mit vierzehn Einrichtungen aus sechs Ländern soll ADMIRE die Laufzeit von Anwendungen aus den Bereichen Wettervorhersage, Molekulardynamik, Turbulenzsimulation, Kartografie, Gehirnforschung und Softwarekatalogisierung deutlich steigern.

Das Forschungsteam am ZDV "Efficient Computing and Storage" fokussiert sich auf die sogenannten Ad-hoc Dateisysteme, die bei Bedarf vom ADMIRE-Gesamtsystem für Applikationen gesteuert werden. Damit soll die Gesamt-I/O Leistung für Applikationen signifikant erhöht und die zentralen parallelen Dateisysteme (wie z.B. Lustre) entlastet werden. Als Grundlage kommt das GekkoFS Dateisystem, eine ZDV-Eigenentwicklung, zur Anwendung. Dieses wird an die Anforderungen moderner Applikationen in Hochleistungsrechnern angepasst, so dass das Dateisystem die höchstmögliche I/O Leistung zur Verfügung stellen und dynamisch auf Entscheidungen des ADMIRE-Gesamtsystem reagieren kann.

Das ADMIRE-Projekt im Überblick ©ADMIRE

Weiterführende Informationen: https://presse.uni-mainz.de/startschuss-fuer-eu-projekt-admire/



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

ZDV-Eigenentwicklung behauptet Top Ten Platzierung bei der „10-Node-Challenge“ der IO500

Das GekkoFS-Dateisystem, ein Gemeinschaftsprojekt des Zentrums für Datenverarbeitung (ZDV) und dem Barcelona Supercomputing (BSC) belegt abermals eine sehr gute Platzierung bei der „10-Node Challenge“ der Weltrangliste IO500.

Mainz, 13. August 2020

Im Rahmen der diesjährigen ISC High Performance in Frankfurt, einer internationalen, wissenschaftlichen Konferenz und Ausstellung zu den Themen Supercomputer und Hochleistungsrechnen, wurden die neuen IO500 Ranglisten im Bereich HPC Speichersysteme veröffentlicht. Das ZDV-Team "Efficient Computing and Storage" und das Supercomputing Team "Storage Systems for Extreme Computing" (BSC) aus Barcelona belegten mit dem GekkoFS-Dateisystem wieder den vierten Platz bei der "10-Node Challenge“.

GekkoFS ermöglicht es, die lokale I/O-Kapazität und -Leistung jedes einzelnen Knotens in einem HPC-Cluster zusammenzuführen, um einen parallelen Hochleistungsspeicher bereitzustellen. Dieser Speicherort erlaubt es HPC-Applikationen und -Simulationen in Bezug auf I/O in voneinander entkoppelter Form zu laufen. Dies reduziert Interferenzen und erhöht die Leistungsfähigkeit.

Marc-André Vef, der seit mehreren Jahren maßgeblich an GekkoFS mitgearbeitet hat, freut sich zu Recht und schaut aber zugleich in die Zukunft: „Wir ruhen uns nicht auf den erreichten Ergebnissen aus, denn wir wollen das Dateisystem mit unseren Partnern in Barcelona weiterentwickeln. Für die nächsten zwei Jahren steht bereits die Planung.“

GekkoFS wurde mit Mitteln des Schwerpunktprogramms SPPEXA der Deutschen Forschungsgemeinschaft (DFG) im Rahmen des ADA-FS Projekts und dem europäischen NEXTGenIO-Projekt gefördert.

IO500 – die Benchmark der Storage Community

Mit der IO500 sollen unterschiedliche Speichersysteme miteinander verglichen werden. Die Rangliste setzt sich aus verschiedenen Hochleistungsrechnern und Knotenzahlen zusammen und versucht verschiedene Speichersysteme hinsichtlich Metadaten- und Daten-Durchsatz fair gegenüberzustellen. Die „10-Node Challenge List“ der IO500 spielt dabei eine besondere Rolle, da sie die multiplen gleichzeitig laufenden Prozesse in zehn Rechenknoten nutzt, um die Effizienz der Dateisysteme zu bewerten.

Die Punktzahl von 152 bringt GekkoFS auf Platz 6 in der „10-Node Challenge List“ des IO500 und auf Platz 26 in der vollständigen Liste der IO500. Die Listen werden alljährlich beim ISC High Performance in Frankfurt und bei der SC Conference in den USA veröffentlicht.



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

ZDV ermöglicht optimale Vernetzung

Seit Beginn des Notbetriebs der Johannes Gutenberg-Universität leistet das ZDV einen wichtigen technischen und personellen Beitrag, um digitales Arbeiten und Lernen während der Corona-Pandemie zu verwirklichen.

16. April 2020

André Brinkmann, Leiter des ZDV, zeigt sich mit den aktuellen Ergebnissen seines Zentrums sehr zufrieden: „Das Team hat in den vergangenen Wochen viel dazu beigetragen, dass digitale Lehre und Homeoffice an der Johannes Gutenberg-Universität Realität werden konnten. Die größten Herausforderungen bestanden in dem vorgezogenen Wechsel auf das zentrale Lernmanagementsystem Moodle und dem Ausbau der Videokonferenzen- und Remote Desktop-Kapazitäten.“

 

„Des Weiteren hat die verstärkte Nutzung von Skype for Business dazu geführt, dass Teile des Supercomputers Mogon II vorübergehend umfunktioniert wurden, um hunderte, parallel laufende Videokonferenzen oder Lehrveranstaltungen störungsfrei durchführen zu können“, erläutert André Brinkmann.

Aufgrund der besonderen Situation wurden zusätzliche Ausbau- und Umbaumaßnahmen durch das ZDV vorgenommen:

  • Bereitstellung von Skype for Business für alle Studierenden der JGU Mainz, so dass sie an Videokonferenzen teilnehmen können.
  • Die Anzahl der Nutzer, die gleichzeitig den VPN-Zugang verwenden, konnte das ZDV zuletzt verfünffachen. Ein VPN-Zugang wird beispielsweise zu Literaturrecherchen an der Universitätsbibliothek benötigt.
  • Durch Umprogrammierungen wurde eine Moodle Kopplung mit dem webbasierten Video-Content-Management-System Panopto realisiert.

In den nächsten Wochen sind weitere Maßnahmen geplant. So werden bei Bedarf vorhandene Ressourcen von Mogon genutzt, um Videos auf Panopto schneller bereitstellen zu können. Dafür müssen im Hintergrund Umcodierungen vorgenommen werden.



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

Veröffentlicht am

Analog-Rechner – Vergangenheit, Gegenwart, Zukunft?

Vortrag von Prof. Bernd Ulmann.
Dieser Vortrag war ursprünglich geplant für Donnerstag, 19.3.2020. Der Vortrag wird auf einen späteren Termin verschoben.

In Zeiten, in denen klassische speicherprogrammierte Digitalrechner an fundamentale Grenzen hinsichtlich Taktfrequenzen, Leistungsbedarf, Integrationsdichte etc. stoßen, werden unkonventionelle Ansätze wie das Analogrechnen im Bereich des Hochleistungsrechnens bzw. des energieeffizienten Rechnens zunehmend interessanter. Seit den 1970er Jahren nahezu in Vergessenheit geraten, beruhen sogenannte Analogrechner (meist) auf der Bildung eines elektronischen Modells für ein zu lösendes Problem und werden entsprechend nicht algorithmisch programmiert. Moderne integrierte Schaltungstechniken erlauben es, die früher zeitaufwändige und umständliche Programmierung zu automatisieren, so dass ein Analogrechner mit einem Digitalrechner zu einem sogenannten Hybridcomputer gekoppelt werden kann. In einem solchen Setup fungiert der Analogrechner quasi als hocheffizienter Co-Prozessor für die Lösung von Problemen, die sich durch (gekoppelte) Differentialgleichungen oder auch partielle Differentialgleichungen beschreiben lassen.

Der Vortrag stellt kurz die Historie des Analogrechnens vor, geht auf die grundlegende Programmierung ein und gibt einen Ausblick auf aktuelle und künftige Entwicklungen.



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

 

Ausschreibung von Rechenzeit für Hochleistungsrechnen in Mainz

Bis zum 21. Januar 2020 können sich Wissenschaftler deutscher Universitäten und deutscher Forschungsinstitute in Mainz um Rechenzeit für Projekte auf dem Hochleistungsrechner MOGON II mit mindestens 1,2 Millionen Core-Stunden bewerben. Die Laufzeit eines technisch wie wissenschaftlich positiv begutachteten Projekts beträgt bis zu 12 Monate.

Natur- und lebenswissenschaftliche Grundlagenforschung ist heute auf die Verfügbarkeit von ausreichend dimensionierten Rechenressourcen angewiesen. Anwender von MOGON II sind Arbeitsgruppen aus der Physik, Mathematik, Informatik, Biologie, Medizin, Chemie und den Geowissenschaften. Die mit MOGON II untersuchten Fragestellungen beinhalten die Simulation der Struktur der Materie und Antimaterie sowie die Entwicklung neuer Werkstoffe, die Verbesserung von Krebstherapien und unser Verständnis der Evolution und ermöglichen die Entwicklung präziserer Wetter- und Klimamodelle. Auch Fragestellungen im Themenbereich künstlicher Intelligenz werden untersucht.

MOGON II kann in einer Sekunde rund 2 Billiarden Einzelberechnungen oder 2 Petaflops ausführen. In der Liste der weltweit 500 schnellsten Rechner lag MOGON II damit zur Inbetriebnahme 2017 auf Platz 65. In der Spitze sind sogar 2,8 Petaflops möglich. Das System besteht aus 1.876 Knoten, von denen 822 Knoten mit jeweils zwei 10-Kern Broadwell-Prozessoren (Intel 2630v4) CPUs ausgestattet und 1.136 Knoten mit jeweils zwei 16-Kern Skylake-Prozessoren (Xeon Gold 6130) ausgestattet und per OmniPath 100 Gbits (Fat-tree) verbunden sind. Insgesamt ergibt dies rund 50.000 Kerne.

Weiter Informationen finden Sie unter https://hpc.uni-mainz.de/call-for-proposals-for-hpc-compute-resources-2019



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.

Das GekkoFS-Dateisystem erreicht den 4. Platz im ’10-Node-Challenge' der IO500

Das vom ZDV und dem Barcelona Supercomputing Center (BSC) gemeinsam entwickelte GekkoFS-Dateisystem erreichte den 4. Platz in der “10-Node Challenge” der IO500. GekkoFS ermöglicht es, die lokale I/O-Kapazität und -Leistung jedes einzelnen Knotens in einem HPC-Cluster zu aggregieren, um einen parallelen Hochleistungsspeicher bereitzustellen. Dieser Speicherort erlaubt es HPC-Applikationen und -Simulationen, bezüglich I/O in voneinander entkoppelter Form zu laufen, was Interferenzen reduziert und die Leistungsfähigkeit erhöht.

Die Entwicklung wurde im Schwerpunktprogramm Exascale Computing der DFG im Projekt Ada-FS und dem europäischen NEXTGenIO-Projekt gefördert. Die '10-Node Challenge List' der IO500 ist eine globale Rangliste, die multiple gleichzeitig laufende Prozesse in 10 Rechenknoten nutzt, um die I/O-Performanz des Speichersystems von Hochleistungsrechnern hinsichtlich Bandbreite und Datendurchsatz zu bewerten. Die Punktzahl von 125 bringt GekkoFS auf Platz 4 in der '10-Node Challenge List' des IO500 und auf Platz 9 in der vollständigen Liste der IO500.

Der Vergleichstest wurde auf 34 Rechenknoten des NEXTGenIO Prototyp-Clusters in Edinburgh durchgeführt. Jeder der 34 Knoten ist mit zwei Intel® Xeon® Prozessoren der 2. Generation sowie 3 TeraByte Intel® Optane™ DC Speicher ausgestattet. Auf diese Weise werden den HPC-Anwendungen etwa 102 TeraByte persistenter Speicher zur Verfügung gestellt.



Mehr Neuigkeiten aus dem ZDV → finden Sie hier.