Summer School on HPC Driving AI

Im Inneren eines LLM: Ein praktischer Performance-Deep-Dive mit TinyLlama

Dieser Vortrag stellt die wichtigsten rechnerischen Bausteine von Large Language Models (LLMs) und Transformer-Architekturen vor, mit besonderem Fokus auf deren Performance-Verhalten und typische Engpässe. Anhand eines kleinen Referenzmodells durchlaufen wir einen praktischen Ansatz zum Profiling von KI- und HPC-Workloads auf modernen GPUs. Wir zeigen, wie typische Leistungsgrenzen identifiziert und durch Optimierungen behoben werden können, die auch aktuellen großskaligen Transformer-Architekturen zugrunde liegen.

Marius Kurz

Marius Kurz ist MTS Software Applications Engineer bei AMD mit einem Hintergrund in numerischer Strömungsmechanik (CFD) und konvergentem HPC/KI. Er unterstützt und optimiert großskalige HPC- und KI-Workloads auf AMD-GPUs, mit Schwerpunkt auf Performance-Profiling, Optimierung und Skalierbarkeit.

Leistungsportables, heterogenes Computing mit SYCL in ROOT etablieren

Moderne wissenschaftliche Datenanalysen stützen sich zunehmend auf heterogene Rechenzentren – CPUs, GPUs und neuartige Beschleuniger –, um den stetig wachsenden Leistungsbedarf zu decken. Dies gilt insbesondere für Analysen in der Hochenergiephysik, da der kommende High-Luminosity Large Hadron Collider (HL-LHC) beispiellose Datenmengen zur Verarbeitung liefern wird. Um mit dieser Skalierung Schritt zu halten, müssen sich langlebige Software-Ökosysteme wie ROOT weiterentwickeln, ohne die Codebasis zu fragmentieren oder Benutzer mit gerätespezifischer Komplexität zu belasten. Dieser Vortrag präsentiert unsere Erfahrungen bei der Integration von SYCL in die ROOT-Bibliothek im breiteren Kontext des europäischen SYCLOPS-Projekts. Ziel ist es, eine leistungsportable, heterogene Ausführung für zentrale Workloads zu ermöglichen, einschließlich großskaliger Datenvorverarbeitung und hybrider Physik-KI-Pipelines. Wir diskutieren die Leitprinzipien dieses Vorhabens, praktische Herausforderungen und deren Bewältigung anhand konkreter Beispiele aus den ROOT-Komponenten. Durch das Teilen gewonnener Erkenntnisse und Performance-Ergebnisse soll dieser Vortrag zeigen, wie SYCL als praktikabler und nachhaltiger Weg zur Modernisierung großer wissenschaftlicher Software-Frameworks dienen kann, um aktuelle und zukünftige Computing-Plattformen vollständig auszuschöpfen.

Monica Dessole

Monica Dessole ist Gastwissenschaftlerin am NATO Center for Maritime Research and Experimentation (CMRE) und spezialisiert auf High-Performance und heterogenes Computing für numerische Modellierung. Zuvor war sie als Research Fellow am CERN tätig und leistete Beiträge zum ROOT-Framework mit Fokus auf leistungsportable C++-Abstraktionen und SYCL-basierte Beschleunigung für Anwendungen in der Hochenergiephysik. Sie promovierte in Computermathematik an der Universität Padua, wo sie lineare Algebra-Algorithmen für parallele Architekturen untersuchte.

RIKEN, R-CCS und Fugaku(NEXT): Die weltbesten Supercomputer zur Bewältigung von SDG-Herausforderungen mit KI

Dieser Vortrag beleuchtet die Roadmap von RIKEN zur Nutzung von Fugaku und dem zukünftigen FugakuNEXT, um globale SDGs (Ziele für nachhaltige Entwicklung) und Japans drängende wissenschaftliche Herausforderungen in den Bereichen Katastrophenvorhersage, Gesundheitswesen und Klimaneutralität zu bewältigen. Wir stellen das RIKEN Center for Computational Science (R-CCS), Fugakus einzigartige Arm-SVE-Architektur sowie unsere Pläne für eine großskalige Konvergenz von KI und HPC vor. Zu den Themen gehören die Portierung massiver KI-Modelle auf Fugaku und unser Weg zu einer vollumfänglichen KI-Plattform, die effizientes Model Serving, Echtzeit-Inferenz und Surrogate-Modellierung in großem Maßstab ermöglicht. Abschließend enthüllen wir die Architektur von FugakuNEXT, die im Co-Design entwickelt wird, um in vier Jahren die HPC- und KI-Inferenz-Anforderungen der japanischen Wissenschaftsgemeinschaft zu bedienen.

Jens Domke

Jens Domke ist Team Principal des Supercomputing Performance Research Teams am RIKEN Center for Computational Science (R-CCS), Japan. Er promovierte 2017 an der Technischen Universität Dresden für seine Arbeit zu HPC-Routing-Algorithmen und Interconnects. Jens begann seine Karriere im HPC-Bereich 2008, nachdem er mit einem Team von fünf Studenten der TU Dresden und der Indiana University den Student Cluster Competition auf der SC08 gewonnen hatte. Seitdem hat er Dutzende von Peer-Review-Artikeln in Fachzeitschriften und Konferenzbänden veröffentlicht. Er trug die Routing-Algorithmen DFSSSP und Nue zum Subnet Manager von InfiniBand bei und baute den ersten großskaligen HyperX-Prototyp am Tokyo Institute of Technology. Seine Forschungsinteressen umfassen System-Co-Design, Performance-Evaluierung, Extrapolation und Modellierung, Verbindungsnetzwerke sowie die Optimierung paralleler Anwendungen und Architekturen.

Die Endlosschleife: Warum HPC das Fundament und die Zukunft der Künstlichen Intelligenz ist

Moderne KI ist nicht in einem Vakuum entstanden; sie wurde im Feuer des High-Performance Computing (HPC) geschmiedet. Von den grundlegenden mathematischen Bibliotheken, die jedem neuronalen Netzwerk zugrunde liegen, bis hin zu den massiven Parallelisierungsstrategien, die ursprünglich für physikalische Simulationen entwickelt wurden – die DNA von HPC ist heute mit jedem erfolgreichen Modell verwoben. Dieser Vortrag untersucht, warum die HPC-Expertise in den Bereichen Skalierbarkeit, Interconnects und Speicheroptimierung der einzig zukunftsweisende Weg ist, da KI nun Maßstäbe von einer Billion Parametern erreicht. Die Beziehung beruht jedoch mittlerweile auf Gegenseitigkeit: Wir schließen mit der Wendung, wie KI ihren Ursprung neu belebt, indem sie traditionelle Simulationen durch neuronale Surrogate (Ersatzmodelle) beschleunigt und die Verwaltung der komplexesten Infrastruktur der Welt automatisiert.

Fernanda Foertter

Executive Director, High Performance Computing and Data Center Abteilung für Forschung
The University of Alabama

Differenzierbare Simulationen

Physikbasierte Simulationen sind seit langem ein Eckpfeiler in Bereichen wie Ingenieurwesen, Energiesystemen, Strömungsmechanik und Materialdesign, wo First-Principles-Modelle Interpretierbarkeit, Zuverlässigkeit und eine starke induktive Struktur bieten. Gleichzeitig ist in den letzten Jahren ein wachsender Trend hin zu KI-basierten Surrogate-Modellen zu beobachten, die komplexe physikalische Prozesse mit stark reduziertem Rechenaufwand annähern und so schnellere Vorhersagen, Steuerungen und Optimierungen ermöglichen. Differenzierbare Simulationen führen diese beiden Paradigmen zusammen: Sie kombinieren die Struktur und das Fachwissen traditioneller Simulatoren mit gradientenbasierten Lern- und Optimierungstechniken aus dem modernen maschinellen Lernen. Indem man Simulationen End-to-End differenzierbar macht, kann man Modellparameter kalibrieren, inverse Probleme lösen, Steuerungsstrategien erlernen und physikalische Modelle direkt in Trainingspipelines einbetten. Diese Vorlesung führt in die Grundlagen differenzierbarer Simulationen ein, diskutiert praktische Implementierungsaspekte in PyTorch und adressiert wichtige konzeptionelle Herausforderungen, einschließlich der Verwendung von Ersatzfunktionen für Gleichungen oder Operatoren, die von Natur aus nicht differenzierbar sind. Als roter Faden dienen Optimierungsprobleme in solarthermischen Kraftwerken (CSP), an denen wir veranschaulichen, wie differenzierbare Simulationen das Design, den Betrieb und die Steuerung komplexer Energiesysteme unterstützen können.

Markus Götz
Affiliation Karlsruhe Institute of Technology

Automatische Differenzierung für wissenschaftliches Rechnen

Wissenschaftliches Rechnen erfordert sowohl einen "HPC-First"-Ansatz als auch die Integration moderner Techniken wie maschinelles Lernen. Dabei wollen wir ML in das wissenschaftliche Rechnen integrieren, anstatt es komplett zu ersetzen. Das Training von in Modelle eingebetteten ML-Ansätzen erfordert, dass wir Gradienten mittels automatischer Differenzierung aus diesen Modellen extrahieren – und somit auch über HPC-Paradigmen wie MPI und CUDA hinweg.

Öffentlicher Vortrag: Von der Simulation zum Lernen: KI und HPC für die Wetter- und Klimavorhersage

Jüngste Fortschritte im maschinellen Lernen verändern die Wetter- und Klimavorhersage grundlegend. Datengetriebene Modelle wie FourCastNet, GenCast, AIFS und andere aufstrebende generative Ansätze konkurrieren nun mit der traditionellen numerischen Wettervorhersage (NWP) oder ergänzen diese, indem sie schnellere Vorhersagen liefern und gleichzeitig komplexe atmosphärische Dynamiken erfassen. Gleichzeitig verdeutlichen Initiativen wie WeatherGenerator und NVIDIA Earth-2 eine breitere Vision: den Aufbau KI-gestützter digitaler Zwillinge des Erdsystems, die Wetter-, Klima- und Umweltprozesse in einer beispiellosen Größenordnung integrieren. Dieser Vortrag untersucht die Schnittmenge dieser Entwicklungen mit dem High-Performance Computing (HPC). KI-Workloads verändern sowohl Software- als auch Hardware-Stacks auf modernen Supercomputern: Beschleunigerzentrierte Architekturen, Mixed-Precision-Training, verteilte Deep-Learning-Frameworks und skalierbare I/O-Pipelines für gewaltige geophysikalische Datensätze werden zu zentralen Designaspekten. Umgekehrt bleibt HPC-Expertise entscheidend für die Skalierung von Training und Inferenz, die Integration hybrider KI-Physik-Workloads und die Ermöglichung robuster Deployments. Wir diskutieren Implementierungsaspekte und praktische Herausforderungen anhand von FourCastNet3 und transformerbasierten Modellen als konkrete Beispiele. Insbesondere untersuchen wir Architekturtrends, Skalierungsverhalten und die Auswirkungen moderner GPU-Funktionen auf wissenschaftliche KI-Workloads. Abschließend skizzieren wir offene Herausforderungen und zukünftige Richtungen, einschließlich der Kopplung von KI-Modellen mit Beobachtungsdaten, der Ausweitung von Methoden auf klimatische Zeitskalen und der Verbesserung der physikalischen Konsistenz und Zuverlässigkeit. Die Konvergenz von KI und HPC beschleunigt nicht nur die Wettervorhersage, sondern definiert auch neu, wie Erdsystemwissenschaft betrieben wird.

Thorsten Kurth

Thorsten arbeitet bei NVIDIA, wo er sich auf die Optimierung wissenschaftlicher Anwendungen für GPU-basierte Supercomputer konzentriert. Im Mittelpunkt seiner Arbeit steht die Entwicklung von hochperformanten Deep-Learning-Lösungen für HPC-Systeme, einschließlich End-to-End-Optimierungen wie Input-Pipelines, I/O-Tuning und verteiltem Training, das Datenparallelität mit Modellparallelität über mehrere Dimensionen hinweg nutzt. Im Jahr 2018 wurde er mit dem Gordon Bell Prize ausgezeichnet, da er die erste Deep-Learning-Anwendung leitete, die auf dem OLCF-Summit-System eine Spitzenleistung von über 1 ExaOp erreichte. Im Jahr 2020 erhielt er den Gordon Bell Special Prize für HPC-basierte COVID-19-Forschung, eine Anerkennung für seine Arbeit an der Generierung großer Ensembles von Spike-Trimer-Konformationen mithilfe des KI-gesteuerten Molekulardynamik-Workflows DeepDriveMD. In jüngerer Zeit konzentriert sich seine Arbeit auf generative Wettervorhersagen und trägt zur Entwicklung des FourCastNet-Modells bei.

HPC-gestützte Visualisierung

Visualisierung ist eine Schlüsselkomponente für die effektive Analyse und Interpretation von großskaligen Simulationsdaten, die von High-Performance-Computing-Systemen (HPC) erzeugt werden. Insbesondere immersive und interaktive Visualisierungsansätze, einschließlich Virtual Reality (VR), bieten neue Möglichkeiten, komplexe, hochdimensionale Datensätze zu verstehen, die in den computergestützten Natur- und Ingenieurwissenschaften zunehmend alltäglich werden.

Dieses dreistündige Summer-School-Modul führt die Teilnehmer in hochmoderne Visualisierungs-Workflows für HPC-Umgebungen ein, mit Schwerpunkt auf immersiver Visualisierung und skalierbaren, modularen Frameworks.

Der Kurs beginnt mit einem Überblick über die Rolle von Virtual Reality in der HPC-Visualisierung und behandelt grundlegende Konzepte, typische Anwendungsfälle sowie Herausforderungen in Bezug auf Performance, Datenmanagement und Benutzerinteraktion. Anschließend werden die Teilnehmer durch die Einrichtung containerisierter Visualisierungsumgebungen mit Docker geführt, was eine reproduzierbare und portable Bereitstellung komplexer Visualisierungs-Software-Stacks ermöglicht.

Den Kern des Moduls bildet eine Hands-on Session zu den vom HLRS entwickelten Visualisierungs-Frameworks Covise und Vistle, die für die interaktive, verteilte und immersive Visualisierung großer Simulationsdatensätze weit verbreitet sind.

Durch praktische Übungen sammeln die Teilnehmer Erfahrungen in der Konfiguration von Visualisierungs-Pipelines, der Anbindung an HPC-Datenquellen und der interaktiven Datenexploration sowohl in Desktop- als auch in immersiven Umgebungen. Das Modul richtet sich an Doktoranden und Nachwuchswissenschaftler und setzt eine einsatzbereite Docker-Umgebung voraus.

Am Ende der Session werden die Teilnehmer mit dem praktischen Wissen und den Werkzeugen ausgestattet sein, um fortschrittliche Visualisierungstechniken in HPC-basierte Forschungs-Workflows zu integrieren.

• 09:00 – 09:30: Einführung in Virtual Reality für HPC
• 09:30 – 10:00: Einrichtung der Docker-Container
• 10:00 – 10:10: Kaffeepause
• 10:10 – 12:00: Hands-on Session für Covise/Vistle

JUPITER: Treiber für KI und Simulation auf Exascale-Niveau in Europa Mathis Bode
JUPITER ist der erste europäische Exascale-Supercomputer und wird am Jülich Supercomputing Centre (JSC) am Forschungszentrum Jülich betrieben. Mit rund 24.000 NVIDIA GH200 Superchips bietet JUPITER eine einzigartige Umgebung für Extreme-Scale-KI und -Simulation. Diese Präsentation gibt einen detaillierten Überblick über JUPITER, beschreibt sein Betriebsmodell und fasst erste wissenschaftliche Erfolgsgeschichten zusammen. Es wird zudem beschrieben, wie JUPITER als Teil der JUPITER AI Factory (JAIF) zu einer KI-optimierten Rechenplattform ausgebaut wird. Ein wesentlicher Bestandteil dafür ist, neben zahlreichen KI-Diensten, das integrierte Inferenz-Modul JARVIS, das die sichere, souveräne und skalierbare Bereitstellung von KI-Anwendungen ermöglichen wird.

Jacob Finkenrath: PLEGMA mit QUDA: Ein Blick auf die Struktur der Nukleonen
Großskaliges Computing kann als Mikroskop genutzt werden, um die Struktur von Hadronen genauer zu untersuchen. Supercomputer ermöglichen es uns, die starke Wechselwirkung zu simulieren – die Kernkraft, die Quarks und Gluonen innerhalb von Hadronen zusammenhält. Die Eigenschaften von Protonen und Neutronen, aus denen die Kerne aller Atome bestehen, können mittels Gitter-QCD (Lattice QCD), einer diskretisierten Quantenfeldtheorie, simuliert werden. Die Berechnungen werden umso präziser, je feiner die Diskretisierung (der Gitterabstand) wird. Für unsere neuesten Messungen bei unserem bisher feinsten Gitterabstand haben wir das EAP von Jupiter genutzt. In diesem Vortrag werde ich unsere rechnerischen Herausforderungen diskutieren und aufzeigen, wie Jupiter uns dabei helfen wird, die nächsten Schritte zur Vertiefung unseres Verständnisses der Kernstruktur zu gehen.
 

GPU-zentriertes Supercomputing auf Jupiter

Hendrik Nicolai: NekCRF: Erfassung turbulenter Wasserstoffverbrennung in Gasturbinen-Brennkammern auf Exascale-Niveau

Wasserstoff und andere erneuerbare Brennstoffe weisen ein grundlegend anderes Verbrennungsverhalten auf, was kritische Limitationen in bestehenden Modellen offenbart, die für hochgenaue (High-Fidelity) Simulationen reaktiver Strömungen ungeeignet sind. Um diese Herausforderungen zu bewältigen, müssen neue, physikalisch fundierte Verbrennungsmodelle entwickelt werden. Gleichzeitig erfordern sich weiterentwickelnde HPC-Architekturen eine neue Generation von CFD-Software, die für massiv parallele, GPU-zentrierte Plattformen optimiert ist, um die entstehenden Rechenkapazitäten voll auszuschöpfen.

Mithilfe des neuartigen GPU-beschleunigten Spektralelement-Lösers NekCRF führen wir großskalige direkte numerische Simulationen (DNS) mit Finite-Rate-Chemie auf modernen heterogenen HPC-Architekturen durch. Der Löser wurde speziell für Exascale-Systeme entwickelt, wobei alle Komponenten – einschließlich Strömungslöser, Transportoperatoren und insbesondere die thermochemische Integration – vollständig für eine effiziente Ausführung auf GPUs optimiert sind.

NekCRF nutzt Spektralelement-Diskretisierungen höherer Ordnung in Kombination mit GPU-nativen Algorithmen, um die arithmetische Intensität zu maximieren und Speicherbewegungen zu minimieren, was eine exzellente Skalierbarkeit über eine große Anzahl von Beschleunigern hinweg gewährleistet. Besonderes Augenmerk liegt auf der Behandlung steifer chemischer Quellterme, bei denen maßgeschneiderte Datenlayouts, Kernel-Fusion und optimierte Integrationsstrategien eine effiziente Nutzung der GPU-Ressourcen ohne Kompromisse bei der numerischen Genauigkeit ermöglichen.

Die resultierenden Simulationen dienen als High-Fidelity-Benchmark-Datensätze für die Entwicklung und Validierung von numerischen Methoden und Modellen der nächsten Generation. Im weiteren Sinne demonstriert diese Arbeit, wie eng verzahntes algorithmisches Design und hardwarebewusste Implementierung den Stand der Technik im großskaligen wissenschaftlichen Rechnen erheblich vorantreiben können, wodurch Simulationen in Auflösungen und Genauigkeiten ermöglicht werden, die zuvor unerreichbar waren.

Jan Frederik Engels: ICON: Effiziente Simulation des gesamten Erdsystems mit 1 km Auflösung Jan Frederik Engels

Die Simulation des gesamten Erdsystems erfordert eine explizite Darstellung der eng gekoppelten Energie-, Wasser- und Kohlenstoffströme über alle dynamisch relevanten räumlichen und zeitlichen Skalen hinweg. Insbesondere die Erfassung der Energie- und Wasserkreisläufe erfordert die Auflösung konvektiver Instabilität. Dies impliziert eine kilometergenaue Auflösung mit Gitterabständen in der Größenordnung von 1 km, um diese Prozesse explizit statt parametrisch darzustellen. Um diese Herausforderung zu meistern, müssen mehrere stark gekoppelte Modellkomponenten orchestriert werden, die jeweils unterschiedliche Rechenmuster und Performance-Anforderungen aufweisen. Gleichzeitig bieten moderne High-Performance-Computing-Systeme (HPC) zunehmend heterogene Architekturen, die diverse Recheneinheiten mit unterschiedlichen Speicherzugriffseigenschaften kombinieren. Dieser Vortrag beleuchtet, wie ICON effizient auf Architekturen der nächsten Generation wie JUPITER, Europas erstem Exascale-System, abgebildet werden kann, und präsentiert erste Ergebnisse, die sowohl die Machbarkeit globaler kilometergenauer Simulationen als auch einen beispiellosen Rechendurchsatz belegen.