Schlüssel zum Mitnehmen
- In-situ-Visualisierung verarbeitet Daten im Arbeitsspeicher während der Simulation; Post-Processing speichert Rohdaten auf der Festplatte und liest sie zur Analyse zurück.
- In-situ kann der Gesamtenergieverbrauch um ~ 43% senken, indem die System-Leerlaufzeit eliminiert wird – nicht nur E / A-Overhead.
- In-situ dient als Frühwarnsystem für numerische Divergenz, Instabilität und Anomalien, bevor die Kernstunden verschwendet werden.
- Die Hybrid-Strategie (In-situ-Reduzierung → Selektives Speichern → Nachbearbeitung auf reduzierte Daten) ist der moderne Standard für HPC-Workflows.
- Die Nachbearbeitung für Erkundungsanalyse, Small Datasets und Archiv-/Re-Analyse gewinnt weiterhin.
- Ihre Wahl sollte über die „Datengröße“ hinausgehen – berücksichtigen Sie die E / A-Ausreichen, die Speicherquote, die zeitliche Auflösung, die Vorhersagbarkeit der Analyse, den Ressourcenkonflikt und die Archivierungsanforderungen.
Vorstellung
Wenn Sie eine Simulation ausführen – ob es sich um einen CFD-Fall (Computational Fluid Dynamics), ein Phasenfeldmodell oder einen Lauf der Molekulardynamik handelt – müssen Sie die Ergebnisse schließlich visualisieren. Sie haben zwei Hauptstrategien: In-situ-Visualisierung, wo Sie Daten analysieren, während die Simulation noch läuft, oder Nachverarbeitung, wo Sie den vollständigen Datensatz auf der Festplatte speichern und anschließend analysieren.
Die Wahl zwischen ihnen ist nicht nur ein technisches Detail, sondern wirkt sich auf die Leistung Ihrer Simulation, den Energieverbrauch, die Debugging-Funktion und die Flexibilität aus, die Sie für die zukünftige Analyse haben. Die meisten Forscher treffen diese Entscheidung früh in ihrer HPC-Karriere und treffen eine Wahl, die auf der Intuition oder der Teamkonvention anstelle eines strukturierten Rahmens basiert.
Eine umfassende technische Abdeckung der In-situ-Infrastruktur, Tools und Implementierungsmuster finden Sie in unserem Leitfaden zu In-situ-Visualisierung. Hier gehen wir einen anderen Blickwinkel ein: einen praktischen Entscheidungsrahmen, der antwortet: „Wann sollte ich jeden Ansatz verwenden?“ und führt zwei Dimensionen ein, die die meisten Vergleichsartikel übersehen – das Argument für Energieeinsparungen und den Debugging-Anwendungsfall.
Der klassische Vergleich
Lassen Sie uns vor dem Eintauchen in die neuen Dimensionen den Basisunterschied zwischen den beiden Ansätzen festlegen, da dieser grundlegende Vergleich in unserem In-situ-Visualisierungshandbuch bereits gut abgedeckt ist.
In-situ-Visualisierung Führt Visualisierungs- und Analysecode im gleichen Speicherplatz wie Ihre Simulation aus. Die Daten berühren niemals die Festplatte – sie fließt vom Simulationslöser direkt in eine Visualisierungs-Pipeline. Dadurch entfällt die Datei-E/A vollständig für den Visualisierungspfad.
Post-Processing funktioniert umgekehrt. Ihre Simulation schreibt in regelmäßigen Abständen (oder bei Konvergenz-Meilensteinen) vollständige Datensätze auf die Festplatte. Nachdem die Simulation abgeschlossen ist, laden Sie diese Dateien in ein separates Visualisierungstool – ParaView, Visit oder ähnliches – und untersuchen die Daten interaktiv.
Der klassische Kompromiss ist einfach:
| Dimension | In-situ | Nachbearbeitung |
|---|---|---|
| Datenstandort | In-Memory während der Simulation | auf der Festplatte gespeichert |
| I / O-Auswirkung | Null für Visualisierungspfad | Vollständiger Datensatz mehrmals geschrieben |
| Zeitliche Koordinierung | Echtzeit während der Simulation | Nach Abschluss der Simulation |
| Analyseflexibilität | Nur vordefinierte Pipelines | Interaktiv, explorativ |
| Ressourcenkonflikt | Anteile berechnen mit Simulation | Läuft auf separater Hardware |
Dieser Vergleich wurde von Moreland (2016) in „Die Spannungen der In-situ-Visualisierung“ gut dokumentiert, der die grundlegenden Kompromisse in Bezug auf Ressourcenkonflikt, Datenverlust und Komplexität der Kopplung darlegt. Unser Leitfaden zur In-situ-Visualisierung geht durch die Implementierungsmuster, Werkzeugvergleiche und Integrationsstrategien.
Die Entscheidung ist jedoch nicht allein aus dieser Tabelle ersichtlich. Hier werden die Dinge interessant.
Die Dimension Energie und Grün
Dies ist die Einsicht, die die meisten Artikel in diesem Bereich verpassen. Die In-situ-Visualisierung beschleunigt nicht nur Ihren Workflow – sie reduziert den Energieverbrauch erheblich und die Einsparungen sind größer als erwartet.
woher die Energieeinsparung kommt
Mehrere Studien von Virginia Tech (insbesondere Adhinayananan et al. 2015 und die Nachfolge-Charakterisierungsstudie 2017) haben die Leistung und Energie von Visualisierungs-Pipelines gemessen und festgestellt, dass In-situ-Ansätze etwa 43% weniger Gesamtenergie verbrauchen als herkömmliche Post-Processing-Workflows.
Hier ist das kritische Detail, das die meisten Quellen nicht klar erklären: Der Großteil dieser Einsparungen geht nicht aus der Vermeidung von E / A-Schreiben. Sie stammen aus der Beseitigung der System-Leerlaufzeit.
Wenn Sie die Nachbearbeitung auf einem HPC-System ausführen, beenden die Rechenknoten ihre Simulation und sitzen im Leerlauf, während das Speichersubsystem die gespeicherten Daten verarbeitet. Diese stillen Knoten ziehen immer noch Strom – möglicherweise erhebliche Leistung – und tun dabei nichts produktives. Die In-situ-Visualisierung vermeidet dies vollständig, da die Analyse gleichzeitig mit der Berechnung erfolgt und alle Knoten funktionieren.
Die Tahir (2024) Studie „Energy-Aware Image-based in situ“ erweitert diese Analyse weiter und zeigt, dass Rendering-Parameterwahlen innerhalb in-situ-Workflows den Energieverbrauch beeinflussen . Die Auswahl effizienter Rendering-Algorithmen – beispielsweise optimiertes partikelbasiertes Volumen-Rendering anstelle von schwerem Strahlenguss – führt zu zusätzlichen Energieeinsparungen. Die „grüne“ Wahl ist auch innerhalb von In-situ-Pipelines wichtig.
Warum dies für Ihren Workflow wichtig ist
Wenn Sie Simulationen mit gemeinsam genutzten HPC-Ressourcen ausführen, wirkt sich der Energieverbrauch direkt auf:
- Wall-Uhrzeit – Schnellere Simulationen werden früher abgeschlossen und verkürzt Rechenzeit
- Ressourcenzuweisung – Viele HPC-Zentren weisen die Zeit auf der Grundlage der verbrauchten Knotenstunden zu
- Umweltwirkung – Große Simulationen können Megawattstunden Energie verbrauchen
Für PIs, die Grant-Budgets verwalten und HPC-Administratoren die Ressourcennutzung bewerten, ist das Energie-Argument ein legitimer Grund, auch dann vor Ort zu berücksichtigen, wenn die Datengrößen überschaubar sind.
Was wir empfehlen: Wenn Ihre Simulation einige Gigabyte an Ausgabe pro Lauf überschreitet, ist die Energieeinsparung allein in situ ein Fall. Bei großflächigen HPC-Aufträgen sind die Einsparungen von ~ 43% erheblich genug, um Ihr Workflow-Design zu berücksichtigen – nicht nur ein netter.
In-situ als Debugging- und Frühwarnwerkzeug
Hier führt unser Artikel ein wirklich neues Territorium ein, das vorhandene Leitfäden nicht gut abdecken. Bei der In-situ-Visualisierung geht es nicht nur darum, Ergebnisse schneller zu sehen, sondern eine Debugging-Strategie für numerische Simulationen.
Divergenz fangen, bevor es Sie kostet
Wenn eine Simulation von numerischer Instabilität, Fehlanpassungen der physikalischen Parameter oder von Problemen mit der Netzqualität abweicht, werden die Kosten mit jedem Zeitschritt zusammengesetzt. Wenn Sie Daten für die Nachbearbeitung speichern und nach 50 Kerntagen Divergenz entdecken, ist dies ein verheerendes Ergebnis.
In-situ-Visualisierung gibt Ihnen Sofortiges visuelles Feedback. Sie können Divergenz, Instabilität oder Anomalien erkennen, sobald sie sich entwickeln, und die Simulation stoppen, bevor sie Millionen von Kernstunden verschwendet. Der DAG-Bericht von Bennett (2019) zur In-situ-Visualisierung beschreibt dies als Konzept des „Simulations-Dashboards“ – mit Echtzeit-Visualisierung für visuelles Debuggen, Co-Scheduling und Lenkung.
Mehrere Studien verstärken dieses Muster:
- Die praktischen CFD-Beispiele von Kitware (2024) beschreiben „Frühfehlererkennung durch sofortiges visuelles Feedback“ als Kernvorteil
- Sandias ML-gesteuerte Fehlerüberwachungsarbeiten (Shaaban 2026, Shead 2023) verwenden In-situ-Pipelines zur Anomalieerkennung
- Der Excellerat Best-Practices Guide (2022) Frames Echtzeit-Visualisierung als Fehlerpräventionstool für Exascale-Workflows
Praktische Debugging-Anwendungsfälle
Hier sind Szenarien, in denen sich die In-situ-Visualisierung als Debugging-Tool auszahlt:
- Koppelte Physik-Simulationen – Verstöße gegen Energie oder Massenerhaltung, bevor sie sich zusammensetzen
- Adaptive Mesh Refinement (AMR) – Überprüfung der Netzqualität und der Verfeinerungslogik bei der Entwicklung
- Turbulenz und CFD — Erkennen nicht-physikalischer Schwingungen, Schockartefakte oder numerischer Diffusion
- Reaktionsdiffusion und Phasenfeld – Identifizierung instabiler Schnittstellen oder Parameterdrift
Der wichtigste Einblick: Sie warten nicht, bis die Simulation abgeschlossen ist, um zu wissen, ob sie sich richtig verhält. Sie wissen, während es läuft.
Was wir empfehlen: Wenn Ihre Simulation rechenintensiv ist (mehr als ein paar Stunden auf mehreren Knoten) oder physisch gekoppelt ist, führen Sie sie mit mindestens einer Diagnosevisualisierung in situ aus – einem Slice durch eine Schlüsselvariable, einem Zeitverlaufsdiagramm oder einer Isofläche. Selbst ein einziges In-situ-Plot kann Ihnen Tage an vergeudeter Rechenzeit sparen.
Entscheidungsrahmen: 6 Kriterien, um Ihre Wahl zu leiten
Die klassische Framing von „Datengröße“ als entscheidender Faktor ist unvollständig. Der Excellerat Best-Practices Guide (2022) und mehrere HPC-Workflow-Studien deuten auf eine umfassendere Reihe von Kriterien hin. Hier sind sechs Faktoren, die bei der Auswahl zwischen In-situ und Nachbearbeitung abgewogen werden müssen.
1. E/A-Bandbreiten-Suffizienz
Frage: Verfügt Ihr System über genügend E/A-Bandbreite, um Ihre vollständigen Datensätze mit der gewünschten Frequenz zu schreiben?
| Wenn das … | Empfehlung |
|---|---|
| Begrenzt (gemeinsame Speicherung, verstopftes Dateisystem) | Lehnen Sie sich in Richtung in-situ — Vermeiden Sie das Schreiben vollständiger Datensätze |
| reichlich (dedizierter High-Speed-Speicher, gestreifte E/A) | Nachbearbeitung ist machbar und flexibler |
Warum: Wenn die E/A bereits durch Ihre Simulation gesättigt ist, kann das Hinzufügen vollständiger Visualisierungsdatensätze zu E / A-Konflikten führen, die die Simulation selbst verlangsamen. In-situ umgeht den E/A-Pfad vollständig zur Visualisierung.
2. Einschränkungen für Speicherkontingente
Frage: Sind Sie durch Speicherkontingente oder Archivierungsrichtlinien eingeschränkt?
| Wenn das … | Empfehlung |
|---|---|
| Enge Kontingent (begrenzte Speicherzuweisung, strenge Richtlinien) | Lehnen Sie sich in Richtung in-situ — Reduziert den Festplatten-Fußabdruck |
| reichlich Quote (großzügige Zuordnung, flexible Richtlinien) | Post-Processing bleibt tragfähig |
Warum: Große Simulationen können Terabyte an Output erzeugen. Wenn Ihr Speicherkontingent fest ist, reduziert In-situ den zu sparenden Betrag und bewahrt die benötigten Erkenntnisse.
3. Zeitliche Auflösungsbedürfnisse
Frage: Müssen Sie feinkörnige temporale Phänomene beobachten (z. B. Selbstentzündung in der Verbrennung, Wellenausbreitung, Turbulenzkaskaden)?
| Wenn das … | Empfehlung |
|---|---|
| Hochfrequenzphänomene (kurze Zeitskalen, schnelle Ereignisse) | Neigung zu in-situ — kann Analysen mit hoher Frequenz ausgeben |
| gröbere Phänomene (langsame Prozesse, stationär) | Post-Processing ist ausreichend |
Warum: Das Konvergen-/Verbrennungsbeispiel (2024) von Kitware zeigt, wie in situ Isoflächen von Temperatur und Druckgradienten bei hoher Frequenz gespeichert werden kann – Erfassung von Phänomenen, die verloren gehen würden, wenn der vollständige Datensatz niedriger geschrieben würde Häufigkeit Der vollständige Datensatz aus diesem Fall betrug ~ 100 GB, aber in-situ reduzierte die gespeicherten Daten auf ~ 100 MB unter Beibehaltung der kritischen Funktionen.
4. Vorhersagbarkeit der Analyse
Frage: Wissen Sie, was Sie vorher visualisieren möchten, oder werden Sie frei erforschen?
| Wenn das … | Empfehlung |
|---|---|
| vorbestimmt (bestimmte Felder, Scheiben, Isoflächen, Statistiken) | Neigen Sie zu in-situ — vordefinierte Pipelines Excel |
| Exploratory (Unbekannt, was Sie brauchen, Iterieren bei der Analyse) | Neigen Sie zu Post-Processing — interaktive Erkundungsgewinne |
Warum: In-situ-Pipelines werden vor oder während des Simulationslaufs definiert. Sie können sie nicht interaktiv ändern. Wenn Sie neue Phänomene entdecken oder die Visualisierungsparameter durchlaufen, bietet Ihnen die Nachbearbeitung die Flexibilität.
5. Toleranz für Ressourcenkonflikte
Frage: Können Sie die Rechenressourcen tolerieren, die durch die neben der Simulation ausgeführte Visualisierung verbraucht werden?
| Wenn das … | Empfehlung |
|---|---|
| Geringe Konkurrenztoleranz (ressourcenbeschränkte, enge Zeitpläne) | Neigen Sie zu Post-Processing – Getrennte Ressourcen vermeiden Konkurrenz |
| Flexible Planung (kann Ressourcen austauschen, hat Headroom) | Neigen Sie zu in-situ — Analyse läuft gleichzeitig |
Warum: In-situ-Visualisierung teilt Rechenressourcen mit der Simulation. Wenn Ihre Simulation bereits ressourcenbeschränkt ist, kann das Hinzufügen von Visualisierungscode sie verlangsamen. Die Spannungsanalyse von Moreland (2016) deckt diesen Kompromiss im Detail ab.
6. Archivierungs- und Neuanalysebedürfnisse
Frage: Müssen Sie diesen Datensatz später mit neuen Filtern oder anderen Visualisierungsparametern erneut analysieren?
| Wenn das … | Empfehlung |
|---|---|
| Ja – Archivierung oder zukünftige erneute Analyse erwartet | Post-Processing Bewahrt die vollständigen Daten für Flexibilität |
| Nein – Sie extrahieren, was Sie jetzt benötigen, und archivieren reduzierte Daten | in-situ ist angemessen; Sie haben bereits die erforderlichen Darstellungen extrahiert |
Warum: Dies ist der am häufigsten übersehene Kompromiss. Wenn in-situ Rohdaten nach der Erstellung reduzierter Darstellungen (Cinema-Datenbanken, Isoflächen, Statistiken) verworfen werden, verlieren Sie die Möglichkeit, mit neuen Filtern erneut zu analysieren. Benutzer, die ohne Planung für die Archivierung auf In-situ umsteigen, bedauern häufig, dass sie Rohdaten nicht aufbewahren.
Was wir empfehlen: Führen Sie dieses Entscheidungsframework für Ihre spezifische Simulation aus. Wenn sich 4+ Kriterien in-situ neigen, ist dies wahrscheinlich die richtige Wahl. Wenn sich 4+ zur Nachbearbeitung neigen, bleiben Sie beim herkömmlichen Workflow. Wenn die Kriterien gleichmäßig aufgeteilt werden, ist die Hybridstrategie (nächster Abschnitt) möglicherweise Ihr bester Weg.
Die Hybridstrategie: Moderner Standard
Der neue Standard für ausgereifte HPC-Workflows ist nicht „in-situ gegenüber Nachbearbeitung“ – er ist beide .
Das Muster ist unkompliziert: Führen Sie die Datenreduzierung und die Merkmalsextraktion in situ durch und erzeugen Sie dann die Visualisierung in-Transit für die reduzierten Daten. Das kanonische Beispiel ist der Catalyst-Adios2-Workflow: Catalyst führt eine In-situ-Datenreduzierung durch (Extrahieren von Isoflächen, Rechnerstatistiken, Generierung von Kinodatenbanken), und ADIOS2 transportiert die reduzierten Datensätze zu Visualisierungsknoten für die Post-hoc-Exploration.
Dieser Ansatz erfasst die Vorteile beider Welten:
- In-situ-Reduzierung Eliminiert E/A-Engpässe und Leerlaufzeit (Energieeinsparung)
- Erkundung während der Durchreise Bewahrt die Flexibilität für die iterative Analyse
- Selektives Speichern bedeutet, dass Sie nur die Daten schreiben, die Sie tatsächlich benötigen
Die 2025 breitere HPC-Übersicht von KitWare bildet das Standardmuster für „Exascale-ready“-Workflows. Das ARXIV 2024-Papier „In situ in Transit Hybrid Analysis mit Catalyst-Adios2“ beschreibt das typische moderne Muster im Detail.
Praktischer Hybrid-Workflow
- Definieren Visualisierungs- und Analyse-Pipelines vor Beginn der Simulation (Katalysator-Skripte, Aufstiegsrezepte)
- Run Die Simulation mit In-situ-Datenreduzierung – Extrahieren Sie die Funktionen, die Sie während der Ausführung benötigen
- Monitor über Echtzeit-Plots oder Schnappschüsse zum Debuggen und Lenken
- Speichern Nur die reduzierten Datensätze (nicht der vollständige Simulationsstatus)
- Post-Process zu den reduzierten Daten mit ParaView, Visit oder Ihrem bevorzugten Tool
Dies ist das, was der Excellerat Best-Practices Guide (2022) als „Best Practice“ -Muster für die Exascale-Visualisierung im Maßstab empfiehlt.
Was wir empfehlen: Wenn Sie groß angelegte Simulationen ausführen (100+ GB pro Lauf, Multi-Node- oder HPC-Cluster-Läufe), übernehmen Sie die Hybridstrategie als Standard. Es bietet Ihnen die Leistung und Energievorteile von In-situ, ohne die analytische Flexibilität der Nachbearbeitung zu beeinträchtigen. Nur die reine Nachbearbeitung ist sinnvoll, wenn Ihre Datensätze klein genug sind, dass der E / A-Overhead vernachlässigbar ist.
Wenn die Nachbearbeitung immer noch gewinnt
In-situ bekommt viel Aufmerksamkeit, aber die Nachbearbeitung bleibt in mehreren wichtigen Szenarien die richtige Wahl. Geben Sie es nicht ganz auf – verwenden Sie es strategisch.
Sondierungsanalyse
Wenn Sie neue Visualisierungstechniken entwickeln, Analysepipelines testen oder einfach einen Datensatz untersuchen, ohne zu wissen, was Sie benötigen, ist die Nachbearbeitung unübertroffen. Sie können die Daten laden, beliebige Filter anwenden und iterieren. In-situ-Pipelines können diese Flexibilität nicht bieten – sie erfordern eine vordefinierte Logik.
Kleine Datensätze
Wenn Ihre Simulation weniger als ein paar Gigabyte pro Lauf erzeugt und auf einem einzelnen Knoten oder einem kleinen Cluster ausgeführt wird, ist der E / A-Overhead der Nachbearbeitung wahrscheinlich vernachlässigbar. Die Flexibilität der Nachbearbeitung überwiegt die geringen Leistungskosten.
Algorithmusentwicklung
Wenn Sie neue numerische Methoden entwickeln, Konvergenzraten testen oder auf Solver-Parameter iterieren, benötigen Sie die vollständige Datentreue. Die Nachbearbeitung bewahrt jeden Zeitschritt und jedes Feld. In-situ-Reduzierung verwirft Informationen, die Sie später möglicherweise bereuen.
Archiv und Reproduzierbarkeit
Wenn Ihre Simulation Teil einer veröffentlichten Studie oder eines reproduzierbaren Workflows ist, bietet die Nachbearbeitung einen klaren Audit-Trail: die Rohdatendateien, die Nachbearbeitungsskripte, die resultierenden Visualisierungen. Der „Datenverlust“-Trade-off von in-situ (Verwerfen des Rohsimulationszustands nach der Extraktion) erschwert die Reproduzierbarkeit, wenn Sie mit neuen Methoden erneut analysieren müssen.
Wann wählen Sie die Nachbearbeitung über in situ?
Verwenden Sie die Nachbearbeitung, wenn:
- Ihr Datensatz ist klein genug, dass E / A-Overhead akzeptabel ist
- Sie benötigen eine iterative, explorative Analyse
- Sie entwickeln oder testen neue Visualisierungstechniken
- Reproduzierbarkeit und Archivierung erfordern eine vollständige Datenerhaltung
- Sie haben keinen Zugriff auf In-Situ-kompatible Tools oder die Integrationskompetenz
Werkzeug-Landschaft Brief
Sie müssen keine In-situ-Infrastruktur von Grund auf neu aufbauen. Mehrere ausgereifte Tools machen die Integration unkompliziert.
Paraview-Katalysator
Die am weitesten verbreitete In-situ-Bibliothek. ParaView Catalyst bietet eine kleine, stabile API für Simulationscodes, um Datenstrukturen im Speicher der Verarbeitungsmaschine von ParaView zu enthüllen. Einmal mit Catalyst instrumentiert, kann ein Simulationscode die vollständigen Analyse- und Visualisierungsfunktionen von Paraview nutzen.
- Best for: CFD-, Verbrennungs- und Multiphysik-Simulationen im großen Maßstab
- Beispiel: Converge CFD nutzt Katalysator für die Verbrennungsanalyse in-situ (Kitware 2024)
- Integrationskomplexität: Moderate — Erfordert anfängliche Instrumentierung und führt dann Catalyst-Skripte als vordefinierte Pipelines aus
Aufstieg
Ein leichtes In-situ-Framework von Kitware, das für eine einfache Integration entwickelt wurde. Ascent bietet eine einfache YAML-basierte Rezeptsprache zum Definieren von In-situ-Pipelines ohne tiefes C++-Wissen.
- Best for: Teams, die eine schnelle In-situ-Integration ohne tiefe Codeänderungen wünschen
- Integrationskomplexität: Niedrig – YAML-Rezepte, minimale C++-Integration erforderlich
- Limitation: Kleineres Ökosystem als Katalysator; Weniger ausgereift für Exascale-Bereitstellungen
Besuchen Sie Libsim
Die Ortsbibliothek zum Besuch. Ähnlich wie Catalyst, aber in das Visit-Ökosystem integriert.
- Best for: Teams, die bereits in das Visit-Ökosystem investiert sind
- Integrationskomplexität: Moderate — Erfordert Libsim-Instrumentierung
Damaris
Ein neueres, standardbasiertes In-situ-Framework, das für die Portabilität über Visualisierungstools ausgelegt ist. Damaris verwendet eine standardisierte API, die die Simulation von bestimmten Visualisierungs-Backends entkoppelt.
- Best for: Multi-Ökosystem-Bereitstellungen (mit mehreren Visualisierungstools)
- Integrationskomplexität: Höher – neuere, weniger etablierte Toolchain
- Notable: Anziehungskraft in europäischen HPC-Gemeinschaften
Anleitung zur Werkzeugauswahl
| Wenn du brauchst… | Empfehlen |
|---|---|
| Größtes Ökosystem, die meisten Beispiele | ParaView Catalyst |
| Schnelle Integration, minimales C++ | Aufstieg |
| Besuchen Sie die Ausrichtung des Ökosystems | Besuche Libsim |
| Multitool-Portabilität | Damaris |
Der Excellerat Best-Practices Guide (2022) enthält detaillierte Vergleichstabellen für In-situ-Schnittstellen und Werkzeugempfehlungen auf Exascale. Ihre Analyse schlägt vor, dass Catalyst die ausgereifte Option für die Produktion von HPC-Workflows ist, wobei Ascent eine starke leichte Alternative ist.
Zusammenfassung + nächste Schritte
Die Wahl zwischen In-situ-Visualisierung und Nachbearbeitung ist keine binäre Frage „was besser ist“. Es handelt sich um eine Workflow-Design-Entscheidung, die Datengröße, Energie, Debugging-Anforderungen, Flexibilität und Archivierungsüberlegungen berücksichtigen sollte.
Hier ist unsere Empfehlung, die auf drei Prinzipien destilliert wurde:
- Für großflächige HPC-Simulationen (100+ GB, Multi-Node), übernehmen Sie die Hybridstrategie: In-situ-Reduktion mit selektiver Speicherung, gefolgt von der Nachbearbeitung der reduzierten Daten. Dies gibt Ihnen die Energieeinsparung (~ 43% Gesamtenergiereduzierung pro VT-Studien), die Debugging-Vorteile und die analytische Flexibilität, die Sie benötigen.
- Für kleine bis mittelschwere Simulationen (<10 GB, Einzelknoten oder kleine Cluster) ist die Nachbearbeitung in der Regel einfacher und flexibler. Fügen Sie keine Komplexität vor Ort hinzu, es sei denn, Sie benötigen speziell die Debugging- oder Energievorteile.
- Erwägen Sie immer das Debuggen . Auch wenn Sie sich für den Hauptworkflow nach der Verarbeitung entscheiden, können Sie beim Ausführen von mindestens einem In-situ-Diagnosediagramm (eine Zeitverlauf, eine Schlüsselscheibe oder ein Konvergenzmonitor) Stunden an vergeudeter Rechenzeit sparen, wenn eine Divergenz auftritt.
Praktische nächste Schritte
- Wenn Ihr aktueller Workflow rein nachbearbeitet wird und Sie große Simulationen ausführen: Evaluieren Sie den Katalysator oder den Aufstieg für die In-situ-Datenreduzierung. Selbst eine einfache vordefinierte Slice- oder Statistik-Pipeline verkürzt die E / A- und Leerlaufzeit.
- Wenn Sie das Debuggen bereits verwenden, aber noch nicht untersucht haben: Fügen Sie mindestens eine Frühwarnvisualisierung hinzu (Zeithistorie-Plot, Isofläche eines Schlüsselfeldes oder Anomalieerkennung). Das Konzept des „Simulations-Dashboards“ von Bennett (2019) DAG Report ist ein guter Ausgangspunkt.
- Wenn Sie Archiv-Workflows planen: Entscheiden Sie, welche Rohdaten beibehalten werden sollen, bevor Sie zu In-situ wechseln. Verwerfen Sie den Simulationsstatus nicht, den Sie möglicherweise für eine zukünftige Analyse benötigen.
Die Visualisierungsentscheidung ist eine der wenigen Auswahlmöglichkeiten für Simulationsworkflows, die sich direkt sowohl auf die Leistung als auch auf die Erkenntnisqualität auswirkt. Machen Sie es richtig und Ihre Simulationen laufen schneller, sparen Energie und fangen frühzeitig Fehler ab. Wenn Sie es falsch machen, verschwenden Sie Zeit, Speicherung und möglicherweise verpassen Phänomene, die Sie nicht erneut analysieren können. Verwenden Sie dieses Framework, um eine fundierte Entscheidung zu treffen.
Verwandte Anleitungen
Für eine tiefere Berichterstattung über verwandte Themen finden Sie hier einige zusätzliche Ressourcen von unserer Website:
- In-situ-Visualisierung: Integration der Visualisierung während der Berechnung – Unser umfassender Leitfaden zur In-situ-Infrastruktur, Tools und Implementierungsmuster.
- Visit vs Paraview: Auswahl des richtigen Werkzeugs für Ihre Simulationsdaten – Ein Vergleich der beiden am häufigsten verwendeten Visualisierungs-Frameworks für wissenschaftliche Daten.
- Distributed Visualization Library Illuminator – Überblick über ein spezielles Tool für paralleles Rendern und Speichern.
- Verwalten von PDE-Problemen in großem Maßstab: Strategien, Solver und HPC-Fallstudien – Strategien zur effizienten Lösung massiver Rechenprobleme.
- advektionsdominierte Probleme: Aufwärtswindschemata und SUPG-Stabilisierung – Praktische Anleitung für Stabilisierungstechniken in CFD-Simulationen.
Referenzen und Quellen, die in diesem Artikel zitiert werden:
- Kitware (2024). In-situ-Datenanalyse bringt schnellere Ergebnisse und beschleunigte Erkenntnisse
- Adhinarayanan et al. (2015). Über das Grün von in-situ- und nachbearbeiteten Visualisierungs-Pipelines
- Adhinarayanan et al. (2017). Charakterisierung der Modellierungskraft & Energie für die In-situ-Visualisierung
- Bennett, J. (2019). DAG-Bericht: In-situ-Visualisierung
- Moreland, K. (2016). Die Spannungen der In-situ-Visualisierung
- Excellerat (2022). Best Practices und Tools für Visualisierung, Datenmanagement und Analytics bei Exascale
- Tahir, M. (2024). Analyse in Richtung energiebewusster bildbasierter in situ