Visualisation in situ vs post-traitement – un cadre de décision

Points à retenir clés

• Visualisation in situ traite les données en mémoire pendant la simulation ; Le post-traitement enregistre les données brutes sur le disque, puis les lit pour analyse.
• In-situ peut réduire la consommation d’énergie totale de ~43 % en éliminant le temps d’inactivité du système, et pas seulement les frais généraux d’E/S.
• In-situ sert de système d’alerte précoce pour les divergences, instabilités et anomalies numériques avant de perdre des heures de base.
• La Stratégie hybride (réduction in situ → Enregistrement sélectif → Post-traitement sur des données réduites) est la norme moderne pour les flux de travail HPC.
• Le post-traitement gagne toujours pour les analyse exploratoire, les ensembles de données et les les besoins d’archives/réanalyses.
• Votre choix doit aller au-delà de la « taille des données » – tenez compte de la suffisance des E/S, du quota de stockage, de la résolution temporelle, de la prévisibilité de l’analyse, de la contestation des ressources et des besoins d’archives.

Introduction

Lorsque vous exécutez une simulation, qu’il s’agisse d’un cas de dynamique des fluides (CFD), d’un modèle de champ de phase ou d’une dynamique moléculaire, vous devez éventuellement visualiser les résultats. Vous disposez de deux stratégies principales : Visualisation in situ, où vous analysez les données pendant que la simulation est toujours en cours, ou post-traitement, où vous enregistrez le jeu de données complet sur le disque et l’analysez ensuite.

Le choix entre eux n’est pas seulement un détail technique, cela affecte les performances de votre simulation, la consommation d’énergie, la capacité de débogage et la flexibilité dont vous disposez pour une analyse future. La plupart des chercheurs rencontrent cette décision au début de leur carrière de HPC et font un choix basé sur l’intuition ou la convention d’équipe plutôt que sur un cadre structuré.

Pour une couverture technique approfondie des infrastructures, des outils et des modèles de mise en œuvre in situ, consultez notre guide de Visualisation in situ. Ici, nous prenons un angle différent : un cadre de décision pratique qui répond « Quand dois-je utiliser chaque approche ? » et introduit deux dimensions que la plupart des articles de comparaison manquent – l’argument des économies d’énergie et le cas d’utilisation du débogage.

La comparaison classique

Avant de plonger dans les nouvelles dimensions, établissons la différence de base entre les deux approches, car cette comparaison fondamentale est déjà bien couverte dans notre guide de visualisation in situ.

Visualisation in situ exécute le code de visualisation et d’analyse dans le même espace mémoire que votre simulation. Les données ne touchent jamais le disque – elles s’écoulent du solveur de simulation directement dans un pipeline de visualisation. Cela élimine entièrement les E/S de fichiers pour le chemin de visualisation.

Le post-traitement fonctionne dans le sens inverse. Votre simulation écrit des jeux de données complets sur le disque à intervalles réguliers (ou à des jalons de convergence). Une fois la simulation terminée, vous chargez ces fichiers dans un outil de visualisation séparé (paraview, visite ou similaire) et explorez les données de manière interactive.

Le compromis classique est simple :

Cette comparaison a été bien documentée par Moreland (2016) dans « Les tensions de la visualisation in situ », qui présente les compromis fondamentaux concernant la contention des ressources, la perte de données et la complexité du couplage. Notre guide de visualisation in situ parcourt les modèles de mise en œuvre, les comparaisons d’outils et les stratégies d’intégration en profondeur.

Cependant, la décision n’est pas évidente à partir de ce tableau. Voici où les choses deviennent intéressantes.

La dimension Energie et Vert

C’est l’idée que la plupart des articles de cet espace manquent. La visualisation in situ n’accélère pas seulement votre flux de travail, mais elle réduit considérablement la consommation d’énergie et les économies sont plus importantes que ce à quoi vous vous attendiez.

d’où viennent les économies d’énergie

Plusieurs études de Virginia Tech (notamment Adhinarayanan et al. 2015 et l’étude de suivi de la caractérisation en 2017) ont mesuré la puissance et l’énergie des pipelines de visualisation et ont constaté que les approches in situ consomment environ 43 % moins d’énergie totale que les workflows traditionnels de post-traitement.

Voici les détails critiques que la plupart des sources n’expliquent pas clairement : la majorité de ces économies ne découlent pas de l’évitement des écritures d’E/S. Ils proviennent de Eliminer le temps d’inactivité du système.

Lorsque vous exécutez le post-traitement sur un système HPC, les nœuds de calcul terminent leur simulation et restent inactifs pendant que le sous-système de stockage traite les données vides. Ces nœuds inactifs consomment toujours de l’énergie – une puissance potentiellement importante – tout en ne faisant rien de productif. La visualisation in situ évite cela entièrement car l’analyse se produit en même temps que le calcul, ce qui maintient le fonctionnement de tous les nœuds.

L’étude de Tahir (2024) « basée sur l’image basée sur l’énergie » étend cette analyse plus loin, montrant que les les choix de paramètres de rendu dans les flux de travail in situ affectent la consommation d’énergie. La sélection d’algorithmes de rendu efficaces, par exemple, un rendu de volume de particules optimisé au lieu de lancer de rayons lourds, permet d’économiser de l’énergie supplémentaire. Le choix « vert » est important même à l’intérieur des pipelines in situ.

Pourquoi cela est important pour votre flux de travail

Si vous exécutez des simulations sur des ressources HPC partagées, la consommation d’énergie affecte directement :

• Temps de l’horloge murale — Simulations plus rapides sont terminées plus tôt, réduisant le temps de calcul perdu
• Attribution des ressources — De nombreux centres HPC allouent du temps en fonction des heures de nœud consommées
• Impact environnemental — De grandes simulations peuvent consommer des mégawatts-heures d’énergie

Pour les PIS gérant les budgets des subventions et les administrateurs HPC évaluant l’utilisation des ressources, l’argument énergétique est une raison légitime de prendre en compte in situ même lorsque la taille des données est gérable.

Ce que nous vous recommandons : si votre simulation dépasse quelques gigaoctets de sortie par exécution, les économies d’énergie à elles seules justifient in situ. Pour les travaux HPC à grande échelle, les économies d’environ 43 % sont suffisamment importantes pour être prises en compte dans la conception de votre flux de travail, pas seulement une bonne chose.

In-situ comme outil de débogage et d’alerte rapide

C’est là que notre article introduit un territoire vraiment nouveau que les guides existants ne couvrent pas bien. La visualisation in situ ne consiste pas seulement à voir les résultats plus rapidement, c’est une stratégie de débogage pour les simulations numériques.

Attraper la divergence avant que cela ne vous coûte

Lorsqu’une simulation diverge, qu’il s’agisse d’une instabilité numérique, d’une incompatibilité physique des paramètres ou d’un problème de qualité de maillage, le coût est composé à chaque pas de temps. Si vous enregistrez des données pour le post-traitement et découvrez la divergence après 50 jours de base ont été consommés, c’est un résultat dévastateur.

La visualisation in situ vous donne rétroaction visuelle immédiate. Vous pouvez repérer les divergences, les instabilités ou les anomalies dès qu’elles se développent et arrêter la simulation avant qu’elle ne gaspille des millions d’heures de base. Le rapport DAG de Bennett (2019) sur la visualisation in situ le décrit comme le concept de « tableau de données de simulation » – en utilisant la visualisation en temps réel pour le débogage visuel, la co-programmation et la direction.

Plusieurs études renforcent ce modèle :

• Les exemples pratiques de CFD de Kitware (2024) décrivent la « détection précoce des erreurs grâce à un retour visuel immédiat » comme un avantage de base
• Les travaux de surveillance des défauts basés sur le ML de Sandia (Shaaban 2026, Shead 2023) utilisent des pipelines in situ pour la détection d’anomalies
• Le guide des meilleures pratiques Excellerat (2022) encadre la visualisation en temps réel comme un outil de prévention des erreurs pour les flux de travail ExaScale

Cas d’utilisation de débogage pratique

Voici des scénarios où la visualisation in situ est payante comme outil de débogage :

• Simulations physiques couplées — Repérer les violations de l’énergie ou de la conservation de la masse avant qu’elles ne s’aggravent
• Raffinement de maillage adaptatif (AMR) — Vérification de la qualité du maillage et de la logique de raffinement au fur et à mesure de son développement
• Turbulence et CFD — Détection d’oscillations non physiques, d’artefacts de choc ou de diffusion numérique
• Réaction-diffusion et champ de phase — Identification des interfaces instables ou dérive des paramètres

L’idée clé : vous n’attendez pas la fin de la simulation pour savoir si elle se comporte correctement. Vous savez pendant qu’il est en cours d’exécution.

Ce que nous vous recommandons : si votre simulation est coûteuse en calcul (plus de quelques heures sur plusieurs nœuds) ou physiquement couplée, exécutez-la sur place avec au moins une visualisation de diagnostic – une tranche via une variable clé, un graphique temporel ou une isosurface. Même une seule parcelle in situ peut vous faire économiser des jours de perte de temps.

Cadre de décision : 6 critères pour guider votre choix

Le cadrage classique de la « taille des données » comme facteur décisif est incomplet. Le guide des meilleures pratiques Excellerat (2022) et plusieurs études de flux de travail HPC suggèrent un ensemble plus riche de critères. Voici six facteurs à peser lors du choix entre in situ et post-traitement.

1. suffisance de la bande passante d’E/S

Question : Votre système a-t-il suffisamment de bande passante d’E/S pour écrire vos ensembles de données complets à la fréquence dont vous avez besoin ?

Pourquoi : si les E/S sont déjà saturées par votre simulation, l’ajout d’ensembles de données de visualisation complètes peut provoquer des conflits d’E/S qui ralentissent la simulation elle-même. In-situ contourne entièrement le chemin d’E/S pour la visualisation.

2. Contraintes de quota de stockage

Question : êtes-vous contraint par les quotas de stockage ou les politiques d’archives ?

Pourquoi : de grandes simulations peuvent générer des téraoctets de sortie. Si votre quota de stockage est fixe, in situ réduit le montant que vous devez économiser tout en préservant les informations dont vous avez besoin.

3. Besoins de résolution temporelle

Question : Avez-vous besoin d’observer des phénomènes temporels à grain fin (par exemple, auto-inflammation dans la combustion, propagation des ondes, cascades de turbulence) ?

Pourquoi : l’exemple de converge/combustion de Kitware (2024) montre comment in situ peut sauver les isosurfaces de la température et du gradient de pression à haute fréquence – des phénomènes de capture qui seraient perdus si l’ensemble de données complet était écrit à une fréquence inférieure. L’ensemble de données complet de ce cas était d’environ 100 Go, mais in situ réduit les données enregistrées à ~100 Mo tout en préservant les fonctionnalités critiques.

4. Prévisibilité de l’analyse

Question : savez-vous ce que vous voulez visualiser à l’avance ou explorerez-vous librement ?

Pourquoi : des pipelines in situ sont définis avant ou pendant l’exécution de la simulation. Vous ne pouvez pas les modifier de manière interactive. Si vous découvrez de nouveaux phénomènes ou itérez des paramètres de visualisation, le post-traitement vous donne la flexibilité.

5. Tolérance aux conflits de ressources

Question : pouvez-vous tolérer les ressources de calcul consommées par la visualisation exécutée parallèlement à la simulation ?

Pourquoi : la visualisation in situ partage des ressources de calcul avec la simulation. Si votre simulation est déjà limitée en ressources, l’ajout de code de visualisation peut le ralentir. L’analyse des tensions de Moreland (2016) couvre en détail ce compromis.

6. Besoins d’archives et de réanalyse

Question : devrez-vous réanalyser cet ensemble de données plus tard avec de nouveaux filtres ou différents paramètres de visualisation ?

Pourquoi : Il s’agit du compromis le plus souvent négligé. Lorsque vous rejetez des données brutes sur place après avoir produit des représentations réduites (bases de données de cinéma, isosurfaces, statistiques), vous perdez la possibilité de réanalyser avec de nouveaux filtres. Les utilisateurs qui passent sur in situ sans planifier leur archivage expriment souvent des regrets de ne pas conserver les données brutes.

Ce que nous recommandons : exécutez ce cadre de décision par rapport à votre simulation spécifique. Si 4+ critères penchent vers in situ, c’est probablement le bon choix. Si 4+ penche vers le post-traitement, respectez le flux de travail traditionnel. Si les critères sont divisés de manière égale, la stratégie hybride (section suivante) peut être votre meilleur chemin.

La stratégie hybride : standard moderne

La norme émergente pour les flux de travail HPC matures n’est pas « in-situ vs post-traitement » – c’est les deux.

Le modèle est simple : effectuez la réduction des données et l’extraction de fonctionnalités in situ, puis génèrez une visualisation en transit sur les données réduites. L’exemple canonique est le workflow Catalyst-Adios2 : Catalyst effectue une réduction des données in situ (extrait des isosurfaces, calcul des statistiques, génération de bases de données de cinéma) et ADIOS2 transporte les ensembles de données réduits vers des nœuds de visualisation pour une exploration post-hoc.

Cette approche capte les avantages des deux mondes :

• Réduction in situ Élimine les goulots d’étranglement et les temps d’inactivité (économies d’énergie)
• Exploration en transit Préserve la flexibilité pour l’analyse itérative
• Enregistrement sélectif signifie que vous n’écrivez que les données dont vous avez réellement besoin

La vue d’ensemble de l’aperçu HPC plus large de Kitware 2025 encadre ce modèle par défaut pour les flux de travail « Exascale-Ready ». L’article ARXIV 2024 « In situ in situ in situ hybrid analysis with catalyseur-adios2 » décrit en détail le modèle moderne typique.

Flux de travail hybride pratique

1. Définir les pipelines de visualisation et d’analyse avant le début de la simulation (scripts Catalyst, recettes d’ascension)
2. Exécuter la simulation avec réduction des données in situ – extraire les fonctionnalités dont vous avez besoin pendant son exécution
3. Moniteur via des tracés ou des instantanés en temps réel pour le débogage et la direction
4. Enregistrer uniquement les ensembles de données réduits (pas l’état de simulation complet)
5. Post-processus sur les données réduites à l’aide de ParaView, de Visit ou de votre outil préféré

C’est ce que le guide des meilleures pratiques Excellerat (2022) recommande comme modèle de « meilleure pratique » pour la visualisation à grande échelle.

Ce que nous vous recommandons : si vous exécutez des simulations à grande échelle (100 Go par exécution, multi-noeuds ou cluster HPC), adoptez la stratégie hybride par défaut. Il vous donne les avantages de performances et d’énergie d’In-Situ sans sacrifier la flexibilité analytique du post-traitement. Seul le post-traitement pur est logique lorsque vos ensembles de données sont suffisamment petits pour que les frais généraux d’E/S soient négligeables.

Lorsque le post-traitement gagne toujours

In-situ attire beaucoup l’attention, mais le post-traitement reste le bon choix dans plusieurs scénarios importants. Ne l’abandonnez pas entièrement, utilisez-le stratégiquement.

Analyse exploratoire

Si vous développez de nouvelles techniques de visualisation, testez des pipelines d’analyse ou simplement explorez un ensemble de données sans savoir ce dont vous aurez besoin, le post-traitement est inégalé. Vous pouvez charger les données, appliquer des filtres arbitraires et itérer. Les pipelines in situ ne peuvent offrir cette flexibilité, ils nécessitent une logique prédéfinie.

Petits jeux de données

Si votre simulation produit moins de quelques gigaoctets par exécution et s’exécute sur un seul nœud ou un petit cluster, la surcharge d’E/S du post-traitement est probablement négligeable. La flexibilité du post-traitement l’emporte sur le coût des performances mineurs.

Développement d’algorithmes

Lorsque vous développez de nouvelles méthodes numériques, testez les taux de convergence ou itérez les paramètres du solveur, vous avez besoin de la fidélité des données. Le post-traitement préserve chaque pas de temps et chaque champ. Réduction in situ rejette les informations que vous regretterez peut-être plus tard d’avoir perdu.

Archivage et reproductibilité

Si votre simulation fait partie d’une étude publiée ou d’un flux de travail reproductible, le post-traitement vous donne une piste d’audit claire : les fichiers de données brutes, les scripts de post-traitement, les visualisations résultantes. Le compromis « perte de données » de l’état de simulation brute in situ après l’extraction rend la reproductibilité plus difficile lorsque vous devez réanalyser avec de nouvelles méthodes.

Quand choisir le post-traitement plutôt que sur in situ

Utilisez le post-traitement lorsque :

• Votre ensemble de données est suffisamment petit pour que les frais généraux d’E/S soient acceptables
• Vous avez besoin d’une analyse itérative et exploratoire
• Vous développez ou testez de nouvelles techniques de visualisation
• La reproductibilité et l’archivage nécessitent une conservation complète des données
• Vous n’avez pas accès à des outils compatibles in situ ou à l’expertise en intégration

Brief paysage d’outil

Vous n’avez pas besoin de créer une infrastructure in situ à partir de zéro. Plusieurs outils matures rendent l’intégration simple.

Catalyseur Paraview

La bibliothèque in situ la plus largement adoptée. Paraview Catalyst fournit une petite API stable pour les codes de simulation afin d’exposer les structures de données en mémoire au moteur de traitement de Paraview. Une fois instrumenté avec Catalyst, un code de simulation peut exploiter toutes les capacités d’analyse et de visualisation de Paraview.

• Meilleur pour : simulations de CFD, de combustion et multiphysiques à grande échelle
• Exemple : Converge CFD utilise un catalyseur pour l’analyse de combustion in situ (Kitware 2024)
• Complexité d’intégration : modéré — nécessite une instrumentation initiale, puis exécute des scripts Catalyst en tant que pipelines prédéfinis

Ascension

Un cadre léger in situ de KitWare conçu pour une intégration facile. Ascent fournit un langage de recette simple basé sur YAML pour définir des pipelines in situ sans connaissances approfondies en C++.

• Meilleur pour : les équipes qui souhaitent une intégration rapide in situ sans changements de code profonds
• Complexité d’intégration : faibles – recettes YAML, intégration minimale en C++ requise
• Limitation : écosystème plus petit que le catalyseur ; Moins mature pour les déploiements Exascale

Visitez Libsim

La bibliothèque in situ pour la visite. Similaire à Catalyst mais intégré à l’écosystème Visit.

• Meilleur pour : des équipes déjà investies dans l’écosystème Visit
• Complexité d’intégration : modéré — nécessite une instrumentation libsim

damaris

Un nouveau cadre in situ basé sur des normes, conçu pour la portabilité entre les outils de visualisation. Damaris utilise une API standardisée qui dissocie la simulation des backends de visualisation spécifiques.

• Meilleur pour : déploiements multi-écosystèmes (envie d’utiliser plusieurs outils de visualisation)
• Complexité d’intégration : plus élevé : une chaîne d’outils plus récente et moins établie
• Notable : gagner du terrain dans les communautés HPC européennes

Guide de sélection d’outils

Le Guide des meilleures pratiques Excellerat (2022) fournit des tableaux de comparaison détaillés pour les interfaces in situ et les recommandations d’outils à Exascale. Leur analyse suggère que Catalyst est l’option la plus mature pour les flux de travail HPC de production, avec Ascent comme une alternative légère et solide.

Résumé + Étapes suivantes

Choisir entre la visualisation in situ et le post-traitement n’est pas une question binaire « ce qui est mieux ». Il s’agit d’une décision de conception de flux de travail qui doit tenir compte de la taille des données, de l’énergie, des besoins de débogage, de la flexibilité et des considérations d’archives.

Voici notre recommandation distillée en trois principes :

1. Pour les simulations HPC à grande échelle (100+ GB, multi-nœud), adoptez la stratégie hybride : réduction in situ avec une économie sélective, suivie d’un post-traitement sur les données réduites. Cela vous donne les économies d’énergie (~43 % de réduction d’énergie totale par étude VT), les avantages du débogage et la flexibilité analytique dont vous avez besoin.
2. Pour les simulations de petite et moyenne taille (10 Go, à nœud unique ou à petit cluster), le post-traitement est généralement plus simple et plus flexible. N’ajoutez pas de complexité in situ à moins que vous n’ayez spécifiquement besoin des avantages du débogage ou de l’énergie.
3. Envisagez toujours le débogage. Même si vous choisissez le post-traitement pour le flux de travail principal, l’exécution d’au moins un tracé de diagnostic in situ (un historique de temps, une tranche de clé ou un moniteur de convergence) peut vous faire économiser des heures de temps perdu en cas de divergence.

Prochaines étapes pratiques

• Si votre flux de travail actuel est purement post-traitement et que vous exécutez de grandes simulations : évaluez le catalyseur ou l’ascension pour la réduction des données in situ. Même une simple tranche prédéfinie ou un pipeline de statistiques réduira les E/S et les temps d’inactivité.
• Si vous utilisez déjà in situ mais que vous n’avez pas exploré le débogage : ajoutez au moins une visualisation d’alerte précoce (tracé de l’histoire du temps, isosurface d’un champ clé ou détection d’anomalies). Le concept de « Simulation Dashboard » du rapport DAG (2019) est un bon point de départ.
• Si vous planifiez des workflows d’archives : décidez des données brutes à conserver avant de passer à in situ. Ne supprimez pas l’état de simulation dont vous pourriez avoir besoin pour une analyse future.

La décision de visualisation est l’un des rares choix de flux de travail de simulation qui a un impact direct sur les performances et la qualité de la perspicacité. Faites-le bien et vos simulations s’exécutent plus rapidement, économisez de l’énergie et récupérez les erreurs tôt. Ne vous trompez pas et vous perdez du temps, du stockage et des phénomènes potentiellement manqués que vous ne pouvez pas réanalyser. Utilisez ce cadre pour faire un choix éclairé.

Guides connexes

Pour une couverture plus approfondie sur des sujets connexes, voici quelques ressources supplémentaires de notre site :

• Visualisation in situ : intégration de la visualisation pendant le calcul : notre guide complet sur l’infrastructure, les outils et les modèles de mise en œuvre in situ.
• Vissive vs Paraview : Choisir le bon outil pour vos données de simulation – Une comparaison des deux cadres de visualisation les plus utilisés pour les données scientifiques.
• Bibliothèque de visualisation distribuée d’illuminateur — Présentation d’un outil spécialisé pour le rendu et le stockage en parallèle.
• Gérer les problèmes de PDE à grande échelle : stratégies, solveurs et études de cas HPC : stratégies pour résoudre efficacement les problèmes de calcul massifs.
• problèmes dominés par advection : schémas au vent et stabilisation du SUPG — Orientation pratique pour les techniques de stabilisation dans la CFD simulations.

Références et sources citées dans cet article :

• Kitware (2024). L’analyse des données in situ apporte des résultats plus rapides et des informations accélérées
• Adhinarayanan et al. (2015). Sur la nature des pipelines de visualisation in situ et post-traitement
• Adhinarayanan et al. (2017). Caractérisation du pouvoir de modélisation & Énergie pour la visualisation in situ
• Bennett, J. (2019). Rapport DAG : visualisation in situ
• Moreland, K. (2016). Les tensions de la visualisation in situ
• Excellerat (2022). Meilleures pratiques et outils de visualisation, de gestion des données et d’analyse chez ExaScale
• Tahir, M. (2024). Analyse vers une image basée sur l’énergie basée sur l’image in situ