{"id":908,"date":"2026-07-30T12:23:15","date_gmt":"2026-07-30T12:23:15","guid":{"rendered":"https:\/\/matforge.org\/?p=908","raw":"https:\/\/matforge.org\/?p=908"},"modified":"2026-07-30T12:23:15","modified_gmt":"2026-07-30T12:23:15","slug":"benchmark-suites-scientific-solvers","status":"publish","type":"post","link":"https:\/\/matforge.org\/de\/benchmark-suites-scientific-solvers\/","title":{"rendered":"Benchmark-Suiten f\u00fcr wissenschaftliche L\u00f6ser: SCIML, DOE Sparse Solver und ASU Mittelmann","raw":"Benchmark-Suiten f\u00fcr wissenschaftliche L\u00f6ser: SCIML, DOE Sparse Solver und ASU Mittelmann"},"content":{"rendered":"Reading Time: <\/span> 7<\/span> minutes<\/span><\/span>
\n

Benchmarking ist wichtig, wenn Forscher numerische Solver, maschinelle Lernmodelle, sp\u00e4rliche lineare Algebra-Bibliotheken oder Optimierungssoftware vergleichen m\u00fcssen. Ein Solver, der sich auf einer Gleichung, Matrix, Toleranz oder Hardware-Plattform gut abschneidet, kann sich unter anderen Bedingungen sehr unterschiedlich verhalten.<\/p>\n

Ein n\u00fctzlicher Benchmark sollte wiederholbare Problemdefinitionen, konsistente Genauigkeitsmessungen, kontrollierte Rechenumgebungen und transparente Berichte liefern. Es sollte auch mit der Art der bewerteten Software \u00fcbereinstimmen. Ein ODE-Integrator, ein neuronaler Operator, ein sp\u00e4rlicher direkter Solver und ein PDE-beschr\u00e4nkter Optimierer l\u00f6sen nicht das gleiche Problem und sollten nicht durch dieselbe Testsuite verglichen werden.<\/p>\n

Die wissenschaftliche Rechenlandschaft umfasst mehrere wichtige Benchmark-Ressourcen. ScimlBenchmarks konzentriert sich auf die Effizienz der Differentialgleichung. Pdebench bietet Datens\u00e4tze und Evaluierungsaufgaben f\u00fcr wissenschaftliches maschinelles Lernen. HPCG stellt sp\u00e4rliche, speicherintensive Workloads auf Hochleistungscomputern dar. Suitesparse liefert Matrizen aus realen Anwendungen. Die ASU Mittelmann Collection unterst\u00fctzt Vergleiche von Optimierungssoftware, einschlie\u00dflich PDE-beschr\u00e4nkter Probleme.<\/p>\n

Warum Solver-Benchmarks klare Kategorien ben\u00f6tigen<\/h2>\n

Das Wort Solver<\/i> kann verschiedene Arten von Software beschreiben. Ein Zeitintegrator r\u00fcckt eine ODE oder halbdiskretisierte PDE vor. Ein sp\u00e4rlicher linearer Solver berechnet die L\u00f6sung eines Matrixsystems. Ein neuronaler Operator n\u00e4hert sich der Zuordnung zwischen PDE-Eing\u00e4ngen und -Ausg\u00e4ngen. Ein Optimierungsl\u00f6ser minimiert ein Ziel und erf\u00fcllt gleichzeitig die Einschr\u00e4nkungen.<\/p>\n

Diese Tools erfordern unterschiedliche Bewertungskriterien. Zeitintegratoren werden \u00fcblicherweise durch Fehler-, Laufzeit- und Funktionsbewertungen verglichen. Sp\u00e4rliche Solver erfordern Matrixsammlungen, Speichermessungen, Iterationszahlen und Skalierungsergebnisse. Wissenschaftliche ML-Modelle ben\u00f6tigen Schulungs- und Inferenzmetriken, Generalisierungstests und Vergleiche mit numerischen Referenzl\u00f6sungen.<\/p>\n

Eine Benchmark-Suite ist nur dann n\u00fctzlich, wenn ihre Problemklasse dem Zweck des Solvers entspricht.<\/p>\n

Wichtige Benchmark-Familien<\/h2>\n\n\n\n\n\n\n\n\n
Benchmark-Ressource<\/th>\nHauptproblemklasse<\/th>\nTypische Auswertung<\/th>\nBeste Verwendung<\/th>\n<\/tr>\n
Scimlbenchmarks<\/td>\nODE, SDES, DAES, PDE-Halbdiskretisierungen und verwandte Modelle<\/td>\nArbeitsgenauigkeitsdiagramme, Timing-, Fehler- und Solver-Vergleiche<\/td>\nVergleich von Differentialgleichungsalgorithmen<\/td>\n<\/tr>\n
Pdebench<\/td>\nZeitabh\u00e4ngige PDE-Datens\u00e4tze f\u00fcr wissenschaftliche ML<\/td>\nVorhersagefehler, Rollout-Qualit\u00e4t, Training und Inferenzleistung<\/td>\nVergleich von neuronalen PDE-Surrogaten und Operator-Lern-Modellen<\/td>\n<\/tr>\n
HPCG<\/td>\nStrukturierter sp\u00e4rlicher linearer Arbeitsaufwand bei HPC-Systemen<\/td>\nLeistung und Skalierbarkeit auf Systemebene<\/td>\nAuswertung, wie die HPC-Hardware den repr\u00e4sentativen Sparse-Vorgang handhabt<\/td>\n<\/tr>\n
SuiteParse-Matrix-Sammlung<\/td>\nEchte sp\u00e4rliche Matrizen aus vielen Anwendungsbereichen<\/td>\nLaufzeit, Speicher, Konvergenz, Robustheit und Faktorisierungsverhalten<\/td>\nTesten von sp\u00e4rlichen Matrixalgorithmen und Solver-Bibliotheken<\/td>\n<\/tr>\n
ASU Mittelmann<\/td>\nKontinuierliche, diskrete und PDE-beschr\u00e4nkte Optimierung<\/td>\nLaufzeit, gel\u00f6ste Instanzen, Optimalit\u00e4t und Robustheit<\/td>\nVergleichen der Optimierungssoftware<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Kl\u00e4rung nicht verifizierter Benchmark-Namen<\/h2>\n

Informelle Projektnotizen und generierte Forschungsentw\u00fcrfe beziehen sich manchmal auf Suiten, die als \u201eHIMAS\u201c oder \u201eScibase\u201c bezeichnet werden. Diese Namen sollten ohne eine genaue Ver\u00f6ffentlichung, ein Repository oder eine institutionelle Quelle nicht als etablierte wissenschaftliche Solver-Benchmarks behandelt werden.<\/p>\n

Bei der Er\u00f6rterung der Sparse-Solver-Bewertung ist es sicherer, auf die tats\u00e4chlich verwendete Ressource wie HPCG, Suitesparse oder einen dokumentierten Vergleich mit PETSC, Trilinos, Hypre oder Superlu zu verweisen.<\/p>\n

PETSC, Trilinos, Hypre und Superlu sind Solver-Bibliotheken und nicht eine kombinierte Benchmark-Suite. Die Forscher k\u00f6nnen sie mit denselben Matrizen oder PDE-Workloads vergleichen, das Testprotokoll muss jedoch separat definiert werden.<\/p>\n

Scimlbenchmarks<\/h2>\n

scimlbenchmarks <\/a> bietet reproduzierbare Vergleiche f\u00fcr Differentialgleichungsalgorithmen. Seine Abdeckung umfasst nicht steife und steife Oden, stochastische Differentialgleichungen, differential-algebraische Gleichungen, Randwertprobleme und ausgew\u00e4hlte PDE-Systeme nach r\u00e4umlicher Diskretisierung.<\/p>\n

Das zentrale Bewertungswerkzeug ist das Arbeitspr\u00e4zisionsdiagramm. Jeder Solver wird mit mehreren Toleranzeinstellungen oder numerischen Konfigurationen ausgef\u00fchrt. Der gemessene Fehler wird gegen Rechenkosten wie Ausf\u00fchrungszeit, Anzahl der rechten Auswertungen oder eine andere Arbeitsmetrik aufgetragen.<\/p>\n

Ein Solver, der n\u00e4her am unteren linken Bereich des Diagramms erscheint, liefert im Allgemeinen einen geringeren Fehler bei niedrigeren Kosten. Kein einziger Punkt ist ausreichend, da sich die Ranglisten des Solvers \u00e4ndern k\u00f6nnen, wenn sich die angeforderte Genauigkeit \u00e4ndert.<\/p>\n

Welche Arbeitspr\u00e4zisionsdiagramme zeigen<\/h3>\n

Angenommen, der Solver A ist bei losen Toleranzen schneller, wird aber ineffizient, wenn eine hohe Genauigkeit erforderlich ist. Solver B hat m\u00f6glicherweise h\u00f6here Einrichtungskosten, skaliert jedoch besser, wenn die Toleranz strenger wird. Ein einzelner Laufzeitvergleich w\u00fcrde diese Unterscheidung verbergen.<\/p>\n

Die Analyse der Arbeitsgenauigkeit macht den Kompromiss zwischen Genauigkeit und Kosten sichtbar. Es ist besonders n\u00fctzlich f\u00fcr adaptive Zeitintegratoren, da ihre Schrittz\u00e4hlungen und Funktionsbewertungen von der angeforderten Toleranz abh\u00e4ngen.<\/p>\n

sprach\u00fcbergreifende Vergleiche<\/h3>\n

SCIML-Benchmark-Sammlungen k\u00f6nnen Algorithmen umfassen, auf die \u00fcber verschiedene Software-\u00d6kosysteme zugegriffen wird. Das sprach\u00fcbergreifende Testen erfordert Sorgfalt, da Wrapper-Overhead, Kompilierung, Speicherzuweisung, Solver-Standardeinstellungen und Fehlerkontrolldefinitionen das Ergebnis beeinflussen k\u00f6nnen.<\/p>\n

Ein fairer Vergleich sollte \u00e4quivalente Gleichungen, Anfangsbedingungen, Toleranzen, Ausgabezeiten, Jacobi-Informationen und Stoppkriterien verwenden.<\/p>\n

Pdebench f\u00fcr wissenschaftliches maschinelles Lernen<\/h2>\n

pdebench<\/a> wurde f\u00fcr maschinelles Lernen entwickelt, an denen PDE-basierte physikalische Systeme beteiligt sind. Es bietet Code, Datens\u00e4tze, Basismodelle und Bewertungswerkzeuge zum Vergleichen erlernter Surrogate \u00fcber mehrere Gleichungsfamilien hinweg.<\/p>\n

Die zugeh\u00f6rigen Datens\u00e4tze umfassen Probleme wie Advektion, Burger-Gleichung, Diffusionsreaktionssysteme, Diffusionssorption, komprimierbare Navier-Stokes-Gleichungen, Darcy-Fluss und Flachwasser-Gleichungen.<\/p>\n

Die Forscher k\u00f6nnen die bereitgestellten Daten verwenden, um Fourier-Neuraloperatoren, Faltungsnetzwerke, autoregressive Modelle und andere wissenschaftliche ML-Ans\u00e4tze zu bewerten, ohne unabh\u00e4ngig jeden Simulationsdatensatz zu generieren.<\/p>\n

Was pdebench misst<\/h3>\n

Die Bewertung eines gelernten PDE-Modells erfordert mehr als einen einzelnen mittleren Quadratfehler. N\u00fctzliche Messungen k\u00f6nnen sein:<\/p>\n