{"id":541,"date":"2026-07-22T08:18:02","date_gmt":"2026-07-22T08:18:02","guid":{"rendered":"https:\/\/matforge.org\/?p=541","raw":"https:\/\/matforge.org\/?p=541"},"modified":"2026-07-22T08:18:02","modified_gmt":"2026-07-22T08:18:02","slug":"benchmark-suites-scientific-solvers","status":"publish","type":"post","link":"https:\/\/matforge.org\/es\/benchmark-suites-scientific-solvers\/","title":{"rendered":"Benchmark Suites para solucionadores cient\u00edficos: SCIML, DOE Sparse Solvers y ASU Mittelmann","raw":"Benchmark Suites para solucionadores cient\u00edficos: SCIML, DOE Sparse Solvers y ASU Mittelmann"},"content":{"rendered":"Reading Time: <\/span> 10<\/span> minutes<\/span><\/span>
\n

La evaluaci\u00f3n comparativa es esencial cuando los investigadores necesitan comparar solucionadores num\u00e9ricos, modelos de aprendizaje autom\u00e1tico, bibliotecas de \u00e1lgebra lineal escasa o software de optimizaci\u00f3n. Un solucionador que funcione bien en una ecuaci\u00f3n, matriz, tolerancia o plataforma de hardware puede comportarse de manera muy diferente en otro conjunto de condiciones.<\/p>\n

Un punto de referencia \u00fatil debe proporcionar definiciones de problemas repetibles, mediciones de precisi\u00f3n consistentes, entornos de computaci\u00f3n controlada e informes transparentes. Tambi\u00e9n debe coincidir con el tipo de software que se est\u00e1 evaluando. Un integrador de ODE, un operador neural, un solucionador directo escaso y un optimizador con restricciones de PDE no resuelven el mismo problema y no deben compararse a trav\u00e9s del mismo conjunto de pruebas.<\/p>\n

El panorama de la computaci\u00f3n cient\u00edfica incluye varios recursos importantes de referencia. ScimlBenchmarks se centra en la eficiencia del solucionador de ecuaciones diferenciales. PDEBench proporciona conjuntos de datos y tareas de evaluaci\u00f3n para el aprendizaje autom\u00e1tico cient\u00edfico. HPCG representa cargas de trabajo escasas e intensivas en memoria en computadoras de alto rendimiento. SuiteSparse suministra matrices de aplicaciones reales. La colecci\u00f3n ASU Mittelmann admite comparaciones de software de optimizaci\u00f3n, incluidos problemas con restricciones de PDE.<\/p>\n

Por qu\u00e9 los puntos de referencia del solucionador necesitan categor\u00edas claras<\/h2>\n

La palabra solver<\/i> puede describir varios tipos diferentes de software. Un integrador de tiempo avanza una ODE o PDE semidiscretizada. Un solucionador lineal escaso calcula la soluci\u00f3n de un sistema de matriz. Un operador neural aproxima la asignaci\u00f3n entre las entradas y las salidas de PDE. Un solucionador de optimizaci\u00f3n minimiza un objetivo y satisface las restricciones.<\/p>\n

Estas herramientas requieren diferentes criterios de evaluaci\u00f3n. Los integradores de tiempo se comparan com\u00fanmente a trav\u00e9s de evaluaciones de errores, tiempo de ejecuci\u00f3n y funciones. Los solucionadores escasos requieren colecciones de matriz, mediciones de memoria, recuentos de iteraciones y resultados de escalado. Los modelos cient\u00edficos de ML necesitan m\u00e9tricas de capacitaci\u00f3n e inferencia, pruebas de generalizaci\u00f3n y comparaciones con soluciones de referencia num\u00e9rica.<\/p>\n

Una suite de benchmark solo es \u00fatil cuando su clase de problema coincide con el prop\u00f3sito del solucionador.<\/p>\n

Principales familias de referencia<\/h2>\n\n\n\n\n\n\n\n\n
Recurso de referencia<\/th>\nClase de problema principal<\/th>\nEvaluaci\u00f3n t\u00edpica<\/th>\nMejor uso<\/th>\n<\/tr>\n
ScimlBenchmarks<\/td>\nODES, SDES, DAES, semidiscretizaciones de PDE y modelos relacionados<\/td>\nDiagramas de precisi\u00f3n de trabajo, temporizaci\u00f3n, error y comparaciones de solucionador<\/td>\nComparaci\u00f3n de algoritmos de ecuaci\u00f3n diferencial<\/td>\n<\/tr>\n
PDEBENCH<\/td>\nConjuntos de datos PDE dependientes del tiempo para ML cient\u00edfica<\/td>\nError de predicci\u00f3n, calidad de despliegue, entrenamiento y rendimiento de inferencia<\/td>\nComparaci\u00f3n de los sustitutos de PDE neural y modelos de aprendizaje de operador<\/td>\n<\/tr>\n
HPCG<\/td>\nCarga de trabajo lineal escasa estructurada en sistemas HPC<\/td>\nRendimiento y escalabilidad a nivel del sistema<\/td>\nEvaluaci\u00f3n de c\u00f3mo el hardware de HPC maneja las operaciones escasas representativas<\/td>\n<\/tr>\n
Colecci\u00f3n Matrix SuiteSparse<\/td>\nMatrices escasas reales de muchas \u00e1reas de aplicaci\u00f3n<\/td>\nRuntime, memoria, convergencia, robustez y comportamiento de factorizaci\u00f3n<\/td>\nPrueba de algoritmos de matriz escasa y bibliotecas de solucionador<\/td>\n<\/tr>\n
Asu Mittelmann<\/td>\nOptimizaci\u00f3n continua, discreta y restringida por PDE<\/td>\nRuntime, instancias resueltas, optimizaci\u00f3n y robustez<\/td>\nComparaci\u00f3n de software de optimizaci\u00f3n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Clarificar nombres de referencia no verificados<\/h2>\n

Las notas informales del proyecto y los borradores de investigaci\u00f3n generados a veces se refieren a suites llamadas \u00abhimas\u00bb o \u00abscibase\u00bb. Estos nombres no deben ser tratados como referentes del solucionador cient\u00edfico establecidos sin una publicaci\u00f3n precisa, repositorio o fuente institucional.<\/p>\n

Cuando se discute la evaluaci\u00f3n de disperso solucionador, es m\u00e1s seguro hacer referencia al recurso real que se utiliza, como HPCG, SuiteSparse o una comparaci\u00f3n documentada que involucre a PetSc, Trilinos, Hypre o Superlu.<\/p>\n

PetSc, Trilinos, Hypre y Superlu son bibliotecas de soluci\u00f3n en lugar de una suite de referencia combinada. Los investigadores pueden compararlos en las mismas matrices o cargas de trabajo de PDE, pero el protocolo de prueba debe definirse por separado.<\/p>\n

ScimlBenchmarks<\/h2>\n

ScimlBenchMarks<\/a> proporciona comparaciones reproducibles para algoritmos de ecuaci\u00f3n diferencial. Su cobertura incluye ODE no r\u00edgida y r\u00edgida, ecuaciones diferenciales estoc\u00e1sticas, ecuaciones diferencial-algebraicas, problemas de valores de contorno y sistemas PDE seleccionados despu\u00e9s de la discretizaci\u00f3n espacial.<\/p>\n

La herramienta de evaluaci\u00f3n central es el diagrama de precisi\u00f3n de trabajo. Cada solucionador se ejecuta con varios ajustes de tolerancia o configuraciones num\u00e9ricas. El error medido se traza contra el costo computacional, como el tiempo de ejecuci\u00f3n, el n\u00famero de evaluaciones del lado derecho u otra m\u00e9trica de trabajo.<\/p>\n

Un solucionador que aparece m\u00e1s cerca de la regi\u00f3n inferior izquierda del diagrama generalmente proporciona un error m\u00e1s bajo a menor costo. Ning\u00fan punto es suficiente porque las clasificaciones de solucionador pueden cambiar a medida que cambia la precisi\u00f3n solicitada.<\/p>\n

Lo que revelan los diagramas de precisi\u00f3n de trabajo<\/h3>\n

Suponga que el Solver A es m\u00e1s r\u00e1pido en tolerancias sueltas, pero se vuelve ineficiente cuando se requiere una alta precisi\u00f3n. El solucionador B puede tener un mayor costo de configuraci\u00f3n, pero escalar mejor a medida que la tolerancia se vuelve m\u00e1s estricta. Una sola comparaci\u00f3n en tiempo de ejecuci\u00f3n ocultar\u00eda esta distinci\u00f3n.<\/p>\n

El an\u00e1lisis de precisi\u00f3n de trabajo hace visible la compensaci\u00f3n de precisi\u00f3n versus costo. Es particularmente \u00fatil para los integradores de tiempo adaptativos porque sus recuentos de pasos y las evaluaciones de funciones dependen de la tolerancia solicitada.<\/p>\n

Comparaciones entre idiomas<\/h3>\n

Las colecciones de benchmark de SCIML pueden incluir algoritmos a los que se accede a trav\u00e9s de diferentes ecosistemas de software. Las pruebas entre idiomas requieren cuidado porque la sobrecarga de contenedor, la compilaci\u00f3n, la asignaci\u00f3n de memoria, los valores predeterminados del solucionador y las definiciones de control de errores pueden afectar el resultado.<\/p>\n

Una comparaci\u00f3n justa debe utilizar ecuaciones equivalentes, condiciones iniciales, tolerancias, tiempos de salida, informaci\u00f3n jacobiana y criterios de parada.<\/p>\n

Pdebench para el aprendizaje autom\u00e1tico cient\u00edfico<\/h2>\n

pdebench<\/a> est\u00e1 dise\u00f1ado para la investigaci\u00f3n de aprendizaje autom\u00e1tico que involucra sistemas f\u00edsicos basados en PDE. Proporciona c\u00f3digo, conjuntos de datos, modelos de referencia y herramientas de evaluaci\u00f3n para comparar sustitutos aprendidos en varias familias de ecuaciones.<\/p>\n

Los conjuntos de datos asociados incluyen problemas como advecci\u00f3n, ecuaci\u00f3n de hamburguesas, sistemas de reacci\u00f3n de difusi\u00f3n, sorci\u00f3n de difusi\u00f3n, ecuaciones compresibles de Navier-Stokes, flujo de Darcy y ecuaciones de aguas poco profundas.<\/p>\n

Los investigadores pueden usar los datos suministrados para evaluar los operadores neurales de Fourier, las redes convolucionales, los modelos autorregresivos y otros enfoques cient\u00edficos de ML sin generar de forma independiente cada conjunto de datos de simulaci\u00f3n.<\/p>\n

\u00bfQu\u00e9 medidas de PDEBENCH<\/h3>\n

La evaluaci\u00f3n de un modelo PDE aprendido requiere m\u00e1s que un solo error al cuadrado medio. Las medidas \u00fatiles pueden incluir:<\/p>\n