La Interpretabilidad Causal Cruza el Abismo

Nuevas direcciones de investigación emergen que redefinirán las explicaciones veraces más allá de 2026

Las razones que parecen plausibles para los humanos alguna vez pasaron por “interpretabilidad”, pero la comunidad ha aprendido a las malas que lo que parece correcto a menudo no es lo que los modelos realmente utilizan. Los mapas de atención pueden parecer convincentes y aun así no superar las pruebas causales, y el razonamiento en cadena puede ser persuasivo sin ser cierto respecto al funcionamiento interno del modelo. En 2026, esa brecha se está cerrando. Una nueva ola de evaluaciones interventionales, de métodos múltiples —ejemplificada por el marco LIBERTy— impulsa a las explicaciones a cumplir un estándar más alto: demostrar fidelidad causal o ser tratadas como narraciones.

Este artículo mapea el futuro cercano de las explicaciones veraces. Traza el cambio cultural del campo de las narrativas a los mecanismos; destaca nuevos paradigmas de datos, como trazas fundamentadas en procesos, justificaciones multimodales y pares contrastivos; examina la fundamentación en trazas de programas; y explora la generalización centrada en el entorno, instrumentación que preserva la privacidad y la generación contrahecha en el propio colector de datos. Cerramos con guías sobre sistemas aumentados por herramientas, cómo las señales de evaluación pueden moldear el entrenamiento, salvaguardias contra el juego de métricas y problemas abiertos para 2026 y más allá.

Avances en la Investigación

De las narrativas a los mecanismos: el giro interventional

La idea central es simple pero rigurosa: una explicación es fiel si captura los factores y caminos causales que el modelo realmente utilizó, no solo una historia plausible. Ese estándar obliga a realizar intervenciones. A nivel de entrada, los protocolos de eliminación-inserción y las curvas AUC prueban si las características priorizadas por una explicación son necesarias y/o suficientes: las explicaciones fieles provocan caídas pronunciadas al eliminar e incrementos fuertes al insertar. ROAR (remover y reentrenar) fortalece las afirmaciones de necesidad al mostrar que eliminar características supuestamente importantes aún degrada el rendimiento incluso después de reentrenar, controlando la capacidad del modelo para reajustar las alternativas.

La dependencia contrahecha va más allá de la eliminación: ediciones semánticas mínimas —negaciones, cuantificadores o el intercambio de un solo atributo— deberían voltear tanto las atribuciones de la explicación como la salida del modelo en la dirección esperada. CheckList formaliza estas ediciones de comportamiento a escala. Para evitar artefactos fuera del colector de datos por eliminación, pruebas de inserción complementarias y contrahechos validados por humanos ayudan a asegurar que las ediciones sean fluidas y semánticamente bien formadas.

Las intervenciones a nivel de representación llevan la causalidad dentro del modelo. El parcheo de activaciones/caminos sustituye activaciones internas de un ejemplo contrahecho en mediadores hipotetizados; si la salida cambia de acuerdo, esas características son conductos causales. El análisis de mediación y la abstracción causal formalizan las hipótesis de caminos y cuantifican efectos directos/indirectos. Los autoencoders dispersos (SAEs) prometen aboliciones y parches de características más detallados y semánticamente alineados, apretando el vínculo entre conceptos humanos y circuitos internos, mientras aún exigen confirmación interventional antes de afirmaciones causales.

Esta triangulación —perturbaciones a nivel de entrada, robustez contrahecha e intervenciones a nivel de representación— ancla el cambio cultural. LIBERTy lo acopla con transparencia al estilo HELM, informes de varianza de múltiples siembras y protocolos preregistrados para hacer que los resultados sean creíbles y reproducibles a escala en 2026. El resultado es una barra interventional que las explicaciones deben superar para ser llamadas fieles.

Nuevos paradigmas de datos: trazas fundamentadas en procesos, justificaciones multimodales y pares contrastivos a escala

La evaluación fiel necesita las señales de supervisión correctas. Los conjuntos de datos fundamentados en evidencia proporcionan fragmentos o frases de oro para probar la suficiencia y necesidad mínimas (ERASER, FEVER, HotpotQA). Los corpus supervisados por procesos como GSM8K y MATH permiten la verificación a nivel de pasos y ediciones contrahechas paso a paso, cruciales para indagar afirmaciones de razonamiento en cadena. Las razones basadas solo en plausibilidad (por ejemplo, e-SNLI) siguen siendo útiles pero requieren pruebas causales explícitas antes de llegar a conclusiones sobre la fidelidad.

Las tareas multimodales extienden el paradigma más allá del texto. VQA-X/ACT-X empareja justificaciones con señalización, ScienceQA combina imágenes y texto con explicaciones, A-OKVQA inyecta conocimiento del mundo en VQA con razones, VCR enfatiza el sentido común visual, y FEVEROUS mezcla texto con tablas estructuradas, cada uno ofreciendo anclajes para evaluar si las atribuciones coinciden con las modalidades que los modelos realmente usaron. Los conjuntos de contraste y los pares mínimamente editados adversariales/diagnósticos sondean directamente la dependencia contrahecha y los cambios en la explicación a escala.

LIBERTy también prescribe métodos de construcción para conjuntos de datos preparados para 2026: pide a los anotadores que marquen evidencia suficiente mínima y propongan contrahechos limpios, validados por revisión humana y controles automatizados; perfilen correlaciones espurias y definan divisiones de entorno/subgrupos siguiendo WILDS; y, cuando sea posible, validen pasos a nivel de proceso para garantizar corrección y minimalidad.

Fundamentación en trazas de programas: razonamiento ejecutable y referencias alineadas con circuitos

A medida que los LLMs planifican, llaman herramientas y ejecutan programas cada vez más, las explicaciones deben alinearse con lo que esos sistemas aumentados por herramientas realmente hicieron. LIBERTy evalúa el uso de herramientas y trazas de programas al eliminar herramientas o pasos de programa y medir el impacto posterior; al editar contrahechamente las salidas de herramientas; y al establecer bases en contra de historias de acción explícitas (ReAct) o programas compilados y recuperables como circuitos (Tracr). Las métricas aquí son claras: éxito bajo eliminación de herramientas, necesidad de paso y tasas de cambio debido a resultados de herramientas intervenidos. La fidelidad representacional se vuelve tratable cuando se conoce la estructura algorítmica, permitiendo pruebas a nivel de camino que conectan pasos de narrativa con mediadores causales en la red.

Generación automatizada y en el colector de contrafácticos para texto y visión

Las ediciones contrahechas son más convincentes cuando permanecen en el colector de datos. Los protocolos de LIBERTy enfatizan ediciones semánticas mínimas y pruebas de inserción complementarias para mitigar artefactos fuera del colector. Para la construcción de conjuntos de datos, prescribe contrahechos redactados por humanos validados por revisores y controles automatizados, proporcionando una base para evaluación contrahecha robusta y escalable. Aunque no se detallan herramientas específicas de automatización de extremo a extremo, la combinación de plantillas de edición definidas por comportamiento (por ejemplo, CheckList), pares contrastivos y líneas de validación apunta hacia tuberías de generación de contrahechos semi-automáticas en texto y visión en el corto plazo.

Hoja de Ruta y Direcciones Futuras

Evaluación centrada en el entorno: cambios predefinidos que prueban la generalización

Las explicaciones veraces deben desincentivar características espurias que fallan ante cambios de distribución. Las divisiones de entorno al estilo WILDS operacionalizan esta idea a través de dominios del mundo real, cuantificando si la estabilidad de atribución predice la estabilidad de rendimiento cuando señales espurias se debilitan o cambian. La minimización del riesgo invariante ofrece una lente conceptual para juzgar si los modelos se aferran a señales causales estables a través de los entornos. Incluso en los supuestamente “simples” regímenes de visión, conjuntos de prueba con distribución emparejada como CIFAR-10.1 revelan la fragilidad de la generalización—útil para probar si las explicaciones son estables en entradas ligeramente cambiadas. LIBERTy incorpora estas pruebas centradas en el entorno en la construcción y reporte de benchmark, vinculando el comportamiento de la explicación directamente a la generalización causal.

Instrumentación que preserva la privacidad: ganchos estandarizados sin filtración

Las intervenciones a nivel de representación son poderosas, pero exponer activaciones internas puede plantear preocupaciones de seguridad y confidencialidad. LIBERTy soporta la evaluación tanto en regímenes de caja negra como de caja blanca y equilibra explícitamente la transparencia con la seguridad del sistema, llamando a la realización de pruebas de intervención y prácticas de liberación cuidadosas. Aunque no se prescriben APIs de ganchos específicos, el uso del marco de herramientas de interpretabilidad establecidas (por ejemplo, parcheo de activación con TransformerLens) sugiere un camino hacia interfaces estandarizadas, mínimamente reveladoras que permitan pruebas de mediación y parcheo sin exposición total de los internos del modelo.

Fidelidad en sistemas aumentados por herramientas: editar herramientas, medir cambios

En entornos de uso de herramientas, las explicaciones deberían citar pasos que sean comprobablemente necesarios. El protocolo de LIBERTy—eliminar herramientas/pasos de programa, editar contrahechamente salidas de herramientas y medir cambios—traduce el estándar abstracto de fidelidad causal en controles concretos, automatizables para sistemas al estilo ReAct y programas compilados. El resultado: la necesidad de paso se vuelve empíricamente comprobable en lugar de retóricamente afirmada.

Cerrando el círculo con el entrenamiento: usando señales de evaluación para formar la dependencia causal

Aunque LIBERTy es un marco de evaluación, sus métricas son señales listas para el entrenamiento. Las caídas de rendimiento al estilo ROAR después de la eliminación de características, los impactos de suficiencia/exhaustividad de ERASER, y las estimaciones de ACE de mediadores por parcheo de activación proporcionan gradientes para formar modelos hacia una dependencia causal robusta. No se proporcionan recetas de entrenamiento específicas, pero el puente está claro: usar las mismas intervenciones que validan la fidelidad para recompensar mecanismos causales estables y penalizar atajos espurios.

Protegiendo contra el juego de métricas: triangulación en lugar de puntajes únicos

Las métricas únicas invitan al sobreajuste. LIBERTy contrarresta esto con defensas multiprong: emparejar eliminación con inserción; validar contrahechos; usar ROAR para controlar la adaptabilidad; realizar pruebas de cambio ambiental; aplicar controles de cordura para capturar atribuciones degeneradas; y confirmar/falsar hipótesis a través de intervenciones a nivel de representación. La pre-registración, el informe de varianza de múltiples siembras y la transparencia al estilo HELM reducen aún más los grados de libertad y hacen visible el juego de métricas.

Impacto y Aplicaciones

LIBERTy convierte la interpretabilidad de arte en ciencia responsable. Al unificar conjuntos de datos fundamentados en evidencia y supervisados por procesos con pruebas interventionales y estresores de cambio ambiental, proporciona una vara común tanto para modelos de texto como multimodales por igual [43–46]. El informe al estilo HELM del marco, tarjetas de modelos/datos y la contabilidad computacional hacen que las comparaciones entre modelos sean creíbles; su guía ética nos recuerda que en dominios de alto riesgo, los sistemas diseñados para ser interpretables pueden seguir siendo preferibles a las explicaciones post hoc. La recompensa: explicaciones que ganan confianza al sobrevivir al escrutinio causal—no por sonar bien.

Ejemplos Prácticos

A continuación se presentan flujos de trabajo de evaluación prototípicos basados en las pruebas y conjuntos de datos prescritos por LIBERTy. Ilustran cómo los estándares causales se traducen en experimentos concretos; se reportan métricas específicas por definición de métrica, pero no se proporcionan cifras globales de rendimiento aquí (métricas específicas no disponibles).

Dependencia contrahecha en NLI: Tome un par de premisa-hipótesis y aplique una edición semántica mínima (por ejemplo, cambiar un cuantificador). Una explicación fiel que cite el cuantificador debería cambiar la atribución en consecuencia, y la etiqueta del modelo debería cambiar o moverse en la dirección esperada. Complementar con una prueba de inserción para mitigar los artefactos de eliminación y confirmar la necesidad parcheando activaciones en los tokens que median el cuantificador a los del contrafáctico; un cambio de salida correspondiente fortalece la afirmación causal.
Suficiencia/necesidad mínima en QA fundamentada en evidencia: En FEVER o HotpotQA, elimine los fragmentos de evidencia de oro y observe la caída en la confianza de soporte/respuesta del modelo (integridad). Aislar solo la evidencia (suficiencia) debería mantener la decisión si la razón es mínimamente suficiente. La AUC de eliminación-inserción para los tokens resaltados añade una vista de sensibilidad graduada, mientras que las pruebas ROAR determinan si eliminar las características más altas aún perjudica después de reentrenar, apoyando las afirmaciones de necesidad.
Razonamiento fundamentado en procesos para matemáticas: Para un ítem de GSM8K, verifique la corrección a nivel de pasos de una cadena de razonamiento, luego edite contrahechamente un paso intermedio fundamental y verifique si la respuesta final y los pasos subsiguientes cambian como se espera. Parche o elimine activaciones internas alineadas con los tokens de pasos para probar si esos pasos fueron mediadores necesarios de la respuesta final.
Señalización y justificación multimodal: En VQA-X/ACT-X, verifique que la señalización esté alineada con la justificación textual y que al ocluir la región señalada cambie materialmente la respuesta. Las ediciones contrahechas a la imagen o pregunta—validadas para plausibilidad en el colector—deberían cambiar tanto la atribución como la salida de maneras coherentes.
Trazas aumentadas por herramientas: Para un agente al estilo ReAct, elimine una llamada a herramienta (por ejemplo, quite su resultado) y mida si la respuesta final falla; altere contrahechamente la salida de la herramienta y verifique cambios de etiqueta. Con programas compilados Tracr, utilice la estructura algorítmica conocida para parchar mediadores supuestos y cuantificar ACE de mediador, vinculando pasos de narrativa a caminos causales.

Conclusión

La interpretabilidad causal está cruzando el abismo de historias plausibles a mecanismos verificados. El plano interventional y de métodos múltiples de LIBERTy—abarca dependencia contrahecha, suficiencia/necesidad mínima, robustez ambiental, y mediación—establece un estándar más alto y proporciona el andamiaje para cumplirlo. Nuevos paradigmas de datos, fundamentación en trazas de programas y pruebas centradas en el entorno amplían la cobertura; las intervenciones a nivel de representación y los SAEs ajustan la lente causal; y la transparencia al estilo HELM más los controles de cordura nos mantienen honestos. La siguiente frontera es operacional: ajustar la instrumentación que preserva la privacidad, escalar la generación contrahecha en el colector y usar señales de evaluación para formar el entrenamiento.

Puntos clave:

La plausibilidad no es fidelidad; se requiere confirmación interventional.
La triangulación a través de perturbaciones de entrada, contrahechos e intervenciones a nivel de activación es la nueva norma.
Conjuntos de datos fundamentados en evidencia y procesos, más conjuntos contrastivos y divisiones de entorno, permiten pruebas causales a escala.
Los sistemas aumentados por herramientas deben mostrar necesidad de paso mediante eliminación de herramientas y ediciones contrahechas de herramientas.
La transparencia y la pre-registración disminuyen el juego de métricas; en entornos de alto riesgo, los modelos interpretables diseñados son una elección prudente.

Próximos pasos para los equipos: adoptar la pre-registración al estilo LIBERTy; añadir datos contrastivos y divididos por entorno a su banco de pruebas; integrar eliminación-inserción, ROAR y parcheo de activación en su sistema de evaluación; y piloto de eliminación de herramientas para agentes. Mirando hacia el futuro, espere que las infraestructuras de evaluación se amplíen a través de modalidades e idiomas, y que los regímenes de entrenamiento optimicen cada vez más lo que las explicaciones prueban ser causalmente verdaderas, no solo lo que parece bueno.

—

Fuentes

url: https://arxiv.org/abs/2004.03685 título: Hacia Sistemas NLP Interpretables y Fieles relevancia: Establece la distinción entre plausibilidad y fidelidad que fundamenta el cambio hacia estándares interventionales.
url: https://arxiv.org/abs/1911.03429 título: ERASER: Un Benchmark para Evaluar Predicciones en NLP Racionalizadas relevancia: Proporciona métricas fundamentadas en evidencia (integridad/suficiencia) centrales para pruebas de suficiencia/necesidad mínima.
url: https://arxiv.org/abs/1704.03296 título: Explicaciones Interpretables de Cajas Negras mediante Perturbaciones Significativas relevancia: Introduce perturbaciones al estilo eliminación/inserción para probar necesidad/suficiencia mientras se mitigan artefactos fuera del colector.
url: https://arxiv.org/abs/1806.07421 título: RISE: Muestreo Aleatorio de Entradas para la Explicación de Modelos de Caja Negra relevancia: Proporciona una línea de base de atribución basada en perturbaciones y complementa los análisis AUC de eliminación-inserción.
url: https://arxiv.org/abs/1806.10758 título: Un Benchmark para Métodos de Interpretabilidad en Redes Neurales Profundas (ROAR) relevancia: Demuestra protocolos de eliminar y reentrenar que fortalecen las afirmaciones causales de necesidad de características.
url: https://arxiv.org/abs/1909.12434 título: Aprendiendo la Diferencia que Marca la Diferencia con Ejemplos Contrafácticos en NLI relevancia: Fundamenta pruebas de dependencia contrahecha mediante ediciones semánticas mínimas que deberían cambiar salidas y explicaciones.
url: https://arxiv.org/abs/2005.04118 título: Checklist: Un Marco de Prueba de Comportamiento para NLP relevancia: Proporciona ediciones definidas por comportamiento para pruebas contrahechas a escala.
url: https://arxiv.org/abs/2202.05262 título: Localizando y Editando Asociaciones Factuales en GPT relevancia: Sustenta intervenciones a nivel de activación (parcheo/edición) para probar mediadores causales.
url: https://github.com/neelnanda-io/TransformerLens título: TransformerLens relevancia: Herramientas para protocolos de activación/parcheo usados en pruebas causales a nivel de representación.
url: https://transformer-circuits.pub/2023/monosemantic-features/index.html título: Hacia la Monosemanticidad: Descomposición de Modelos de Lenguaje con Superposición relevancia: Avanza en el descubrimiento de características allábladas (SAEs) que permiten intervenciones causalmente alineadas.
url: https://arxiv.org/abs/2106.12482 título: Abstracciones Causales de Redes Neurales relevancia: Formaliza análisis de mediación/caminos causales para mecanismos internos.
url: https://arxiv.org/abs/2012.07421 título: WILDS: Un Benchmark de Cambios de Distribución en Entornos Reales relevancia: Establece cambios a nivel de entorno para probar invariancia y dependencia en características espurias.
url: https://arxiv.org/abs/1907.02893 título: Minimización de Riesgo Invariante relevancia: Ofrece una base conceptual para evaluar explicaciones bajo la heterogeneidad ambiental.
url: https://github.com/modestyachts/CIFAR-10.1 título: CIFAR-10.1 relevancia: Proporciona un conjunto de prueba con distribución emparejada para probar estabilidad de explicación y generalización en visión.
url: https://arxiv.org/abs/2211.09110 título: Evaluación Holística de Modelos de Lenguaje (HELM) relevancia: Informa sobre estándares de evaluación y reporte transparentes y preregistrados adoptados por LIBERTy.
url: https://arxiv.org/abs/1909.03004 título: Muestra tu Trabajo: Mejora del Informe de Resultados Experimentales relevancia: Soporta el informe de varianza múltiple, modelación jerárquica y análisis de poder para prevenir el juego de métricas.
url: https://arxiv.org/abs/1810.03292 título: Controles de Cordura para Mapas de Saliencia relevancia: Advierte sobre artefactos de explicación y motiva la triangulación de métodos múltiples.
url: https://arxiv.org/abs/1802.08129 título: Explicaciones Multimodales: Justificando Decisiones y Señalando la Evidencia relevancia: Ancla la fidelidad multimodal a través de conjuntos de datos de señalización y justificación.
url: https://arxiv.org/abs/2209.09513 título: ScienceQA relevancia: QA multimodal con explicaciones usadas para evaluar la fidelidad entre modalidades.
url: https://arxiv.org/abs/2206.01718 título: A-OKVQA relevancia: Prueba el razonamiento multimodal con conocimiento del mundo y razones.
url: https://arxiv.org/abs/1811.10830 título: Razonamiento Visual con Sentido Común (VCR) relevancia: Evalúa el sentido común visual con razones para pruebas de explicación multimodal.
url: https://arxiv.org/abs/2106.05707 título: FEVEROUS relevancia: Mezcla texto no estructurado y tablas para la verificación multimodal fundamentalmente en evidencia.
url: https://arxiv.org/abs/1809.09600 título: HotpotQA relevancia: Proporciona hechos de apoyo para pruebas de fidelidad en verificación de hechos multietapas.
url: https://arxiv.org/abs/1803.05355 título: FEVER relevancia: Proporciona evidencia de oro para probar suficiencia/necesidad mínima en verificación de hechos.
url: https://arxiv.org/abs/2110.14168 título: Entrenamiento de Verificadores para Resolver Problemas de Palabras Matemáticas (GSM8K) relevancia: Datos supervisados por procesos que permiten comprobaciones de fidelidad a nivel de pasos en razonamiento.
url: https://arxiv.org/abs/2103.03874 título: Medición de la Resolución de Problemas Matemáticos con el Conjunto de Datos MATH relevancia: Otro benchmark supervisado por procesos para evaluación a nivel de pasos.
url: https://arxiv.org/abs/2201.11903 título: La Incitación al Razonamiento en Modelos de Lenguaje mediante Sugerencias de Cadena-de-Pensamiento relevancia: Motiva las pruebas de explicación a nivel de proceso y ediciones contrahechas de pasos.
url: https://openai.com/research/improving-mathematical-reasoning-with-process-supervision título: Mejorando el Razonamiento Matemático con Supervisión de Procesos relevancia: Establece supervisión a nivel de proceso para evaluar y modelar el razonamiento intermedio.
url: https://arxiv.org/abs/2004.02709 título: Conjuntos de Contraste: Un Conjunto de Pruebas para la Comunidad NLP relevancia: Proporciona pares mínimamente editados para probar directamente la dependencia contrahecha.
url: https://arxiv.org/abs/1902.10186 título: La Atención no es Explicación relevancia: Advierte contra el tratamiento de la atención como causal sin intervenciones, catalizando el cambio en el campo.
url: https://arxiv.org/abs/1906.03731 título: La Atención no es No Explicación relevancia: Matiza el papel de la atención mientras refuerza la necesidad de intervenciones dirigidas.
url: https://arxiv.org/abs/2004.13735 título: Evaluación de la Fidelidad en Explicaciones de NLP relevancia: Revisa escollos y refuerza la necesidad de validación causal de explicaciones.
url: https://arxiv.org/abs/1810.03993 título: Tarjetas de Modelos para el Reporte de Modelos relevancia: Soporta documentación transparente que acompaña la evaluación causal.
url: https://arxiv.org/abs/1803.09010 título: Hojas de Datos para Conjuntos de Datos relevancia: Guía de documentación de conjuntos de datos crítica para evaluación reproducible, fundamentada en causalidad.
url: https://aclanthology.org/Q18-1041/ título: Declaraciones de Datos para NLP: Hacia Mitigación de Sesgo de Sistemas y la Mejor Ciencia relevancia: Fomenta la divulgación que respalda análisis a nivel ambiental y de subgrupos.
url: https://www.nature.com/articles/s42256-019-0048-x título: Deja de Explicar Modelos de Aprendizaje Automático de Caja Negra para Decisiones de Alto Riesgo y Usa Modelos Interpretables relevancia: Recuerda a los practicantes que en dominios de alto riesgo, interpretables diseñados pueden superar las explicaciones post hoc.
url: https://arxiv.org/abs/2210.03629 título: ReAct: Sinergizando Razonamiento y Actuación en Modelos de Lenguaje relevancia: Proporciona historiales de acción para sistemas aumentados por herramientas, permitiendo pruebas de necesidad de paso.
url: https://arxiv.org/abs/2301.05062 título: Tracr: Transformadores Compilados como un Laboratorio para Interpretabilidad relevancia: Proporciona programas ejecutables fundamentados en circuitos para probar la fidelidad representacional a la estructura algorítmica.
url: https://arxiv.org/abs/1711.11279 título: Interpretabilidad Más Allá de la Atribución de Características: Pruebas Cuantitativas con TCAV relevancia: Conecta características internas a conceptos humanos mientras destaca la necesidad de confirmación causal.
url: https://arxiv.org/abs/1711.05611 título: Disección de Redes: Cuantificación de la Interpretabilidad de Representaciones Visuales Profundas relevancia: Mapea neuronas a conceptos, motivando análisis a nivel de concepto pero causalmente validados.

Fuentes y Referencias

Towards Faithfully Interpretable NLP Systems Establishes the distinction between plausibility and faithfulness that underpins the shift to interventional standards.

ERASER: A Benchmark to Evaluate Rationalized NLP Predictions Provides evidence-grounded metrics (comprehensiveness/sufficiency) central to minimal sufficiency/necessity tests.

Interpretable Explanations of Black Boxes by Meaningful Perturbations Introduces deletion/insertion-style perturbations to test necessity/sufficiency while mitigating off-manifold artifacts.

RISE: Randomized Input Sampling for Explanation of Black-box Models Supplies a perturbation-based attribution baseline and complements deletion–insertion AUC analyses.

A Benchmark for Interpretability Methods in Deep Neural Networks (ROAR) Demonstrates remove-and-retrain protocols that strengthen causal claims of feature necessity.

Learning the Difference That Makes a Difference with Counterfactual Examples in NLI Grounds counterfactual dependence tests via minimal semantic edits that should flip outputs and explanations.

Checklist: A Behavioral Testing Framework for NLP Provides templated, behaviorally defined edits for scalable counterfactual testing.

Locating and Editing Factual Associations in GPT Underpins activation-level interventions (patching/editing) to test causal mediators.

TransformerLens Tooling for activation/patching protocols used in representation-level causal tests.

Towards Monosemanticity: Decomposing Language Models With Superposition Advances disentangled feature discovery (SAEs) that enable semantically aligned causal interventions.

Causal Abstractions of Neural Networks Formalizes mediation/causal pathway analyses for internal mechanisms.

WILDS: A Benchmark of in-the-Wild Distribution Shifts Establishes environment-level shifts to test invariance and spurious feature reliance.

Invariant Risk Minimization Offers a conceptual basis for evaluating explanations under environmental heterogeneity.

CIFAR-10.1 Provides a matched-distribution test set to probe generalization and explanation stability in vision.

Holistic Evaluation of Language Models (HELM) Informs transparent, preregistered evaluation and reporting standards adopted by LIBERTy.

Show Your Work: Improved Reporting of Experimental Results Supports multi-seed variance reporting, hierarchical modeling, and power analyses to prevent metric gaming.

Sanity Checks for Saliency Maps Warns of explanation artifacts and motivates multi-method triangulation.

Multimodal Explanations: Justifying Decisions and Pointing to the Evidence Anchors multimodal faithfulness via pointing-and-justification datasets.

ScienceQA Multimodal QA with explanations used to evaluate cross-modal faithfulness.

A-OKVQA Tests multimodal reasoning with world knowledge and rationales.

Visual Commonsense Reasoning (VCR) Evaluates visual commonsense with rationales for multimodal explanation tests.

FEVEROUS Blends unstructured text and tables for evidence-grounded multimodal verification.

HotpotQA Supplies supporting facts for multi-hop, evidence-grounded faithfulness tests.

FEVER Provides gold evidence for testing minimal sufficiency/necessity in fact verification.

Training Verifiers to Solve Math Word Problems (GSM8K) Process-supervised data enabling step-level faithfulness checks in reasoning.

Measuring Mathematical Problem Solving With the MATH Dataset Another process-supervised benchmark for step-level evaluation.

Chain-of-Thought Prompting Elicits Reasoning in LMs Motivates process-level explanation checks and counterfactual step edits.

Improving Mathematical Reasoning with Process Supervision Establishes process-level supervision to evaluate and shape intermediate reasoning.

Contrast Sets: A Test Suite for the NLP Community Provides minimally edited pairs to directly test counterfactual dependence.

Attention is not Explanation Cautions against treating attention as causal without interventions, catalyzing the fields shift.

Attention is not not Explanation Nuances attentions role while reinforcing the need for targeted interventions.

Evaluating Faithfulness in NLP Explanations Surveys pitfalls and reinforces the need for causal validation of explanations.

Model Cards for Model Reporting Supports transparent documentation accompanying causal evaluation.

Datasheets for Datasets Guides dataset documentation critical for reproducible, causally grounded evaluation.

Data Statements for NLP: Towards Mitigating System Bias and Enabling Better Science Encourages disclosure that supports environment-level and subgroup analyses.

Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead Reminds practitioners that in high-stakes domains, interpretable-by-design may trump post hoc explanations.

ReAct: Synergizing Reasoning and Acting in Language Models Provides action histories for tool-augmented systems, enabling step necessity tests.

Tracr: Compiled Transformers as a Laboratory for Interpretability Supplies circuit-grounded, executable programs to test representational faithfulness to algorithmic structure.

Interpretability Beyond Feature Attribution: Quantitative Testing with TCAV Connects internal features to human concepts while underscoring the need for causal confirmation.

Network Dissection: Quantifying Interpretability of Deep Visual Representations Maps neurons to concepts, motivating concept-level but causally validated analyses.