Por: Alejandro M. Estévez, Ph.D.

^{Email: aestevez2009@gmail.com}

https://orcid.org/0000-0001-6001-7486

^{Introducción}

Este artículo tiene como objetivo resumir o caracterizar el método del “seguimiento o trazado de procesos”, usualmente conocido como”process tracing” que está cobrando importancia en los estudios de administración, evaluación de programas y políticas públicas, en la última década. 

Por ello, analizaremos sus aspectos centrales, fases y una tipología de las distintas variantes del método.

¿En qué consiste el enfoque del Seguimiento de Procesos (SP)?

Los evaluadores que utilizan este método se asemejan a “detectives” (Pawson & Tilley, 1997; Beach & Rasmus, 2019) al enfocarse en explicar, más que simplemente describir, los procesos de cambio (Bennett & Checkel, 2014). En palabras simples, buscan rastrear cómo las actividades y motivaciones de los actores/entidades se entrelazan para desencadenar cambios en el comportamiento y la acción de otros (Gerring, 2007).

Empíricamente, el SP también se asemeja al trabajo de detective al reunir un conjunto de pruebas (lo que D. Beach llama “huellas dactilares”) para determinar cómo se desarrolló la intervención en un caso concreto y si contribuyó de forma plausible al cambio de resultados en el caso bajo estudio(Beach & Pedersen, 2013).

En términos más técnicos, el SP es un enfoque de evaluación basado en la teoría para estudiar cómo funcionan las intervenciones en casos reales (Pawson & Tilley, 2004; Beach & Rasmus, 2019 a y b). Como tal, pertenece a la familia de métodos que buscan responder a las preguntas de “cómo, por qué y bajo qué circunstancias” funcionan los programas y las políticas, estudiando cómo se desarrollan en el mundo real (Gerring, 2007).

Visualmente, el SP busca comprender lo que ocurre “en el trayecto” de la flecha que vincula las intervenciones y los resultados en una teoría del cambio típica (Bennett & Checkel, 2014). Su ventaja comparativa con otros métodos radica en abrir completamente la “caja negra” de los procesos de cambio (Gerring, 2007; Beach, 2024).

El SP se suele considerar como un enfoque “cualitativo” porque tiende a basarse en pruebas cualitativas (de entrevistas, focus groups, observaciones, documentos, etc.) (Yin, 2003). Sin embargo, al igual que muchos otros enfoques de evaluación basados en la teoría, se resiste a una clasificación simple y se describe mejor como “agnóstico de métodos” (Pawson & Tilley, 2004). Puede adaptarse y utilizar una variedad de métodos de recolección y análisis de datos, sean cuantitativos o cualitativos, buscando reunir un conjunto de pruebas lo suficientemente sólido como para decidir entre la teoría del proceso de cambio que se está examinando y las explicaciones alternativas (Bennett & Checkel, 2014; Beach, 2024; Beach & Rasmus, 2019 a y b).Además, recientemente, algunos evaluadores han formalizado matemáticamente el uso del SP mediante la aplicación del teorema de Bayes (Befani, 2021 a y b; Befani & Stedman-Price; 2017 a y b).

En esencia, el SP tiene dos fases principales -que trataremos a continuación- y algunas características únicas que lo distinguen de otras evaluaciones basadas en la teoría, que destacaremos brevemente.

Fase 1 del SP: Formulación de la Teoría del Cambio del Proceso (pTOC)

La primera fase del SP consiste en formular una teoría del cambio del proceso (pTOC) (Pawson & Tilley, 2004; Beach, 2024). Una pTOC es una teoría detallada que explica cómo una intervención produjo una contribución a un resultado de interés (Gerring, 2007). Esto implica desglosar las actividades de los actores/entidades que, en conjunto, constituyen el funcionamiento interno de los programas (la flecha en la teoría del cambio).

Los actores son las personas u organizaciones que realizan las acciones, mientras que las acciones son lo que están haciendo (Cartwright & Hardie, 2012). Para comprender por qué las acciones de un actor llevaron a otros a actuar, es necesario explicitar al máximo los principios causales.

Inicialmente, los evaluadores reflexionan sobre qué “contribución” podría haber producido una intervención de manera realista y comienzan a trazar caminos de contribución plausibles entre ellas (Beach & Pedersen, 2013). Esto puede implicar recurrir a la literatura teórica existente en las ciencias sociales sobre el tema, a repositorios de evidencia evaluativa en la literatura gris o a documentos de programas y políticas.

En este sentido, el SP no limita su investigación a los objetivos declarados de la política, sino a las vías plausibles previstas hacia los resultados de interés (Bennett & Checkel, 2014). Al determinar qué contribución podría haber producido una intervención, también es importante explorar las explicaciones alternativas fuera del alcance de las actividades del programa que también podrían explicar los resultados.

El nivel de detalle proporcionado en una pToC varía. Se requiere una pToC más detallada cuando la evaluación busca producir conocimiento práctico que pueda ayudar a la implementación del proyecto (Pawson & Tilley, 2004; Beach & Rasmus, 2019). Por el contrario, si el objetivo es comprender cómo funciona un tipo de intervención en varios casos, puede ser suficiente una pToC simplificada de nivel medio (Gerring, 2007).

Fase 2 del SP – Prueba Empírica de la Teoría del Cambio del Proceso (pTOC)

La segunda fase del Seguimiento de Procesos (SP) consiste en probar la pTOC empíricamente y averiguar cómo funcionó realmente en un caso (Bennett & Checkel, 2014; Beach & Pedersen,  2019 a). El objetivo es observar cómo funcionó la intervención en un caso único y utilizar la pToC como marco para la evaluación (Gerring, 2007).

Antes de la recolección de datos, los evaluadores anticipan las “huellas dactilares” plausibles del mecanismo de cambio y determinan la evidencia necesaria para aumentar la confianza en la pTOC (Beach & Pederson, 2013). Se buscan dos tipos de evidencia:

• “Prueba del aro”: Evidencia necesaria para evitar refutar la pTOC.
• “Prueba del arma humeante”: Evidencia que aumenta significativamente la confianza en la pTOC.

Los evaluadores buscan una variedad de “huellas dactilares” diferentes, ya que cada pieza individual de evidencia suele ser poco concluyente por sí sola (Beach & Pedersen, 2019). En conjunto, las “huellas dactilares” pueden actuar como una firma única y confirmatoria de un vínculo causal específico.

La evaluación crítica de la evidencia se realiza utilizando el razonamiento bayesiano (Befani & Stedman-Pryce, 2017 a y b). Este marco lógico permite evaluar la fuerza (valor probatorio) de la evidencia, ya sea de manera informal (similar a la evaluación de la evidencia en investigaciones criminales) o formalmente mediante la aplicación del teorema de Bayes.

Los evaluadores deben hacerse las siguientes preguntas:

• Si no se encuentran las “huellas dactilares” esperadas: ¿Se tuvo acceso completo al registro empírico? ¿Se puede confiar en las fuentes?
• Si se encuentran las “huellas dactilares” esperadas: ¿Se ha interpretado correctamente la información proporcionada por las fuentes? ¿Se puede confiar en ellas?

Las cuatro variantes del SP

En su artículo de 2024, Derek Beach, establece cuatro variantes para realizar el SP. Remarca que es un método de utilizado para estudiar cómo se produce un cambio en un caso o conjunto de casos. Y las variantes se establecen en base a su enfoque por la teoría del proceso (ontología) y el tipo de evidencia que busca (epistemología).

Las variantes se agrupan en base al estudio de caso (Minimalista y Desglosada) y en base a la comparación que realizan (Comparaciones Minimalistas y Comparaciones paso a paso del proceso).

Las cuatro variantes se diferencian en dos aspectos clave:

• Su enfoque en la teoría del proceso (ontología): ¿Cómo se conceptualiza el proceso de cambio?
• El tipo de evidencia que busca (epistemología): ¿Qué tipo de datos se recopilan y analizan para estudiar el proceso?

Continuando con la caracterización de las cuatro variantes del SP, se agrupan en dos categorías principales:

1. Estudios de caso:

• Minimalista dentro de los casos: Se enfoca en encontrar “huellas” observables del proceso dentro de un caso, sin descomponer la teoría del proceso en partes. Es ideal para sondeos de plausibilidad, recursos limitados o análisis breves.
• Desglosada dentro de los casos: Descompone la teoría del proceso en acciones y relaciones entre actores, buscando “huellas” observables dentro del caso. Permite una comprensión más profunda del proceso, pero requiere más recursos y tiempo.

2. Comparaciones:

• Comparaciones minimalistas: Compara procesos entre casos utilizando contrafactuales, sin descomponer la teoría del proceso. Se utiliza para comparar procesos relativamente similares y repetidos, enfocándose en la comparación de resultados.
• Comparaciones paso a paso de procesos: Descompone la teoría del proceso y compara procesos entre casos utilizando contrafactuales. Permite analizar mecanismos causales en procesos complejos y no independientes.

Variantes de SP

Variante	Teoría (ontología)	Evidencia (epistemología)	Ejemplos de uso
Minimalista dentro de los casos	No desglosa la teoría del proceso en partes. (Beach & Pedersen, 2013)	Busca “huellas” observables del proceso dentro de un caso. (Gerring, 2007)	– Sondeo de plausibilidad – Recursos limitados – Análisis breve (Beach & Pedersen, 2013; Beach, 2024)
Desglosada dentro de los casos	Descompone la teoría del proceso en acciones y relaciones entre actores. (Beach & Pedersen, 2013)	Busca “huellas” observables del proceso dentro de un caso. (Gerring, 2007)	– Comprensión más profunda del proceso – Recursos disponibles – Investigación profunda. (Yin, 2003)
Comparaciones minimalistas	No desglosa la teoría del proceso en partes.(Beach & Pedersen, 2013)	Compara procesos entre casos utilizando contrafactuales. (Gerring, 2007)	– Procesos relativamente similares y repetidos – Comparación de resultados. (Yin, 2003)
Comparaciones paso a paso de procesos	Descompone la teoría del proceso en acciones y relaciones entre actores. (Beach & Pedersen, 2013)	Compara procesos entre casos utilizando contrafactuales. (Gering, 2007)	– Procesos complejos y no independientes – Análisis de mecanismos causales. (Yin, 2003; Beach, 2024)

Fuente: Elaboración propia en base a los textos de Beach.

La elección de la variante adecuada depende del contexto específico del estudio, la complejidad del proceso que se investiga y los recursos disponibles.

Para cerrar este punto creemos que es pertinente introducir algunas palabras clave para mejorar la comprensión del cuadro: 

• Seguimiento de procesos: Hace referencia al método de investigación utilizado (Bennett & Checkel, 2014; Beach, 2024).
• Teoría del cambio: Hace referencia a la teoría que explica cómo se produce un cambio (Beach & Pedersen, 2013; Beach 2024; Vedung, 2023).
• Causalidad: Busca explicar o describir las relaciones de causa y efecto del caso considerado (Gerring, 2007; Yin, 2003).
• Métodos de investigación: Hace referencia a las técnicas utilizadas para recopilar y analizar datos (Bennett & Checkel, 2014; Beach, 2024; Vedung, 2023).
• Evaluación de políticas: Explica el proceso de evaluar la efectividad de una política (Beach & Pedersen, 2013; Vedung, 2022, 2023).

¿Cuál es la utilidad del SP para la evaluación de administración y políticas públicas?

El seguimiento de procesos (SP) ha ganado terreno como un enfoque valioso para la evaluación de políticas, complementando los métodos cuantitativos tradicionales. Cuando se introdujo en la práctica de la evaluación, el campo de la evaluación de impacto estaba dominado por enfoques (cuasi)experimentales que se centraban en establecer el efecto medio del tratamiento de intervenciones relativamente sencillas y medibles cuantitativamente (Pawson & Tilley, 2004; Beach, 2024; Vedung, 2022 y 2023). 

Sin embargo, la necesidad de ampliar la caja de herramientas de los evaluadores se volvió cada vez más apremiante. 

Se buscaba responder a diferentes tipos de preguntas de evaluación de impacto e investigar intervenciones más complejas y menos susceptibles de cuantificación y comparaciones controladas (Bennett & Checkel, 2014; Vedung, 2023). Por ello el SP comenzó a ser más utilizado porque:

1. Buscaba explicar los procesos de cambio: El SP se centra en comprender cómo y por qué una intervención funciona en el mundo real, en lugar de solo medir su impacto cuantitativo (Beach & Pedersen, 2013; Beach, 2024).
2. Permite evaluar intervenciones complejas: El SP es especialmente adecuado para evaluar intervenciones “intangibles” o “blandas”, como el trabajo basado en el conocimiento y los datos, las campañas de promoción y comunicación, el diálogo sobre políticas en la toma de decisiones, etc. (Gerring, 2007).
3. Intenta evaluar intervenciones que cambian el comportamiento: El SP puede ser útil para evaluar el impacto de las intervenciones que se dirigen a los cambios de comportamiento entre los participantes a través de mecanismos de sensibilización e incentivos (Beach & Pedersen, 2013; Beach, 2024).

En relación a la adaptación del SP, Bennet & Checkel (2014) y Beach (2024, señalan las siguientes características: 

1. El SP permite probar y refinar las modalidades de implementación en diversos contextos (Bennett & Checkel, 2014).
2. Posibilita realizar evaluaciones piloto o de ampliación, dado que puede medir si se activan los mecanismos de cambio cuando las intervenciones se replican o amplían (Beach & Pedersen, 2013).
3. Permite realizar enfoques integrados o retrospectivos,  porquepuede utilizar para el análisis de datos, diferentes fuentes y momentos en el tiempo (Gerring, 2007).

En síntesis, el SP ofrece una serie de ventajas para la evaluación de políticas por su flexibilidad, que le permite adaptarse a una variedad de preguntas de evaluación e intervenciones. Además, puede proporcionar información valiosa sobre cómo funcionan las intervenciones en el mundo real, lo que puede ayudar a mejorar su diseño e implementación.

Fortalezas y debilidades del SP en clave comparada

En relación a las fortalezas, si se cumplen los tres criterios de calidad establecidos anteriormente, la aplicación del seguimiento de procesos aumenta significativamente nuestra capacidad para establecer un fuerte vínculo causal entre las intervenciones y los resultados, y al mismo tiempo, tener un alto poder explicativo sobre el “cómo” y el “por qué” de los procesos de cambio.

El seguimiento de procesos proporciona un marco claro para transparentar el proceso de recolección y evaluación de la evidencia, así como para triangular las fuentes de evidencia. Este proceso va mucho más allá de los enfoques típicos de estudio de caso y otros enfoques basados en la teoría. El seguimiento de procesos hace que la teoría del cambio se despliegue vívidamente ante los ojos del evaluador y le permite alcanzar una gran confianza en sus afirmaciones de impacto/contribución.

También es mucho más fácil derivar “lecciones prácticas” de un estudio de seguimiento de procesos que de muchos otros tipos de enfoques de evaluación. Debido a que enfoca la mente del evaluador en las explicaciones causales y los vínculos entre las acciones y el cambio de comportamiento, ayuda a elaborar ideas sobre cómo se deberían ajustar o modificar dichas actividades para mejorar los resultados.

El seguimiento de procesos tiene una ventaja comparativa sobre otros métodos de evaluación (de impacto) para evaluar intervenciones que no se prestan a la cuantificación o la experimentación, como el diálogo político, la contribución de la investigación, el trabajo de conocimiento y datos, las campañas de promoción y comunicación, etc.

Con respecto a las limitaciones o debilidades, el SP no es adecuado para responder a la pregunta “¿qué impacto medio tuvo una intervención en un resultado de interés?” y no debe utilizarse para cumplir este objetivo.

Si bien no necesita ser excesivamente técnico, existe una curva de aprendizaje pronunciada para dominar el seguimiento de procesos. En particular, los evaluadores necesitan familiarizarse con la creación de “pruebas empíricas” para evaluar el valor probatorio (singularidad y confiabilidad) de su evidencia; necesitan ser más rigurosos en la forma en que reconstruyen la teoría del cambio del proceso y aprovechan la literatura existente para teorizar sobre el cambio de comportamiento vinculado a acciones específicas, etc.

Por sí solo, el seguimiento de procesos tiene una validez externa débil y necesita combinarse con un diseño de casos múltiples, lo que puede resultar pesado y llevar mucho tiempo.

CONCLUSIONES 

El SP es un método de evaluación de políticas que se centra en comprender cómo y por qué funcionan las intervenciones. Se basa en la idea de que para comprender los resultados de una intervención, es necesario analizar el proceso de cambio que se produce.

En relación a las ventajas, el SP se destaca como una herramienta robusta para la evaluación, ofreciendo una serie de ventajas que lo hacen especialmente valioso para comprender los cambios complejos. En primer lugar, el SP permite establecer un fuerte vínculo causal entre las intervenciones y los resultados, lo que lo convierte en una herramienta ideal para determinar la eficacia de las acciones implementadas.

Su alto poder explicativo es otra de sus principales ventajas. El SP no solo se limita a confirmar si una intervención ha tenido éxito o no, sino que también permite desentrañar los mecanismos subyacentes que conducen a esos resultados, revelando el “cómo” y el “por qué” del cambio.

Su transparencia es otro aspecto fundamental. El SP se basa en la triangulación de diferentes fuentes de evidencia, lo que permite aumentar la confiabilidad de los hallazgos y minimizar los sesgos.

Por último, el SP es especialmente útil para evaluar intervenciones intangibles, como el diálogo político, la investigación, el trabajo de conocimiento y datos, o las campañas de comunicación. En estos casos, donde la medición de resultados es compleja, el SP ofrece un enfoque flexible y adaptable para comprender las dinámicas y los impactos de la intervención.

En resumen, el SP se presenta como una herramienta poderosa para la evaluación, capaz de establecer vínculos causales, explicar los mecanismos de cambio, garantizar la transparencia y abordar la evaluación de intervenciones intangibles. Su capacidad para ofrecer una comprensión profunda de los procesos de cambio lo convierte en una herramienta invaluable para la toma de decisiones informadas y la mejora continua de las intervenciones.

Si bien el SP presenta numerosas ventajas para la evaluación de políticas públicas, también es importante reconocer sus limitaciones:

1. Incapacidad para responder a la pregunta de impacto: El SP no está diseñado para responder a la pregunta de impacto general “¿qué impacto medio tuvo una intervención en un resultado de interés?”. Se enfoca principalmente en comprender el proceso de cambio, sin ofrecer una medición precisa del impacto global de una intervención.

2. Curva de aprendizaje pronunciada: El uso del SP requiere un equipo con habilidades y experiencia específicas. La creación de “pruebas empíricas” y la reconstrucción de la teoría del cambio son procesos complejos que demandan conocimiento y familiaridad con el método.

3. Validez externa débil: El SP por sí solo tiene una validez externa limitada, lo que significa que los resultados obtenidos no se pueden generalizar a otros contextos con facilidad. Para obtener una visión completa y generalizable, es necesario combinarlo con otros métodos de evaluación.

En general, el SP es una herramienta valiosa para la evaluación de políticas, pero debe utilizarse de forma adecuada y en combinación con otros métodos cuando sea necesario. Su capacidad para comprender el proceso de cambio lo convierte en un complemento esencial para otros métodos que se centran en medir el impacto.

Bibliografía orientativa sobre el SP

Beach, D., & Pedersen, Rasmus. (2013). Process tracing in practice: A how-to guide for policy researchers. Oxford University Press.

Beach, D., & Pedersen, Rasmus (2019a). Process tracing: A practical guide. Oxford University Press.

Beach, D., & Pedersen, Rasmus (2019b). Process Tracing Methods. Ann Arbor: University of Michigan Press.

Beach, D. (2024). Teaching process tracing methods in Public Policy. In St.Denny, E. & Zittoun, P. (Eds.), Handbook of Teaching Public Policy (pp. 233-246). Edward Elgar Publishing Ltd.

Befani, B., & Stedman-Bryce, R. (2017a). Process Tracing and Bayesian updating for impact evaluation. Evaluation, 23(1), 42-60.

Befani, B., & Stedman-Pryce, R. (2017b). Process tracing and the Bayesian approach: A case study of the UK’s climate change policy. Political Studies, 65(3), 526-544.

Befani, B. (2021a). Formalizing process tracing with Bayes’ theorem: An application to the evaluation of a public policy intervention. Political Analysis, 29(2), 343-361.

Befani, B. (2021b). Credible Explanations of Development Outcomes: Improving Quality and Rigour with Bayesian Theory-Based Evaluation. Expert Group for Aid Studies (EBA), Sweden. (Report No. 2021:03).

Bennett, A., & Checkel, J. T. (2014). Process tracing: From metaphor to method. Social Research Methods, 12(4), 343-360.

Cartwright, N., & Hardie, J. (2012). Evidence-based policy: A practical guide to doing it right. Routledge.

Cartwright, N., & Hardie, J. (2012). Evidence-based policy: A practical guide to doing it better. Oxford University Press.

D’Errico, S., Befani, B., Booker, F., & Guiliani, A. (2017). Influencing policy change in Uganda: An impact evaluation of the Uganda Poverty and Conservation Learning Group’s work. PCLG Research Report. https://www.iied.org/sites/default/files/pdfs/migrate/G04157.pdf

Ford, J. D., MacCallum, R. C., & Tait, M. (1989). Modeling the interrelationships among constructs: A confirmatory factor analysis approach to structural equation modeling. Multivariate Behavioral Research, 24(4), 467-494.

Ford, J. K., Schmitt, N., Schechtman, S. L., Hults, B. M., & Doherty, M. L. (1989). Process Tracing Methods: Contributions, Problems, and Neglected Research Questions. Organizational Behavior and Human Decision Processes, 43(1), 75–117.

George, A. L., & Bennett, A. (2005). Case studies and theory development in the social sciences. MIT Press.

Gerring, J. (2007). Case study research: Principles and practices. Cambridge University Press.

Orth, M., Schmitt, J., Krisch, F., & Oltsch, S. (2017). What we know about the effectiveness of budget support. Evaluation Synthesis, German Institute for Development Evaluation (DEval), Bonn.

Pawson, R., & Tilley, N. (1997). Realistic evaluation. Sage Publications.

Pawson, R., & Tilley, N. (2004). Evaluating policy: Theories, methods and practice. Sage Publications.

Pawson, R., & Tilley, N. (2004). Realistic evaluation. Sage.

Raimondo, E. (2020). Getting Practical with Causal Mechanisms: The Application of Process-Tracing under Real-World Evaluation Constraints. New Directions for Evaluation, Fall 2020, 45-58.

Revillard, A. (2023). Policy Evaluation: Methods and Approaches. Bibliothèque et Archives Nationales du Québec. Print ISBN: 978-2-925128-31-1.

Schulte-Mecklenbeck, M. (2011). Process tracing: A method for causal analysis in political science. Political Analysis, 19(2), 234-254.

Schulte-Mecklenbeck, M., Kühberger, A., & Ranyard, R. (Eds.). (2011). A Handbook of Process Tracing Methods for Decision Research: A Critical Review and User’s Guide. Taylor & Francis.

Vedung, E. (2022). Modelos de Evaluación de Programas y Políticas Públicas. Cuadernos Del CEDEOP, (12), 1-97. Retrieved from https://ojs.econ.uba.ar/index.php/cedeop/article/view/2291

Vedung, E. (2023). Una Tipología de los doce usos de la evaluación. Cuadernos Del CEDEOP, 2(28). Retrieved from https://ojs.econ.uba.ar/index.php/cedeop/article/view/2896

Yin, R. K. (2003). Case study research: Design and methods (4th ed.). Sage Publicati