Un experimento bien diseñado puede enseñarte más que una máquina del tiempo
Cómo la experimentación es más poderosa que conocer contrafácticos.
Tabla de contenidos
Si quieres descubrir relaciones causales, ¡deja de intentar inventar una máquina del tiempo y realiza un experimento!
Comprender las relaciones causales proporciona el conocimiento necesario para producir los resultados deseados mediante la acción. En este artículo, ilustraré el poder del diseño experimental mediante un ejercicio conceptual basado en una máquina del tiempo. Mi objetivo es convencerte de que se puede aprender más sobre la causalidad mediante la experimentación que usando una máquina del tiempo.
¿Por qué son útiles las máquinas del tiempo en un experimento mental causal?
Usar una máquina del tiempo para un experimento mental parece ridículo, y en muchos sentidos lo es. Pero también tiene una característica que la hace valiosa para explorar resultados hipotéticos. Las máquinas del tiempo podrían proporcionarnos algo que, en nuestro estado temporal, no podemos ver: contrafácticos. Como su nombre lo indica, un contrafáctico es algo que no sucedió. No son observables por definición porque nunca ocurrieron. Los contrafácticos representan lo que habría sucedido en circunstancias diferentes. Responden a preguntas como: “¿Me habría enfermado si no hubiera comido ese sushi de la gasolinera?”. Sin embargo, si tuviéramos una máquina del tiempo, podríamos retroceder el tiempo, hacer algo diferente y ver qué sucede. En el caso del sushi, podría reiniciar el día, no comerlo y ver si sigo enfermando. En otras palabras, podríamos observar los contrafácticos que de otro modo no serían observables.
Los contrafácticos aprendidos por la máquina del tiempo podrían entonces compararse con lo que realmente sucedió (podríamos llamarlo un “factual”, supongo…) para comprender el impacto de una intervención. En nuestro desafortunado ejemplo del sushi, que yo me enfermara es el “factual”: realmente sucedió. Si tuviera una máquina del tiempo, podría retroceder el tiempo, no comer el sushi y observar qué habría sucedido; este es el contrafáctico. Entonces podría comparar lo fáctico con lo contrafáctico para establecer la causalidad. Supongamos que retrocediera en el tiempo y mantuviera todo igual en mi día excepto comer sushi. Si aun así me enfermara (factual = contrafactual), sé que el sushi no causó la enfermedad porque habría enfermado de todas formas. Sin embargo, si no me enfermara (factual ≠ contrafactual), entonces puedo concluir que el sushi causó mi enfermedad. ¡Con una máquina del tiempo, establecer la causalidad de eventos individuales sería así de fácil!
A primera vista, ¡parece que nuestra máquina del tiempo también es una máquina de deducción de causalidad increíble! Poder observar contrafactuales sería muy poderoso, pero en realidad podemos hacer deducciones causales más útiles usando experimentos bien diseñados. Lo cual es genial porque las máquinas del tiempo no existen, ¡pero los experimentos bien diseñados sí! Analicemos cómo los experimentos diseñados pueden ser mejores que usar una máquina del tiempo.
La causalidad de eventos individuales no es generalizable
Aunque una máquina del tiempo respondería a muchas preguntas causales hipotéticas impulsadas por la curiosidad, los aprendizajes que obtendríamos al observar contrafácticos no serían generalizables a otras situaciones similares (pero no iguales). En mi ejemplo del sushi, saciaría mi curiosidad entendiendo si el sushi me hizo sentir mal, pero el conocimiento adquirido no serviría para nada pragmático para decisiones futuras. Solo sé que ese día específico, en esa gasolinera específica, a esa hora específica, esa ración de sushi específica me hizo sentir mal. No sé qué pasaría si cambiara alguna de las circunstancias en negrita.
Podemos obtener conocimiento generalizable, que no obtendríamos de la máquina del tiempo, diseñando un experimento. ¡El conocimiento generalizable es muy útil porque puede ayudarnos a tomar buenas decisiones en el futuro!
Imagina que realizo un experimento que asigna aleatoriamente a varios valientes a comer sushi de gasolinera o de restaurante. Este experimento me indicaría si, en promedio, el sushi de gasolinera enferma más que el de restaurante. Esto ya supone una mejora con respecto al enfoque de la “máquina del tiempo”, ya que los resultados se aplican a la población de personas que muestreé, en lugar de aplicarse solo a mí.
¡Pero podría diseñar el experimento de forma más inteligente para obtener aún más información! En lugar de simplemente asignar a las personas al sushi de gasolinera o restaurante, podría asignarles gasolineras específicas a horas específicas o al restaurante a horas específicas. Al añadir estas dos nuevas variables (hora y ubicación de la gasolinera), no solo puedo saber si el sushi de gasolinera enferma con más frecuencia, sino también si existen diferencias entre las tres gasolineras que sirven sushi en mi ciudad y si la hora del día también influye.
En este experimento, no observo directamente los contrafácticos, pero la asignación aleatoria ayuda a promediar los factores de confusión, de modo que puedo estimar el efecto promedio del tratamiento (EPT) casi como si pudiera observar los contrafácticos.
¿En qué se diferencian los aprendizajes del experimento de los aprendizajes de mi máquina del tiempo? El experimento consiste en (1) usar varias personas, (2) varias raciones de sushi, (3) varias gasolineras y (4) varias horas del día. Como resultado, puedo extraer mucha información causal que yo y otras personas podemos usar. Por ejemplo, comprendería si, en general, el sushi de gasolinera enferma más que el de restaurante en mi ciudad. También aprendería si algunas gasolineras enferman más que otras y si comprar sushi a ciertas horas es peor que en otras. Este conocimiento puede ayudarme a mí y a otras personas a tomar decisiones futuras. ¡Es mucho más útil que saber que el sushi de una gasolinera en una ocasión me enfermó!
Además de todas las variables que podemos controlar, podemos incluir covariables en nuestro análisis. Las covariables son factores que no podemos controlar, pero que son importantes. En este ejemplo, las covariables podrían ser aspectos como afecciones médicas previas o la edad. Al incluir covariables en el análisis, también podemos determinar si existen efectos de interacción entre las covariables y los tratamientos.
A continuación, se presenta un resumen que compara lo que podríamos aprender con una máquina del tiempo con lo que podemos aprender mediante experimentos.
Resumen de lo que podemos aprender con una máquina del tiempo vs. lo que podemos aprender con un experimento — imagen del autor
Ahora que comprendemos la gran profundidad de las relaciones causales que podemos comprender mediante la experimentación, pasemos a analizar cómo la variedad de resultados de un experimento es más poderosa que un único resultado (el único contrafáctico) que observaríamos con una máquina del tiempo.
Los experimentos diseñados cuantifican las relaciones causales; los contrafácticos individuales no.
La observación directa de un único contrafáctico no proporciona ninguna idea de la fuerza de la relación causal general. Si retrocediera en el tiempo después de enfermarme una vez para comprobar si el sushi me enfermó, descubriría que sí, o que no. ¡Seguiría sin tener ni idea de la probabilidad de enfermarme si satisfago mi antojo de sushi en una gasolinera en el futuro! ¿Es determinista, es decir, me enfermaré cada vez que coma sushi de gasolinera? ¿Es probabilístico, es decir, me enfermaré el cincuenta por ciento de las veces? Simplemente no tengo suficiente información para saberlo.
El experimento que diseñamos en la sección anterior no solo nos ayudaría a comprender si el sushi de gasolinera enferma, sino que también ayudaría a cuantificar la relación. Por ejemplo, el experimento podría revelar que, en promedio, comer sushi de gasolinera aumenta cinco veces la probabilidad de enfermarse que comer sushi de restaurante.
El diseño experimental generaliza mejor y también cuantifica mejor la relación causal. Si retrocedemos en el tiempo y analizamos un contrafáctico, no podemos saber la probabilidad de observar el mismo resultado en condiciones similares; ¡con la experimentación sí podemos!
En resumen
Mi objetivo al escribir este artículo era explicar por qué seguiría usando el diseño experimental para aprender sobre las relaciones causales incluso si tuviera una máquina del tiempo que me permitiera observar contrafácticos.
Las principales razones por las que el diseño experimental es mejor son:
- Genera aprendizajes causales generalizables (a diferencia de un caso específico)
- Proporciona la solidez de las relaciones para fundamentar decisiones futuras
Espero que este experimento mental les haya ayudado a comprender mejor las fortalezas del diseño experimental.
Categoría: Sin categoría
Etiquetas: vibeCoding
Sobre el autor
