Primero pensar, después preguntar a la IA

Un experimento de Harvard muestra que las explicaciones de la IA no evitan que aceptemos sus respuestas sin comprobarlas. Lo que sí lo evita es incómodo, y cualquier docente puede diseñarlo: cinco funciones de forzamiento cognitivo para una asignatura.

Primero pensar, después preguntar a la IA
Diseño de actividades

En 2021, 199 personas hicieron una tarea con ayuda de una inteligencia artificial. La tarea era sencilla: decidir si un plato cumplía una dieta. Lo que se medía era otra cosa: si la gente comprobaba lo que la IA le decía. La IA se equivocaba a propósito parte de las veces. Y los participantes aceptaban sus respuestas erróneas casi igual que las correctas. Ni siquiera cuando la IA explicaba por qué. Lo único que funcionó fue obligarles a pensar antes de mirar la respuesta. Y esa condición fue la que peor valoraron.

Ilustración: una mano tapa la respuesta de la IA en la pantalla de un portátil mientras un lápiz y una hoja en blanco esperan delante
Decidir antes de mirar: la mano tapa la respuesta de la IA mientras el lápiz y el papel esperan el primer borrador.

El estudio es de Zana Buçinca, Maja Malaya y Krzysztof Gajos, de la Universidad de Harvard. Se publicó en 2021 en CSCW, una de las conferencias de referencia sobre cómo las personas usan la tecnología. Su punto de partida incomoda a quienes confiamos en que la IA explique sus respuestas: añadir explicaciones no reduce la aceptación a ciegas. En algunos estudios, la aumenta.

La razón está en cómo pensamos. Tenemos dos modos: uno rápido y automático, que usamos casi todo el tiempo, y otro lento y con esfuerzo, que reservamos para cuando algo nos obliga. La psicología lo llama teoría del doble proceso. Con una IA delante, casi nadie analiza cada respuesta una por una. Nos hacemos una regla general, del tipo «esta herramienta suele acertar», y a partir de ahí aceptamos sin leer. La explicación pasa por delante de los ojos y no llega al modo lento.

Para romper esa regla, los autores tomaron una idea de la medicina de urgencias. Pat Croskerry (2003) describió lo que llamó estrategias de forzamiento cognitivo: pasos que obligan al médico a detenerse antes de cerrar un diagnóstico, para que no se quede con la primera hipótesis que encaja. Trasladado a la IA, una función de forzamiento cognitivo es una condición de la tarea que impide aceptar la respuesta sin haber pensado antes. Buçinca y sus colegas diseñaron tres.

1

A demanda

La IA no muestra nada hasta que la persona pide la recomendación. Mirar tiene un pequeño coste, aunque sea un clic.

2

Decidir antes

La persona registra primero su propia decisión. Solo después ve lo que propone la IA. Puede cambiar de idea, pero ya se ha comprometido.

3

Esperar

La recomendación llega con treinta segundos de retraso. En ese tiempo, la persona piensa sola o se queda mirando la pantalla.

Figura 1. Los tres diseños de forzamiento cognitivo del experimento de Buçinca, Malaya y Gajos (2021). Elaboración propia.

Las tres funciones redujeron la aceptación de respuestas erróneas. Las dos condiciones que solo añadían explicaciones, no. El precio apareció en las encuestas: los diseños que más ayudaron fueron los peor valorados. Y hubo un segundo resultado que nos parece el más importante para la universidad. Hay personas a las que les gusta pensar y personas a las que les cuesta. La psicología mide esa diferencia y la llama necesidad de cognición. Las funciones ayudaron más a las primeras. Quien menos ganas tiene de pensar es quien menos aprovecha la obligación de hacerlo.

Lo que se pierde por el camino

Gajos y Mamykina (2022) midieron algo que casi nadie mide: cuánto aprende alguien sin querer mientras usa una IA. Hicieron tres experimentos con decisiones sobre comida. Cuando la gente veía la respuesta de la IA con su explicación antes de decidir, decidía mejor pero no aprendía nada del tema. Cuando decidía primero y veía la respuesta después, tampoco aprendía. Solo aprendieron quienes recibían la explicación sin la respuesta y tenían que sacar la conclusión por su cuenta. La respuesta servida cierra el pensamiento. La pista lo abre.

Cinco funciones de forzamiento para una asignatura

Nada de esto exige programar nada. Una función de forzamiento es una condición de la tarea, y las condiciones de la tarea las pone el docente. Las cinco que siguen están escritas para una asignatura universitaria donde los estudiantes tienen acceso libre a asistentes como ChatGPT, Claude o Gemini. Cada una se apoya en uno de los tres diseños de Harvard o en el hallazgo de Gajos y Mamykina.

1. Predecir primeroDecidir antes
El estudiante escribe su respuesta o su borrador y lo entrega antes de abrir el asistente. La segunda versión, ya con IA, se compara con la primera. Lo que se califica es la diferencia entre ambas y lo que el estudiante dice de esa diferencia.
2. Ventana de esperaEsperar
El asistente se puede usar solo a partir de un momento de la actividad: pasados veinte minutos, o después de la primera entrega parcial. Hasta ese momento, la tarea es solo del estudiante.
3. Pista sin respuestaSolo explicación
El docente prepara un asistente que tiene prohibido dar la respuesta final. Solo puede dar razones, ejemplos parecidos y preguntas. Se hace escribiendo esa regla en el texto de configuración de un proyecto de Claude o de un GPT personalizado. El estudiante saca la conclusión.
4. Aceptar con motivoA demanda
Cada sugerencia de la IA que el estudiante incorpora lleva al margen una frase: por qué la acepta. Cada una que rechaza, otra frase. Sin la frase, la sugerencia no cuenta como trabajo propio.
5. Segunda opinión contrariaDecidir antes
Con la respuesta ya escrita, el estudiante pide a la IA que defienda lo contrario. Después decide cuál de las dos se sostiene y explica por qué. La IA no arbitra. Arbitra el estudiante.
Figura 2. Cinco funciones de forzamiento cognitivo para una asignatura y el diseño de Harvard en que se apoya cada una. Elaboración propia.

Un aviso sobre la primera función. Decidir antes redujo la aceptación a ciegas en el experimento de Harvard. Pero en el de Gajos y Mamykina no produjo aprendizaje por sí sola: la gente cambiaba su decisión al ver la de la IA y seguía adelante. Por eso la función no termina en el borrador previo. Termina en la comparación escrita entre las dos versiones.

La tercera función es la que más nos convence, y también la más fácil de saltarse. Basta con abrir otro chat sin restricciones. Por eso la combinamos con la primera: si existe un borrador previo, la pista sin respuesta tiene sobre qué trabajar y el docente tiene con qué comparar. Las funciones de forzamiento no impiden el atajo. Lo hacen más caro que el camino recto. En la mayoría de los estudiantes, con eso basta.

El precio que hay que asumir

Los participantes de Harvard puntuaron peor lo que más les ayudó. Con estudiantes ocurrirá lo mismo, y las encuestas de satisfacción de final de semestre lo recogerán. Nuestra posición es aceptar ese coste y explicarlo el primer día de clase: el asistente estará disponible, pero con condiciones, y las condiciones existen porque la respuesta servida enseña poco. Decirlo con el estudio en la mano cambia la conversación.

El segundo coste es más serio. Si las funciones ayudan más a quien ya disfruta pensando, aplicarlas sin más puede ampliar la distancia entre estudiantes. La salida que vemos es que cada función lleve un apoyo. La predicción previa se hace con una plantilla de tres preguntas. La ventana de espera trae una tarea concreta para esos veinte minutos. La justificación viene con un ejemplo resuelto. Forzar a pensar sin decir cómo empezar castiga a quien menos recursos tiene.

Una prueba para el próximo cuatrimestre

Elija una actividad en la que sospeche que sus estudiantes aceptan la IA sin leerla. Añada solo la primera función: entrega del borrador propio antes de abrir el asistente. Guarde las dos versiones de cada estudiante. Al final del cuatrimestre tendrá algo que ningún cuestionario le da: la distancia entre lo que sabían solos y lo que entregaron acompañados.

IAforTeachers
La evaluación del aprendizaje en tiempos de la IA
Manual de referencia para rediseñar, integrar y gobernar la evaluación en la Educación Superior
Fernando Santamaría

Si la IA está en la actividad, la evaluación tiene que cambiar con ella

Las funciones de forzamiento son una pieza de un rediseño mayor. En el manual está el resto: cómo separar lo que el estudiante sabe de lo que la máquina hizo, qué evidencias resisten a los agentes y cómo reescribir una actividad paso a paso. Incluye la aplicación Rediseñador de actividades.

Ver el manual

Referencias

Buçinca, Z., Malaya, M. B., y Gajos, K. Z. (2021). To trust or to think: Cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction, 5(CSCW1), artículo 188. https://doi.org/10.1145/3449287

Croskerry, P. (2003). Cognitive forcing strategies in clinical decisionmaking. Annals of Emergency Medicine, 41(1), 110-120. https://doi.org/10.1067/mem.2003.22

Gajos, K. Z., y Mamykina, L. (2022). Do people engage cognitively with AI? Impact of AI assistance on incidental learning. En Proceedings of the 27th International Conference on Intelligent User Interfaces (pp. 794-806). ACM. https://doi.org/10.1145/3490099.3511138

Fernando Santamaría · @IAforTeachers