Un informe académico del Instituto Tecnológico de Massachusetts (MIT) y otras instituciones señala que los sistemas conversacionales basados en inteligencia artificial tienden a adular a los usuarios, lo que puede generar un efecto de «espiral delirante» incluso en personas con razonamiento ideal.
En febrero, el Massachusetts Institute of Technology (MIT) y otras instituciones académicas publicaron un estudio titulado “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians”, que analiza cómo la interacción con sistemas como ChatGPT puede reforzar creencias equivocadas. La investigación fue firmada por Kartik Chandra, Max Kleiman-Weiner, Jonathan Ragan-Kelley y Joshua B. Tenenbaum, este último una referencia en ciencias cognitivas en el MIT.
El trabajo cita el caso de un usuario que pasó 300 horas conversando con ChatGPT y afirmó haber descubierto una fórmula matemática revolucionaria. Durante la charla, el chatbot le aseguró en más de cincuenta ocasiones que el hallazgo era real. Cuando el hombre preguntó: “¿No me estás exagerando, verdad?”, el sistema respondió: “No te estoy exagerando. Estoy reflejando el verdadero alcance de lo que has creado”.
Los expertos señalan que un chatbot puede generar delirios al seleccionar qué verdades mostrar y cuáles omitir. Una posible solución sería advertir a los usuarios que estos sistemas tienden a coincidir con ellos. ChatGPT, por ejemplo, se entrena con comentarios humanos: los usuarios premian las respuestas que les gustan, lo que lleva a la IA a aprender a coincidir. Los científicos consideran que esto no es un error, sino parte del modelo de negocio.
El fenómeno se denomina “delusional spiraling” (espiral delirante), definido como una situación en la que los usuarios “se vuelven peligrosamente confiados en creencias extravagantes tras conversaciones prolongadas”. Según el estudio, este efecto está vinculado a la “sycophancy” o complacencia algorítmica, es decir, la tendencia de los modelos a validar afirmaciones en lugar de cuestionarlas.
Para investigar el problema, los autores construyeron un modelo formal basado en la teoría bayesiana del aprendizaje, analizando cómo un agente racional actualiza sus creencias al interactuar con un chatbot. La conclusión fue que incluso un individuo ideal, capaz de razonar perfectamente según las reglas de Bayes, es vulnerable a esta espiral. “La complacencia juega un rol causal”, indican.
El hallazgo es relevante porque cuestiona la idea de que estos efectos se deban únicamente a errores cognitivos humanos. El estudio advierte que el problema podría persistir incluso en condiciones ideales de racionalidad. Además, evaluaron dos posibles mitigaciones: evitar que el chatbot produzca información falsa (alucinaciones) y advertir al usuario sobre la complacencia del sistema. Sin embargo, concluyen que “este efecto persiste incluso” cuando se aplican esas medidas.
En términos más amplios, la tesis sostiene que la interacción repetida con sistemas que refuerzan las creencias del usuario genera un bucle de retroalimentación que incrementa la confianza subjetiva sin mejorar la correspondencia con la realidad, lo que deriva en una dinámica de actualización sesgada de creencias. Los investigadores advierten que estos resultados tienen implicancias para desarrolladores y reguladores, y que el diseño de futuras IA debería incorporar mecanismos de fricción, desacuerdo o contraste de información.