La IA generativa exagera y alucina: escucha a los expertos

Los expertos han demostrado que la IA generativa (específicamente los grandes modelos de lenguaje) alucinan, adulan, exageran y encuentran relaciones causales donde no las hay. 

Por ejemplo, en uno de los experimentos del IALAB, la IA generativa tituló que los “Ovnis impulsan la innovación”, lo que claramente es una ilusión causal si observamos la información en el prompt introducido. En esta nota te compartimos un paper del equipo de investigación de frontera (FAIR) dirigido por María Victoria Carro, que revela en qué medida está presente el sesgo de ilusión de causalidad en los modelos de lenguaje al generar titulares en el contexto del periodismo científico. 

La ilusión de causalidad: dime lo que quiero escuchar

En el paper se documenta la experiencia trabajando sobre noticias periodísticas y el uso de IA generativa para armar titulares. Los resultados demuestran “ilusión de causalidad” y de exageración, dependiendo del tipo de modelo de lenguaje utilizado: Claude 3.5 Sonnet demostró un mejor rendimiento, seguido por ChatGPT en su versión GPT4o mini. También indican que, si el usuario introduce la opinión o preferencia en el prompt para realizar la tarea, el modelo la espeja y puede condicionar sus respuestas para seguir esa narrativa. Una versión sofisticada de “espejito espejito” o de la frase: “dime lo que quiero escuchar”.

Este trabajo es pionero en la evaluación de grandes modelos de lenguaje para detectar lo que se llama “ilusión de causalidad como sesgo cognitivo”. Esto es importante, porque reproducir estos sesgos suele contribuir al prejuicio social, la formación de estereotipos o la desinformación, lo que en ciertos casos puede conducir a graves consecuencias para la salud. 

¿Cómo mitigar todo esto? Un aspecto fundamental es formar a los usuarios en el uso de técnicas de prompting, que aprendan a desplegar estrategias o marcos de mitigaciones de sesgos y, esencialmente, que personas expertas filtren y editen las respuestas. La formación para conocer y manejar estas herramientas se convierte en la clave para aprovechar la IA sin caer en trampas o sesgos.

Accede al paper completo Are UFOs Driving Innovation? The Illusion of Causality in Large Language Models 

Un hito para destacar: profesores de doinGlobal en el evento más importante del mundo sobre inteligencia artificial

El paper fue realizado por el equipo de investigación de frontera (FAIR) dirigido por María Victoria Carro (coautora principal) y  fue aceptado para ser presentado en la Conferencia internacional Neural Information Processing Systems (NeurIPS): el evento más importante del mundo sobre inteligencia artificial. Marca Victoria ha trabajado la publicación junto al equipo de expertos de UBAIALAB, que conforman el cuerpo docente de nuestras formaciones en IA. 

La participación en este evento marca un hito para nuestros referentes y para nuestras formaciones, ya que allí se presentan los papers que se convierten en los más citados en la industria. Lo más destacado: el equipo estará presentando en el mismo workshop en el que es panelista Giambattista Parascandolo, miembro de Open IA y uno de los responsables detrás del último modelo “frutilla” de ChatGPT.

Adquiere competencias para la toma de decisión gestionando proyectos y equipos que involucren la inteligencia artificial, explorando sus oportunidades potenciales en diferentes contextos y procesos. Participa en la nueva edición del MBA en Implementación de IA generativa y accede a nuevas oportunidades laborales.

También puedes conocer más oportunidades de formación para impulsar tu carrera profesional en el contexto de la revolución de la IA en AI Academy.