Noticias
08/09/25, 18:00:38
OpenAI admite que las alucinaciones en ChatGPT son inevitables
https://static.htcmania.com/Gemini_Generated_Image_y83kk0y83kk0y83k-08092025-51281-htcmania.webp
OpenAI ha publicado un nuevo paper donde reconoce que las llamadas “alucinaciones” en los modelos de lenguaje —esas respuestas erróneas pero dadas con total seguridad— son en realidad un efecto estructural inevitable en su funcionamiento actual. Estas respuestas no se deben a un fallo puntual, sino a la forma en la que se entrenan y evalúan los modelos. La compañía explica que los modelos actuales son premiados si “adivinan” una respuesta correcta, pero penalizados si dicen “no lo sé”. Esto crea una dinámica en la que los modelos prefieren inventar antes que quedarse en blanco, lo cual genera un gran número de errores. OpenAI defiende que es mejor un modelo que sepa cuándo callar a uno que responda sin certeza. Aunque la precisión ha mejorado con nuevos modelos, los sistemas de evaluación de IA siguen fomentando las alucinaciones, ya que valoran más el acierto casual que la abstención honesta. Para resolver esto, OpenAI propone rediseñar las métricas de evaluación para premiar la humildad del modelo y penalizar los errores confiados. Expertos subrayan que es un error prometer la erradicación total de las alucinaciones. En vez de eso, hay que aprender a gestionarlas y aceptar sus límites. Frente a gurús que venden prompts milagrosos, el mensaje de OpenAI es claro: ningún modelo puede evitar completamente las alucinaciones, y quien diga lo contrario, miente.
fuente (https://www.genbeta.com/inteligencia-artificial/alucinan-porque-les-premiamos-adivinar-openai-explica-que-modelos-como-gpt-5-todavia-se-inventan-cosas)
https://static.htcmania.com/Gemini_Generated_Image_y83kk0y83kk0y83k-08092025-51281-htcmania.webp
OpenAI ha publicado un nuevo paper donde reconoce que las llamadas “alucinaciones” en los modelos de lenguaje —esas respuestas erróneas pero dadas con total seguridad— son en realidad un efecto estructural inevitable en su funcionamiento actual. Estas respuestas no se deben a un fallo puntual, sino a la forma en la que se entrenan y evalúan los modelos. La compañía explica que los modelos actuales son premiados si “adivinan” una respuesta correcta, pero penalizados si dicen “no lo sé”. Esto crea una dinámica en la que los modelos prefieren inventar antes que quedarse en blanco, lo cual genera un gran número de errores. OpenAI defiende que es mejor un modelo que sepa cuándo callar a uno que responda sin certeza. Aunque la precisión ha mejorado con nuevos modelos, los sistemas de evaluación de IA siguen fomentando las alucinaciones, ya que valoran más el acierto casual que la abstención honesta. Para resolver esto, OpenAI propone rediseñar las métricas de evaluación para premiar la humildad del modelo y penalizar los errores confiados. Expertos subrayan que es un error prometer la erradicación total de las alucinaciones. En vez de eso, hay que aprender a gestionarlas y aceptar sus límites. Frente a gurús que venden prompts milagrosos, el mensaje de OpenAI es claro: ningún modelo puede evitar completamente las alucinaciones, y quien diga lo contrario, miente.
fuente (https://www.genbeta.com/inteligencia-artificial/alucinan-porque-les-premiamos-adivinar-openai-explica-que-modelos-como-gpt-5-todavia-se-inventan-cosas)