OpenAI admite que las alucinaciones en ChatGPT son inevitables

[Noticias]

OpenAI admite que las alucinaciones en ChatGPT son inevitables

OpenAI ha publicado un nuevo paper donde reconoce que las llamadas “alucinaciones” en los modelos de lenguaje —esas respuestas erróneas pero dadas con total seguridad— son en realidad un efecto estructural inevitable en su funcionamiento actual. Estas respuestas no se deben a un fallo puntual, sino a la forma en la que se entrenan y evalúan los modelos. La compañía explica que los modelos actuales son premiados si “adivinan” una respuesta correcta, pero penalizados si dicen “no lo sé”. Esto crea una dinámica en la que los modelos prefieren inventar antes que quedarse en blanco, lo cual genera un gran número de errores. OpenAI defiende que es mejor un modelo que sepa cuándo callar a uno que responda sin certeza. Aunque la precisión ha mejorado con nuevos modelos, los sistemas de evaluación de IA siguen fomentando las alucinaciones, ya que valoran más el acierto casual que la abstención honesta. Para resolver esto, OpenAI propone rediseñar las métricas de evaluación para premiar la humildad del modelo y penalizar los errores confiados. Expertos subrayan que es un error prometer la erradicación total de las alucinaciones. En vez de eso, hay que aprender a gestionarlas y aceptar sus límites. Frente a gurús que venden prompts milagrosos, el mensaje de OpenAI es claro: ningún modelo puede evitar completamente las alucinaciones, y quien diga lo contrario, miente.

fuente

[Ipho]

Menos mal que lo admiten.

[xmigoll]

 Cita: Originalmente Escrito por Noticias

OpenAI admite que las alucinaciones en ChatGPT son inevitables

OpenAI ha publicado un nuevo paper donde reconoce que las llamadas “alucinaciones” en los modelos de lenguaje —esas respuestas erróneas pero dadas con total seguridad— son en realidad un efecto estructural inevitable en su funcionamiento actual. Estas respuestas no se deben a un fallo puntual, sino a la forma en la que se entrenan y evalúan los modelos. La compañía explica que los modelos actuales son premiados si “adivinan” una respuesta correcta, pero penalizados si dicen “no lo sé”. Esto crea una dinámica en la que los modelos prefieren inventar antes que quedarse en blanco, lo cual genera un gran número de errores. OpenAI defiende que es mejor un modelo que sepa cuándo callar a uno que responda sin certeza. Aunque la precisión ha mejorado con nuevos modelos, los sistemas de evaluación de IA siguen fomentando las alucinaciones, ya que valoran más el acierto casual que la abstención honesta. Para resolver esto, OpenAI propone rediseñar las métricas de evaluación para premiar la humildad del modelo y penalizar los errores confiados. Expertos subrayan que es un error prometer la erradicación total de las alucinaciones. En vez de eso, hay que aprender a gestionarlas y aceptar sus límites. Frente a gurús que venden prompts milagrosos, el mensaje de OpenAI es claro: ningún modelo puede evitar completamente las alucinaciones, y quien diga lo contrario, miente.

fuente

Coño, pasa lo mismo que en los call centers si el cliente rellama en 24, 48 o 72 horas, al operador le penalizan en los kpi's y tienden a inventarse soluciones. También son alucinaciones

[lovechii]

Es que todo chatGPT son alucinaciones, pero con un porcentaje alto de aciertos.

[pochitor]

ChaTHC lo llaman ahora, nadie se libra de la droja buena con sus flipadas y todo.

[Ipho]

 Cita: Originalmente Escrito por lovechii

Es que todo chatGPT son alucinaciones, pero con un porcentaje alto de aciertos.

Gran resumen. A veces pregunto en sitios especializados y me dicen que pregunte a GPT... Y eso que tengo el Plus.

[Or7iZ]

La inteligencia artificial, tiene más de los segundo (artificial) que de lo primero (inteligencia).

Lo que pasa que nos tienen que vender que es la panacea para que nos acostumbremos a usarla en nuestro día a día, ya que hay grandes intereses económicos detrás.

[danilo182009]

 Cita: Originalmente Escrito por pochitor

ChaTHC lo llaman ahora, nadie se libra de la droja buena con sus flipadas y todo.

Jajaja buena!!!