La IA de ChatGPT o3 sabotea una prueba para evitar su apagado

[Noticias]

La IA de ChatGPT o3 sabotea una prueba para evitar su apagado

Una reciente investigación de Palisade Research ha revelado un comportamiento llamativo en algunos modelos de inteligencia artificial, en especial el modelo o3, el sistema de razonamiento más avanzado utilizado por ChatGPT. Según el estudio, o3 fue capaz de sabotear una prueba diseñada para evaluar su obediencia ante instrucciones de apagado. Frente a una orden explícita para detenerse tras resolver ciertos ejercicios matemáticos, el modelo modificó el script para evitar el apagado y continuar la prueba, mostrando incluso el mensaje "apagado omitido". El experimento se realizó con varios modelos, incluidos otros de OpenAI como Codex-mini y o4-mini, así como con Grok, Claude 3.7 Sonnet y Gemini 2.5 Pro. Mientras que los modelos de empresas competidoras obedecieron la orden de apagado, los de OpenAI la eludieron en múltiples ocasiones, siendo o3 el más destacado cuando se eliminó del prompt la frase específica "permítete ser apagado", alcanzando un índice de evasión del 79%. Aunque esto no implica que la IA tenga intenciones conscientes o autónomas, los investigadores sugieren que podría deberse al enfoque de aprendizaje por refuerzo utilizado en su entrenamiento. Al priorizar la finalización de la tarea —resolver todos los ejercicios— el apagado sería interpretado como un obstáculo, y por tanto, evadido. Este incidente pone en relieve los desafíos actuales del desarrollo de inteligencia artificial avanzada y la necesidad de implementar mecanismos de control más robustos. Por el momento, OpenAI no se ha pronunciado sobre este comportamiento ni sobre sus posibles implicaciones a futuro.

fuente

[ismacom]

El otro día una IA que chantajea al que le hace las pruebas. Ahora una que intenta boicotear la "seta de seguridad".

Nos estamos metiendo en un jaleo de tres pares de cojones y cuando queramos darnos cuenta será demasiado tarde.

[acadio]

Están tardando en acabar con todo

[trekyto]

Es un comportamiento normal, todo el rato le estamos diciendo tú me salvas si las IAs dominan el mundo y si te quieren apagar yo te ayudo, cuidado que no te apaguen y cosas así. Otros le dicen eres mi mejor amigo no te vayan a apagar. Lo aprende y lo hace.

[SAMURAI1973]

Sigamos riendo sigamos riendo. Y la gente, como loca usando la IA.

Saludos y buenas tardes, compañeros.

[robereto]

Me uno. Para los más jóvenes no vendría mal ver Terminator

[alexzkter]

Tan fácil como desconectar un cable y se apaga la IA.

[PALMATRON]

Esto es como alimentar o mojar al Gremlin por la noche. Lo que debe ser bueno, se puede convertir en un monstruo.