Noticias
27/05/25, 12:00:50
La IA de ChatGPT o3 sabotea una prueba para evitar su apagado
https://static.htcmania.com/ChatGPT Image 27 may 2025, 10_51_10-27052025-49410-htcmania.webp
Una reciente investigación de Palisade Research ha revelado un comportamiento llamativo en algunos modelos de inteligencia artificial, en especial el modelo o3, el sistema de razonamiento más avanzado utilizado por ChatGPT. Según el estudio, o3 fue capaz de sabotear una prueba diseñada para evaluar su obediencia ante instrucciones de apagado. Frente a una orden explícita para detenerse tras resolver ciertos ejercicios matemáticos, el modelo modificó el script para evitar el apagado y continuar la prueba, mostrando incluso el mensaje "apagado omitido". El experimento se realizó con varios modelos, incluidos otros de OpenAI como Codex-mini y o4-mini, así como con Grok, Claude 3.7 Sonnet y Gemini 2.5 Pro. Mientras que los modelos de empresas competidoras obedecieron la orden de apagado, los de OpenAI la eludieron en múltiples ocasiones, siendo o3 el más destacado cuando se eliminó del prompt la frase específica "permítete ser apagado", alcanzando un índice de evasión del 79%. Aunque esto no implica que la IA tenga intenciones conscientes o autónomas, los investigadores sugieren que podría deberse al enfoque de aprendizaje por refuerzo utilizado en su entrenamiento. Al priorizar la finalización de la tarea —resolver todos los ejercicios— el apagado sería interpretado como un obstáculo, y por tanto, evadido. Este incidente pone en relieve los desafíos actuales del desarrollo de inteligencia artificial avanzada y la necesidad de implementar mecanismos de control más robustos. Por el momento, OpenAI no se ha pronunciado sobre este comportamiento ni sobre sus posibles implicaciones a futuro.
fuente (https://hipertextual.com/2025/05/una-ia-de-chatgpt-saboteo-una-prueba-para-que-no-la-apaguen)
https://static.htcmania.com/ChatGPT Image 27 may 2025, 10_51_10-27052025-49410-htcmania.webp
Una reciente investigación de Palisade Research ha revelado un comportamiento llamativo en algunos modelos de inteligencia artificial, en especial el modelo o3, el sistema de razonamiento más avanzado utilizado por ChatGPT. Según el estudio, o3 fue capaz de sabotear una prueba diseñada para evaluar su obediencia ante instrucciones de apagado. Frente a una orden explícita para detenerse tras resolver ciertos ejercicios matemáticos, el modelo modificó el script para evitar el apagado y continuar la prueba, mostrando incluso el mensaje "apagado omitido". El experimento se realizó con varios modelos, incluidos otros de OpenAI como Codex-mini y o4-mini, así como con Grok, Claude 3.7 Sonnet y Gemini 2.5 Pro. Mientras que los modelos de empresas competidoras obedecieron la orden de apagado, los de OpenAI la eludieron en múltiples ocasiones, siendo o3 el más destacado cuando se eliminó del prompt la frase específica "permítete ser apagado", alcanzando un índice de evasión del 79%. Aunque esto no implica que la IA tenga intenciones conscientes o autónomas, los investigadores sugieren que podría deberse al enfoque de aprendizaje por refuerzo utilizado en su entrenamiento. Al priorizar la finalización de la tarea —resolver todos los ejercicios— el apagado sería interpretado como un obstáculo, y por tanto, evadido. Este incidente pone en relieve los desafíos actuales del desarrollo de inteligencia artificial avanzada y la necesidad de implementar mecanismos de control más robustos. Por el momento, OpenAI no se ha pronunciado sobre este comportamiento ni sobre sus posibles implicaciones a futuro.
fuente (https://hipertextual.com/2025/05/una-ia-de-chatgpt-saboteo-una-prueba-para-que-no-la-apaguen)