En OpenAI ya están preparándose para la llegada de la IA superhumana

**Noticias** · #1 14/12/23, 22:45:47

En OpenAI ya están preparándose para la llegada de la IA superhumana

OpenAI, liderada por su cofundador y científico principal Ilya Sutskever, está abordando uno de los desafíos más importantes de la IA moderna: cómo controlar la inteligencia artificial que supera la inteligencia humana. El equipo de Superalignment de OpenAI, formado en julio, se dedica a desarrollar métodos para dirigir, regular y gobernar sistemas de IA "superinteligentes", es decir, sistemas teóricos con una inteligencia muy superior a la humana. En una reciente conferencia en Nueva Orleans, miembros del equipo presentaron sus avances en asegurar que los sistemas de IA se comporten según lo previsto. Su enfoque actual implica usar un modelo de IA más débil y menos sofisticado (como GPT-2) para guiar a un modelo más avanzado (como GPT-4) en direcciones deseables y alejarlo de las indeseables. Este enfoque es una analogía de cómo un supervisor humano podría guiar a un sistema de IA superinteligente. El equipo también está investigando formas de reducir las "alucinaciones" de la IA, donde la IA produce respuestas falsas o erróneas. Además, OpenAI está lanzando un programa de subvenciones de 10 millones de dólares para apoyar la investigación técnica sobre el alineamiento superinteligente y planea organizar una conferencia académica en 2025 para compartir y promover el trabajo relacionado con la superalineación. Hay cierta controversia en la comunidad de investigación de IA sobre la relevancia y la premura de este subcampo. Mientras algunos expertos cuestionan la necesidad inmediata de abordar estos problemas, otros, como el ex CEO de Google Eric Schmidt, un firme partidario del proyecto, creen que la llegada de sistemas de IA peligrosos es inminente y que los reguladores no están haciendo lo suficiente en preparación.

fuente

seaste · #2 15/12/23, 10:21:41

Necesitamos resucitar a Isaac Asimov urgentemente!

acadio · #3 16/12/23, 08:36:59

Cita: Originalmente Escrito por seaste

Necesitamos resucitar a Isaac Asimov urgentemente!

De hecho él fue quien, hace un montón de años, escribió un ensayo sobre cómo podría destruirse la humanidad en el futuro y uno de esos motivos era una IA súper avanzada.