NVIDIA presenta NeMo Guardrails: barreras virtuales para chatbots

[Noticias]

NVIDIA presenta NeMo Guardrails: barreras virtuales para chatbots

Los chatbots, como ChatGPT y sus competidores, pueden desvariar a veces, generando problemas de seguridad y contenido tóxico. NVIDIA ha presentado NeMo Guardrails, un software diseñado para abordar estos problemas. Este software crea barreras virtuales para evitar que los chatbots hablen de temas indebidos, filtrando respuestas incorrectas y tóxicas antes de que lleguen al usuario. Además, NeMo Guardrails evita que los sistemas de IA ejecuten comandos dañinos y protege la información confidencial. Una característica interesante es que un chatbot puede consultar a otros modelos para verificar respuestas, en caso de no obtener confirmación, responderá "no lo sé". NeMo Guardrails es de código abierto y puede utilizarse en aplicaciones comerciales, utilizando el lenguaje de programación Colang para crear reglas personalizadas. Lo que habrá que ver es quién pone esos límites y basándose en qué premisas...

fuente

[dioxido]

IA's que controlan IA's ...
Y quien controla al controlador ??

[crusard]