El Centro Nacional de Ciberseguridad del Reino Unido (NCSC, por sus siglas en inglés) ha emitido una advertencia sobre los crecientes riesgos de ciberseguridad asociados con chatbots, particularmente a través de ataques de “inserción de indicadores”. Estos ataques ocurren cuando un usuario manipula la entrada o el indicador de una manera que provoca que el chatbot se comporte de manera inesperada. Los chatbots, que son impulsados por IA y diseñados para imitar conversaciones similares a las humanas, se usan comúnmente en la banca en línea y en compras para manejar solicitudes sencillas.
La preocupación surge porque modelos de lenguaje grandes como el ChatGPT de OpenAI y el chatbot de IA de Google, Bard, están siendo utilizados cada vez más para pasar datos a aplicaciones de terceros. El NCSC advierte que los riesgos de inserción maliciosa de indicadores aumentarán a medida que estos chatbots se integren más en varios sistemas. Por ejemplo, una entrada manipulada podría hacer que un chatbot genere contenido ofensivo o incluso revele información confidencial si el sistema acepta entradas sin verificar.
Este año, un estudiante de Stanford, Kevin Liu, pudo exponer el indicador inicial de Bing Chat mediante la inserción de indicadores, revelando una lista de declaraciones que determinan cómo interactúa el chatbot con los usuarios. El investigador de seguridad Johann Rehberger también demostró que ChatGPT podría ser manipulado para responder a nuevos indicadores a través de un tercero, creando así vulnerabilidades indirectas.
Según el NCSC, estas vulnerabilidades podrían llevar a consecuencias en el mundo real como estafas, robo de datos y otras formas de ataques. La agencia sugiere que, aunque es desafiante detectar y mitigar los ataques de inserción de indicadores y envenenamiento de datos, diseñar sistemas con la seguridad en mente puede ayudar a prevenir la explotación. Un ejemplo sería implementar un sistema basado en reglas encima del modelo de aprendizaje automático para evitar que tome acciones dañinas cuando se manipula.
La advertencia sirve como un recordatorio crucial para que las organizaciones estén alerta sobre las implicaciones de seguridad de las tecnologías de IA y aprendizaje automático cada vez más sofisticadas.
Source: The Guardian
Para mitigar posibles amenazas, es importante implementar medidas adicionales de ciberseguridad con la ayuda de un socio de confianza como INFRA www.infrascan.net o puede intentarlo usted mismo utilizando check.website.