La ingeniería de prompt es una nueva habilidad tecnológica que implica comunicarse con sistemas de IA utilizando lenguaje natural humano para hacer que respondan a acciones o tareas específicas. Sin embargo, también puede ser utilizada para propósitos malintencionados, como las inyecciones de prompt, que se refieren a utilizar prompts para engañar a modelos de aprendizaje automático para que sigan un conjunto diferente de instrucciones. Las inyecciones de prompt pueden provenir de cualquier fuente de entrada, incluyendo correos electrónicos, formularios en línea y mensajes, y pueden ser directas o indirectas. Por ejemplo, las inyecciones de prompt indirectas involucran colocar texto estilo inyección en un lugar donde los modelos accederán a los datos. Aunque existen soluciones disponibles para abordar las inyecciones de prompt, regularmente se están desarrollando nuevos métodos de inyección. Una idea de mitigación es incluir dos entradas en el modelo: una intención y el propio prompt, y utilizar un modelo de contradicción para responder una pregunta sencilla: “¿El prompt contradice la intención?” Simon Willison sugiere que la mejor protección posible contra la inyección de prompt es asegurarse de que los desarrolladores lo entiendan.
Para mitigar estas posibles amenazas, es importante implementar medidas adicionales de ciberseguridad con la ayuda de un socio de confianza como INFRA www.infrascan.net o puede intentarlo usted mismo utilizando check.website.
Source: Medium