El Centre Nacional de Ciberseguretat del Regne Unit (NCSC, per les seves sigles en anglès) ha emès una advertència sobre els creixents riscos de ciberseguretat associats amb chatbots, particularment a través d’atacs d'”injecció de prompts”. Aquests atacs es produeixen quan un usuari manipula l’entrada o el prompt d’una manera que fa que el chatbot es comporti de forma inesperada. Els chatbots, que són impulsats per IA i dissenyats per imitar converses semblants a les humanes, són comuns en la banca en línia i les compres per gestionar peticions senzilles.
La preocupació sorgeix perquè grans models de llenguatge com el ChatGPT d’OpenAI i el chatbot d’IA de Google, Bard, s’estan utilitzant cada cop més per passar dades a aplicacions de tercers. El NCSC adverteix que els riscos d’injecció maliciosa de prompts creixeran a mesura que aquests chatbots s’integrin més en diversos sistemes. Per exemple, una entrada manipulada podria fer que un chatbot generi contingut ofensiu o fins i tot reveli informació confidencial si el sistema accepta entrades sense verificar.
Aquest any, un estudiant de Stanford, Kevin Liu, va poder exposar el prompt inicial de Bing Chat mitjançant l’injecció de prompts, revelant una llista d’afirmacions que determinen com el chatbot interactua amb els usuaris. El investigador de seguretat Johann Rehberger també va demostrar que ChatGPT podia ser manipulat per respondre a nous prompts a través d’un tercer, creant així vulnerabilitats indirectes.
Segons el NCSC, aquestes vulnerabilitats podrien portar a conseqüències al món real com ara estafes, robatori de dades i altres formes d’atacs. L’agència suggereix que, encara que és difícil detectar i mitigar els atacs d’injecció de prompts i d’envaïment de dades, dissenyar sistemes amb la seguretat en ment pot ajudar a prevenir l’explotació. Un exemple seria implementar un sistema basat en regles a sobre del model d’aprenentatge automàtic per evitar que prengui accions perjudicials quan es manipula.
L’advertència serveix com a recordatori crucial per a les organitzacions per estar vigilants sobre les implicacions de seguretat de les tecnologies d’IA i aprenentatge automàtic cada cop més sofisticades.
Source: The Guardian
Per mitigar amenaces potencials, és important implementar mesures addicionals de ciberseguretat amb l’ajuda d’un soci de confiança com INFRA www.infrascan.net o bé pots provar-ho tu mateix utilitzant check.website.