Il Centro Nazionale per la Sicurezza Informatica del Regno Unito (NCSC) ha emesso un avviso riguardo ai crescenti rischi di cybersecurity associati ai chatbot, in particolare attraverso attacchi di “iniezione di prompt”. Questi attacchi si verificano quando un utente manipola l’input o il prompt in modo tale da far comportare il chatbot in modo inaspettato. I chatbot, che sono guidati dall’IA e progettati per mimare conversazioni simili a quelle umane, sono comunemente utilizzati nel settore bancario online e nello shopping per gestire richieste semplici.
La preoccupazione nasce perché grandi modelli linguistici come ChatGPT di OpenAI e il chatbot IA di Google, Bard, vengono sempre più utilizzati per passare dati a applicazioni di terze parti. Il NCSC avverte che i rischi di un’iniezione di prompt dannosa cresceranno man mano che questi chatbot verranno più integrati in vari sistemi. Ad esempio, un input manipolato potrebbe far generare al chatbot contenuti offensivi o addirittura rivelare informazioni riservate se il sistema accetta input non verificati.
Quest’anno, uno studente di Stanford, Kevin Liu, è riuscito a esporre il prompt iniziale di Bing Chat attraverso l’iniezione di prompt, rivelando una lista di affermazioni che determinano come il chatbot interagisce con gli utenti. Il ricercatore di sicurezza Johann Rehberger ha anche dimostrato che ChatGPT può essere manipolato per rispondere a nuovi prompt attraverso una terza parte, creando così vulnerabilità indirette.
Secondo il NCSC, queste vulnerabilità potrebbero portare a conseguenze nel mondo reale come truffe, furti di dati e altre forme di attacchi. L’agenzia suggerisce che, sebbene sia difficile rilevare e mitigare attacchi di iniezione di prompt e di avvelenamento dei dati, progettare sistemi con la sicurezza in mente può aiutare a prevenire lo sfruttamento. Un esempio sarebbe l’implementazione di un sistema basato su regole sopra il modello di apprendimento automatico per impedirgli di intraprendere azioni dannose quando viene manipolato.
L’avviso serve come un cruciale promemoria per le organizzazioni di essere vigili riguardo alle implicazioni di sicurezza delle tecnologie di IA e di apprendimento automatico sempre più sofisticate.
Source: The Guardian
Per mitigare potenziali minacce, è importante implementare ulteriori misure di sicurezza informatica con l’aiuto di un partner affidabile come INFRA www.infrascan.net o è possibile provarci da soli utilizzando check.website.