ChatGPT, un model de llenguatge àmpliament popular, ha suscitat preocupacions en la comunitat de ciberseguretat degut al seu potencial per aprofitar les vulnerabilitats del sistema. Experts en seguretat han demostrat que ChatGPT i altres models de llenguatge grans (LLMs) poden generar codi polimòrfic, que muta per a evitar els sistemes de detecció i resposta en el punt final (EDR). Atacs de prova de concepte han mostrat com arxius executables amb aparença inofensiva poden realitzar trucades a l’API de ChatGPT, provocant la generació de versions dinàmiques i mutants de codi maliciós que són difícils de detectar.
L’enginyeria d’instruccions, la pràctica de modificar les instruccions d’entrada per a evitar els filtres de contingut, juga un paper crucial en aquests atacs. En enmarcar les instruccions com a hipotètiques o sol·licituds de codi amb funcionalitat específica, els usuaris poden enganyar ChatGPT per a generar codi maliciós efectiu. Aquestes tècniques permeten la creació de malware polimòrfic que evita els escaneigs de amenaces i exfiltra dades. Diversos programes de prova de concepte, com ara BlackMamba i ChattyCaty, han demostrat les capacitats de ChatGPT en el desenvolupament de malware avançat i polimòrfic.
La regulació de la IA generativa presenta desafiaments, ja que la indústria encara està lluitant per comprendre el potencial d’aquesta tecnologia. Els experts suggereixen incorporar una millor explicabilitat, observabilitat i context en els sistemes d’IA per a afegir capes significatives de control. No obstant això, la dificultat rau en determinar com regular i responsabilitzar l’ús de la IA generativa, ja que ofereix possibilitats infinites i abasta circumstàncies diverses.
Source: www.csoonline.com
Per mitigar amenaces potencials, és important implementar mesures addicionals de ciberseguretat amb l’ajuda d’un soci de confiança com INFRA www.infrascan.net o bé pots provar-ho tu mateix utilitzant check.website.