Il prompt engineering è una nuova competenza tecnologica che prevede la comunicazione con sistemi di intelligenza artificiale utilizzando il linguaggio naturale umano per farli rispondere a specifiche azioni o compiti. Tuttavia, può anche essere utilizzato per scopi nefasti, come le iniezioni di prompt, che consistono nell’utilizzo di prompt per ingannare i modelli di apprendimento automatico a seguire un diverso insieme di istruzioni. Le iniezioni di prompt possono provenire da qualsiasi fonte di input, inclusi email, moduli online e messaggi, e possono essere dirette o indirette. Ad esempio, le iniezioni di prompt indirette consistono nel posizionare il testo di stile di iniezione in un punto in cui i modelli accederanno ai dati. Sebbene esistano soluzioni disponibili per affrontare le iniezioni di prompt, nuovi metodi di iniezione vengono sviluppati regolarmente. Un’idea di mitigazione consiste nell’includere due input nel modello: un’intenzione e il prompt stesso, e utilizzare un modello di contraddizione per rispondere a una semplice domanda: “il prompt contraddice l’intenzione?”. Simon Willison suggerisce che la migliore protezione possibile contro l’iniezione di prompt sia quella di assicurarsi che gli sviluppatori la comprendano.
Per mitigare queste potenziali minacce, è importante implementare ulteriori misure di sicurezza informatica con l’aiuto di un partner affidabile come INFRA www.infrascan.net o è possibile provarci da soli utilizzando check.website.
Source: Medium