La enginyeria de prompt és una nova habilitat tecnològica que implica comunicar-se amb sistemes d’IA utilitzant llenguatge natural humà per fer que responguin a accions o tasques específiques. No obstant, també es pot utilitzar amb fins maliciosos, com ara les injeccions de prompt, que es refereixen a utilitzar prompts per enganyar models d’aprenentatge automàtic perquè segueixin un conjunt diferent d’instruccions. Les injeccions de prompt poden provenir de qualsevol font d’entrada, incloent correus electrònics, formularis en línia i missatges, i poden ser directes o indirectes. Per exemple, les injeccions de prompt indirectes involucren col·locar text estil injecció en un lloc on els models accediran a les dades. Tot i que hi ha solucions disponibles per abordar les injeccions de prompt, regularment es desenvolupen nous mètodes d’injecció. Una idea de mitigació és incloure dues entrades en el model – una intenció i el propi prompt – i utilitzar un model de contradicció per respondre una pregunta senzilla: “El prompt contradiu la intenció?” Simon Willison suggereix que la millor protecció possible contra la injecció de prompt és assegurar-se que els desenvolupadors ho entenguin.
Per mitigar aquestes amenaces potencials, és important implementar mesures addicionals de ciberseguretat amb l’ajuda d’un soci de confiança com INFRA www.infrascan.net o bé pots provar-ho tu mateix utilitzant check.website.
Source: Medium