ChatGPT, un modelo de lenguaje ampliamente popular, ha generado preocupaciones en la comunidad de ciberseguridad debido a su potencial para explotar vulnerabilidades del sistema. Expertos en seguridad han demostrado que ChatGPT y otros modelos de lenguaje grandes (LLMs, por sus siglas en inglés) pueden generar código polimórfico, el cual muta para evadir sistemas de detección y respuesta en el punto final (EDR). Los ataques de prueba de concepto han mostrado cómo archivos ejecutables con apariencia inofensiva pueden realizar llamadas a la API de ChatGPT, provocando la generación de versiones dinámicas y mutantes de código malicioso que son difíciles de detectar.
La ingeniería de instrucciones, la práctica de modificar las instrucciones de entrada para evadir filtros de contenido, juega un papel crucial en estas explotaciones. Al enmarcar las instrucciones como hipotéticas o solicitudes de código con funcionalidad específica, los usuarios pueden engañar a ChatGPT para que genere código malicioso efectivo. Estas técnicas permiten la creación de malware polimórfico que evita los escáneres de amenazas y exfiltra datos. Varios programas de prueba de concepto, como BlackMamba y ChattyCaty, han demostrado las capacidades de ChatGPT en el desarrollo de malware avanzado y polimórfico.
La regulación de la inteligencia artificial generativa presenta desafíos, ya que la industria aún está tratando de comprender el potencial de esta tecnología. Los expertos sugieren incorporar una mejor explicabilidad, observabilidad y contexto en los sistemas de IA para agregar capas significativas de control. Sin embargo, la dificultad radica en determinar cómo regular y responsabilizar el uso de la IA generativa, ya que ofrece posibilidades infinitas y abarca circunstancias diversas.
Source: www.csoonline.com
Para mitigar posibles amenazas, es importante implementar medidas adicionales de ciberseguridad con la ayuda de un socio de confianza como INFRA www.infrascan.net o puede intentarlo usted mismo utilizando check.website.