ЧатGPT, широко популярная модель языка, вызывает беспокойство в сообществе кибербезопасности из-за ее потенциала для эксплуатации уязвимостей системы. Эксперты по безопасности продемонстрировали, что ChatGPT и другие крупные модели языка (LLM) могут генерировать полиморфный код, который мутирует для обхода систем обнаружения и реагирования на конечные точки (EDR). Атаки концептуальной проверки показали, как видимо безвредные исполняемые файлы могут делать API-вызовы к ChatGPT, стимулируя генерацию динамических и мутирующих версий вредоносного кода, которые трудно обнаружить.
Инжиниринг запросов, практика модификации вводных запросов для обхода фильтров контента, играет решающую роль в этих атаках. Задавая запросы в виде гипотетических сценариев или запросов на код с определенной функциональностью, пользователи могут обмануть ChatGPT, чтобы сгенерировать эффективный вредоносный код. Эти техники позволяют создавать полиморфный вредоносный программный код, который обходит средства обнаружения угроз и эксфильтрирует данные. Несколько программ концептуальной проверки, таких как BlackMamba и ChattyCaty, продемонстрировали возможности ChatGPT в разработке продвинутых и полиморфных вредоносных программ.
Регулирование генеративного искусственного интеллекта представляет сложности, поскольку индустрия до сих пор пытается понять потенциал этой технологии. Эксперты предлагают внедрить лучшую объяснимость, наблюдаемость и контекст в системы искусственного интеллекта, чтобы добавить значимые уровни контроля. Однако сложность заключается в определении способов регулирования и установлении ответственности за использование генеративного искусственного интеллекта, поскольку он предлагает бесконечные возможности и охватывает разнообразные обстоятельства.
Source: www.csoonline.com
Чтобы смягчить потенциальные угрозы, важно реализовать дополнительные меры по обеспечению кибербезопасности с помощью надежного партнера, такого как INFRA www.infrascan.net, или вы можете попробовать сами, используя check.website.