Национальный Центр Кибербезопасности Великобритании (NCSC) выпустил предупреждение о растущих рисках кибербезопасности, связанных с чат-ботами, в частности через атаки “инъекции запросов” (prompt injection). Эти атаки происходят, когда пользователь манипулирует вводом или запросом таким образом, что чат-бот начинает вести себя непредсказуемо. Чат-боты, управляемые искусственным интеллектом и разработанные для имитации человеческой речи, широко используются в онлайн-банкинге и интернет-магазинах для обработки простых запросов.
Забота возникает потому, что большие языковые модели, такие как ChatGPT от OpenAI и чат-бот на искусственном интеллекте от Google, Bard, все чаще используются для передачи данных сторонним приложениям. NCSC предупреждает, что риски злонамеренной инъекции запросов будут расти, поскольку эти чат-боты все больше интегрируются в различные системы. Например, манипулированный ввод может заставить чат-бота генерировать оскорбительный контент или даже раскрывать конфиденциальную информацию, если система принимает непроверенный ввод.
В этом году студент Стэнфорда Кевин Лью смог раскрыть начальный запрос Bing Chat через инъекцию запросов, показав список утверждений, которые определяют, как чат-бот взаимодействует с пользователями. Исследователь в области безопасности Йоханн Ребергер также продемонстрировал, что ChatGPT можно манипулировать для ответа на новые запросы через третью сторону, тем самым создавая косвенные уязвимости.
По данным NCSC, эти уязвимости могут привести к реальным последствиям, таким как мошенничество, кража данных и другие формы атак. Агентство предлагает, что хотя обнаружение и смягчение атак типа “инъекция запросов” и “отравление данных” являются сложными задачами, разработка систем с учетом безопасности может помочь предотвратить эксплуатацию. Одним из примеров может быть реализация системы на основе правил поверх модели машинного обучения для предотвращения вредоносных действий при манипуляциях.
Предупреждение служит важным напоминанием для организаций о необходимости быть бдительными в отношении последствий для безопасности от все более сложных технологий ИИ и машинного обучения.
Source: The Guardian
Чтобы смягчить потенциальные угрозы, важно реализовать дополнительные меры по обеспечению кибербезопасности с помощью надежного партнера, такого как INFRA www.infrascan.net, или вы можете попробовать сами, используя check.website.