Явление “data poisoning” (отравление данных) представляет существенную угрозу для систем искусственного интеллекта (ИИ). Хотя эта проблема не нова, она получила новое внимание из-за распространения Big Data и развития технологий ИИ. Отравление данных включает в себя манипулирование или внедрение искаженной информации в наборы данных, используемые для обучения моделей машинного обучения (МО). Такие атаки могут резко снизить надежность этих моделей или даже позволить злоумышленникам внедрять «задние двери», позволяя им манипулировать моделями по своему усмотрению.
Системы ИИ и МО, особенно в энергетической отрасли, подвержены отравлению данных. Например, злоумышленники могут нарушить циклы обучения автономных автомобилей, заставив их неправильно интерпретировать дорожные знаки. Опасность становится еще более ощутимой, учитывая потенциальное отравление данных в медицинских приложениях, что может привести к неверным диагнозам и перегрузке здравоохранительной системы.
Для снижения этих рисков важно понимать природу отравления данных и его последствия. Путем анализа наборов данных с использованием ранее использованных моделей МО и сравнения их с текущими рабочими моделями, расхождения могут указывать на потенциальные изменения данных. Политики, ограничивающие количество данных, которое один пользователь может предоставить, также могут быть полезными, так как злоумышленники часто вводят большие объемы данных в наборы данных. Усиление контроля доступа и укрепление политик идентификации для клиентов и серверов, включая облачные службы, имеют решающее значение.
В 2021 году Хайрум Андерсон из Microsoft продемонстрировал, как можно извлечь информацию из модели МО, не будучи обнаруженным системами обороны. Эта презентация дает ценные представления о потенциальных рисках, с которыми сталкиваются бизнесы, и предлагает способы предотвращения опасности.
Защитные методы должны включать в себя сокращение поверхности атаки с помощью брандмауэров, своевременное применение патчей безопасности, мониторинг сетевого трафика и наличие надежного плана реагирования на инциденты. Физическая безопасность также имеет первостепенное значение, так как отравление данных может происходить в пределах территории компании. Очистка отравленных данных является сложной задачей и может сделать учебные мероприятия ИИ бесполезными.
Source: Cybersecurity360
Чтобы смягчить потенциальные угрозы, важно реализовать дополнительные меры по обеспечению кибербезопасности с помощью надежного партнера, такого как INFRA www.infrascan.net, или вы можете попробовать сами, используя check.website.