Киберчервь Morris II атакует ИИ

Исследовательская группа по кибербезопасности разработала уникального компьютерного червя, Morris II, способного распространяться автономно через сервисы искусственного интеллекта (ИИ), красть данные и отправлять спам. Этот червь представляет собой новую угрозу для систем генеративного ИИ, включая OpenAI ChatGPT и Google Gemini, которые используются в различных целях, таких как планирование встреч или покупка товаров.

Червь Morris II, названный в честь первого компьютерного червя Morris 1988 года, атакует виртуальных помощников на базе ИИ через электронную почту, обходя их защитные механизмы. Исследование показало, что это стало возможным благодаря мультимодальному характеру больших языковых моделей, способных работать с текстом, изображениями и видео. Хотя такие черви еще не встречались в реальности, они представляют собой значительную угрозу.

Атака червя основана на «состязательной самовоспроизводящейся команде», принуждающей ИИ генерировать в ответе еще одну команду. Это напоминает традиционные методы атаки, вроде SQL-инъекций. Для демонстрации, исследователи создали электронный сервис на базе ИИ, который мог отправлять и получать сообщения, используя ChatGPT, Gemini и LlaVA.

Используя этот сервис, они продемонстрировали два метода атаки: с помощью самовоспроизводящейся текстовой команды и аналогичной команды, встроенной в изображение. Один из тестов включал электронное письмо с вредоносной командой, заставляющей ИИ использовать поиск в интернете и таким образом красть данные из электронных писем.

Авторы исследования подчеркнули, что успех атак связан с недостатками в дизайне ИИ-систем. Они информировали Google и OpenAI о своих находках; OpenAI признали угрозу и работают над укреплением своих систем, в то время как Google отказались от комментариев. Чтобы предотвратить подобные атаки, эксперты рекомендуют улучшить безопасность систем и изменить модель их использования, ограничивая привилегии ИИ и требуя человеческого подтверждения для всех действий.