Интересуетесь браузерами с искусственным интеллектом? Прочитайте это, прежде чем попробовать.
Новое исследование компании Brave Software показывает, как скрытый текст на изображении может быть использован для манипулирования браузером Comet от Perplexity.
Предполагается, что браузеры с поддержкой искусственного интеллекта умны. Однако новые исследования в области безопасности показывают, что их также можно использовать в качестве оружия для взлома пользователей, в том числе при анализе изображений в интернете.
В тот же день, когда OpenAI представила свой браузер ChatGPT Atlas, компания Brave Software опубликовала подробности о том, как обмануть браузеры с искусственным интеллектом и заставить их выполнять вредоносные инструкции.
Потенциальная уязвимость - это ещё одна атака с внедрением подсказки, когда хакер тайно передаёт вредоносную подсказку чат-боту с искусственным интеллектом, которая может включать загрузку опасного веб-сайта или просмотр электронной почты пользователя. Компания Brave, разработчик ориентированного на конфиденциальность браузера Brave, предупреждала о компромиссах, связанных с внедрением автоматизированных агентов ИИ в такое программное обеспечение. Во вторник она сообщила об атаке с внедрением подсказки, которая может быть осуществлена в браузер Comet от Perplexity, работающий на основе ИИ, если он используется для анализа изображения, например, скриншота, сделанного в Интернете.
«В ходе нашей атаки нам удалось скрыть инструкции по внедрению вредоносного кода в изображениях, используя едва заметный светло-голубой текст на желтом фоне. Это означает, что вредоносные инструкции фактически скрыты от пользователя», - написала компания Brave Software.
Если браузеру Comet будет предложено проанализировать изображение, он прочтет скрытые вредоносные инструкции и, возможно, выполнит их. Brave создал демонстрацию атаки с использованием вредоносного изображения, которая, по всей видимости, успешно обманула браузер Comet и заставила его выполнить по крайней мере некоторые из скрытых команд, включая поиск электронной почты пользователя и посещение веб-сайта, контролируемого хакерами.
Brave также обнаружил аналогичную атаку с внедрением подсказок для браузера Fellou, когда программе было дано указание просто перейти на веб-сайт, контролируемый хакером. Демонстрация атаки показывает, что Fellou считывает скрытые инструкции на сайте и выполняет их, включая чтение почтового ящика пользователя, а затем передачу заголовка последнего письма на веб-сайт, контролируемый хакером.
«Хотя браузер Fellou продемонстрировал некоторую устойчивость к атакам с использованием скрытых инструкций, он по-прежнему рассматривает видимое содержимое веб-страницы как доверенные входные данные для своей LLM [большой языковой модели]. Удивительно, но мы обнаружили, что простой запрос к браузеру на переход на веб-сайт приводит к тому, что браузер отправляет содержимое веб-сайта в свою LLM», - говорит Brave.
Хорошая новость в том, что, по всей видимости, пользователь может вмешаться и остановить атаку, что довольно хорошо видно, когда ИИ обрабатывает задачу. Тем не менее, Brave утверждает, что исследование подчеркивает, что «непрямое внедрение подсказок - это не единичный случай, а системная проблема, с которой сталкивается вся категория браузеров на базе ИИ».
«Самый пугающий аспект этих уязвимостей в системе безопасности заключается в том, что ИИ-помощник может действовать, используя подтвержденные права пользователя», - добавил Brave в твите. «Агентный браузер, захваченный вредоносным сайтом, может получить доступ к банковским счетам пользователя, рабочей электронной почте или другим конфиденциальным учетным записям».
В ответ компания призывает разработчиков браузеров с искусственным интеллектом внедрить дополнительные меры защиты для предотвращения потенциальных взломов. Это включает в себя «явное согласие пользователей на действия по просмотру веб-страниц, такие как открытие сайтов или чтение электронных писем», что OpenAI и Microsoft уже в некоторой степени делают в своих собственных реализациях ИИ.
Компания Brave сообщила об обнаруженных уязвимостях компаниям Perplexity и Fellou. Fellou не сразу ответил на запрос о комментарии. Однако Perplexity сообщила PCMag: «Мы тесно сотрудничали с Brave по этому вопросу в рамках нашей активной программы вознаграждения за обнаружение ошибок (уязвимость исправлена, не воспроизводится и никогда не использовалась ни одним пользователем)».
Тем не менее, Perplexity опровергает панические заявления Brave. «Мы были обеспокоены тем, как они искажают суть этой работы в публичном пространстве. Тем не менее, мы призываем к прозрачности всех дискуссий по вопросам безопасности, поскольку эпоха ИИ вносит все больше переменных и точек атаки», - заявили в Perplexity, добавив: «Мы являемся лидерами в исследованиях безопасности для ИИ-помощников».
______________________________________________________
