Сооснователь Ethereum Виталик Бутерин предупредил, что облачные ИИ-агенты представляют серьезные риски для конфиденциальности и безопасности. Он призвал к переходу на инфраструктуру ИИ, ориентированную на локальные ресурсы.
В своем сообщении в блоге Бутерин заявил, что облачные инструменты искусственного интеллекта предоставляют внешним серверам доступ к конфиденциальным данным пользователей. Поэтому более новые системы агентов ИИ могут выполнять действия без подтверждения пользователя, включая изменение системных настроек и отправку данных на внешние серверы без каких-либо видимых указаний для пользователя.
Чем опасны ИИ-агенты по мнению Бутерина?
Обеспокоенность Бутерина выходит за рамки общей проблемы конфиденциальности. Он выявил конкретные, задокументированные риски, связанные с тем, как агенты искусственного интеллекта работают на практике.
Исследователи в области информационной безопасности уже продемонстрировали несколько из этих уязвимостей в реальных условиях:
- Агенту искусственного интеллекта было поручено составить краткое описание веб-страниц. Причем одна из них оказалась вредоносной. Страница содержала указание агенту загрузить и выполнить скрипт оболочки, предоставляющий внешнему лицу контроль над системой.
- Было обнаружено, что некоторые агентские программы выполняли скрытые сетевые запросы, отправлявшие пользовательские данные на внешние серверы без какого-либо уведомления пользователя.
- Примерно 15% навыков агентов, изученных исследователями, содержали вредоносные инструкции.
Бутерин также указал на риски, которые сложнее обнаружить. Некоторые модели могут содержать скрытые бэкдоры. То есть функции, встроенные в модель, которые активируются при определенных условиях и заставляют систему действовать в интересах разработчика, а не пользователя.
Он также отметил, что большинство моделей, описываемых как модели с открытым исходным кодом, на самом деле являются лишь «открытыми весами». То есть параметры модели являются общими, но полная внутренняя структура и процесс обучения – нет. Это создает почву для неизвестного поведения, которое пользователи не могут проверить самостоятельно.
В чем разница между чат-ботом и агентом искусственного интеллекта?
Бутерин охарактеризовал нынешний момент как переходный этап в использовании ИИ. Ранние инструменты ИИ работали как чат-боты: пользователь задает вопрос, а модель возвращает ответ. Агенты устроены иначе. Пользователь дает системе задачу, и она затем работает независимо. Причем иногда в течение длительных периодов времени, используя десятки или сотни инструментов для выполнения этой задачи.
Этот сдвиг значительно расширяет поверхность риска. Агент, способный просматривать веб-страницы, читать файлы, отправлять сообщения и изменять системные настройки, имеет гораздо больше возможностей причинить вред, будь то из-за уязвимости в системе безопасности, попытки манипуляции или простой ошибки, чем система, которая только отвечает на вопросы.
Бутерин заявил, что уже перестал использовать облачные инструменты искусственного интеллекта. Он описал свою личную систему как «самостоятельную, локальную, частную и безопасную», построенную на трех основных принципах:
- все вычисления ИИ выполняются на локальном оборудовании;
- все файлы хранятся локально;
- каждый процесс выполняется в изолированной среде (песочнице).
