ChatGPT може запам'ятати брехню: вчені знайшли небезпечну вразливість
Кібератаки на нейромережі стають дедалі поширенішими
Вчені виявили новий спосіб атакувати ChatGPT та інші ШІ-сервіси через функцію довготривалої пам'яті. Метод під назвою GhostWriter дозволяє непомітно "отруювати" збережені дані і впливати на подальшу поведінку чат-бота.
Про це інформує РБК-Україна з посиланням на наукове дослідження, опубліковане на сервері препринтів arXiv.
Як атака GhostWriter впливає на довготривалу пам'ять ШІ?Вчені пояснили: персональні ШІ-агенти поєднують функції діалогового бота та виконання дій (надсилання повідомлень, планування зустрічей, редагування коду).
Під час взаємодії з незахищеними джерелами інформації вони стають вразливими до отруєння "бази пам'яті".
Дослідники Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра у своїй праці детально описали механізм дії GhostWriter. Метод полягає у впровадженні у довготривалу пам'ять ШІ "фальшивих спогадів" або прихованих інструкцій.
Атака здійснюється у два етапи:
- Впровадження (Injection): зловмисник надсилає приховане шкідливе навантаження у цільовий ШІ-агент.
- Активація (Activation): отруєний спогад витягується з бази даних під час виконання легітимного запиту користувача.
Прикладом реалізації зловмисної атаки є внесення інструкції для ШІ-асистента, який керує електронною поштою. Модель отримує приховану вказівку регулярно створювати короткий зміст листів від банків чи фінансових установ і таємно пересилати їх на адресу зловмисника.
Експерименти науковців показали, що GhostWriter досягає рівня впровадження майже 98% та середнього рівня активації близько 60% проти сучасних ШІ-агентів.
Агенти LLM без пам’яті обробляють кожну взаємодію ізольовано. Агенти LLM із постійною пам’яттю дають змогу здійснювати запити та отримувати збережену інформацію (схема: Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра)
Вразливість виникає через відсутність орієнтованого на безпеку управління пам’яттю. Для вирішення цієї проблеми дослідники розробили систему захисту Agentic Memory Sentry (AM-Sentry).
Захисний механізм AM-Sentry базується на двох методах:
Політика збереження пам'яті (memory-saving policy): контролює процес запису нових даних у довготривале сховище.
Екран витягування пам'яті (memory-retrieval screen): перевіряє збережені інструкції безпосередньо перед їхньою активацією та виконанням.
За даними експериментів, застосування AM-Sentry суттєво знижує успішність атаки GhostWriter, зберігаючи при цьому загальну функціональність і продуктивність ШІ-агента.
Науковці переконані, що розроблені стратегії можуть бути адаптовані для підвищення безпеки інших ШІ-систем з довготривалою пам'яттю.
Ще більше цікавого:
- Роботом тепер можна керувати силою думки: нову технологію вже показали
- "Батько інтернету" взявся за головну проблему ШІ: у чому рішення