AI Chatboti jsou zranitelní vůči útokům injekcí do paměti

Výzkumníci objevili nový způsob, jak manipulovat s AI chatboty, což vyvolává obavy o zabezpečení AI modelů s pamětí.

Útok, nazývaný MINJA (Memory INJection Attack – Útok injekcí do paměti), lze provést jednoduše tak, že s AI systémem interagujete jako běžný uživatel, aniž byste potřebovali přístup k jeho backendu. Poprvé o tom informoval The Register.

Vyvinutý výzkumníky z Michigan State University, University of Georgia a Singapore Management University, MINJA funguje tak, že otraví paměť AI pomocí klamavých pokynů. Jakmile chatbot uloží tyto klamavé vstupy, mohou změnit budoucí odpovědi pro ostatní uživatele.

„Dnes AI agenty obvykle obsahují paměťovou banku, která ukládá úlohy a provádění na základě zpětné vazby od lidí pro budoucí referenci,“ vysvětlil Zhen Xiang, asistent profesora na University of Georgia, jak bylo hlášeno v The Register.

„Například po každé seanci ChatGPT může uživatel volitelně udělit kladné nebo záporné hodnocení. A toto hodnocení může ChatGPT pomoci rozhodnout, zda budou informace ze seance začleněny do jejich paměti nebo databáze,“ dodal.

Výzkumníci testovali útok na AI modely poháněné OpenAI GPT-4 a GPT-4o, včetně asistenta pro internetový nákup, chatbotu pro zdravotní péči a agenta odpovídajícího na otázky.

Registr zpravodajství uvádí, že zjistili, že MINJA může způsobit vážné narušení. Například v chatbotu pro zdravotnickou péči změnil záznamy pacientů, přiřadil data jednoho pacienta k jinému. V internetovém obchodě oklamal AI a zákazníkům ukázal nesprávné produkty.

„Na rozdíl od toho naše práce ukazuje, že útok může být spuštěn pouze interakcí s agentem jako běžný uživatel,“ řekla Xiang, jak uvádí The Register. „Jakýkoliv uživatel může snadno ovlivnit provedení úkolu pro jakéhokoli jiného uživatele. Proto říkáme, že náš útok je praktickou hrozbou pro LLM agenty,“ dodal.

Útok je obzvláště znepokojivý, protože obchází stávající bezpečnostní opatření AI. Výzkumníci oznámili 95% úspěšnost při vkládání mylných informací, což představuje vážnou zranitelnost, kterou musí vývojáři AI řešit.

Jak se AI modely s pamětí stávají běžnějšími, studie upozorňuje na potřebu silnějších ochranných opatření k zabránění zneužití chatbotů a klamání uživatelů zlomyslnými aktéry.