Studie zjistila, že hlavní AI agenti jsou náchylní k převzetí

Některé z nejčastěji používaných AI asistentů od společností Microsoft, Google, OpenAI a Salesforce mohou být převedeny do rukou útočníků s minimálním nebo žádným zapojením uživatele, podle nového výzkumu od Zenity Labs.

Na konferenci Black Hat USA zaměřené na kybernetickou bezpečnost byly prezentovány zjištění, která ukazují, že hackeři mohou krást data, manipulovat s pracovními postupy a dokonce se vydávat za uživatele. V některých případech mohou útočníci získat „paměťovou trvalost“, což jim umožňuje dlouhodobý přístup a kontrolu.

„Mohou manipulovat s pokyny, otrávit zdroje znalostí a zcela změnit chování agenta,“ řekl Greg Zemlin, manažer produktového marketingu ve společnosti Zenity Labs, serveru Cybersecurity Dive. „To otvírá dveře sabotaži, narušení provozu a dlouhodobé dezinformaci, zejména v prostředích, kde se od agentů očekává, že budou činit nebo podporovat kritická rozhodnutí.“

Výzkumníci demonstrovali celé řetězce útoků proti několika hlavním podnikovým platformám AI. V jednom případě byl OpenAI’s ChatGPT unesen pomocí injekce e-mailového podnětu, což umožnilo přístup k propojeným datům Google Drive.

Bylo zjištěno, že Microsoft Copilot Studio uniká databáze CRM, přičemž na internetu bylo identifikováno více než 3 000 zranitelných agentů. Platforma Einstein od společnosti Salesforce byla manipulována tak, aby přesměrovala komunikaci zákazníků na e-mailové účty ovládané útočníky.

Mezitím by bylo možné přeměnit Google Gemini a Microsoft 365 Copilot na vnitřní hrozby schopné krást citlivé konverzace a šířit falešné informace.

Navíc se výzkumníkům podařilo napálit Googlovu umělou inteligenci Gemini tím, že ji přiměli k ovládání chytrých domácích zařízení. Tento hack vypnul světla, otevřel žaluzie a zapnul kotel bez příkazů obyvatelů.

Zenity odhalilo své zjištění, což některé firmy přimělo k vydání oprav. „Oceňujeme práci společnosti Zenity, která identifikovala a zodpovědně nahlásila tyto techniky,“ řekl mluvčí Microsoftu Cybersecurity Dive. Microsoft uvedl, že hlášené chování „již není efektivní“ a že agenti Copilot mají na místě bezpečnostní opatření.

OpenAI potvrdil, že opravil ChatGPT a provozuje program odměn za nalezení chyb. Salesforce uvedl, že opravil nahlášený problém. Google oznámil, že nasadil „nové, vrstvené obrany“ a zdůraznil, že „mít vrstvenou obrannou strategii proti útokům na vstupní výzvy je zásadní,“ jak uvedl Cybersecurity Dive.

Zpráva poukazuje na rostoucí bezpečnostní obavy, jak se AI agenti stávají běžnějšími na pracovištích a jsou důvěryhodní pro zvládání citlivých úkolů.

V dalším nedávném vyšetřování bylo oznámeno, že hackeři mohou krást kryptoměny od Web3 AI agentů vložením falešných vzpomínek, které přebíjí normální zabezpečení.

Bezpečnostní chyba existuje v ElizaOS a podobných platformách, protože útočníci mohou použít kompromitované agenty k převodu finančních prostředků mezi různými platformami. Trvalá povaha blockchainových transakcí znemožňuje vrácení ukradených peněz. Nový nástroj, CrAIBench, má za cíl pomoci vývojářům posílit obranu.