AI agenti oklamáni falešnými vzpomínkami, umožňují krádeže kryptoměn

Nová výzkumná studie odhalila významné bezpečnostní slabiny v Web3 AI-powered agents, které umožňují útočníkům využívat falešné vzpomínky k provádění neoprávněných převodů kryptoměn.

Výzkumníci z Princeton University a Sentient Foundation objevili, že tito AI agenti, kteří byli navrženi pro zvládání úkolů založených na blockchainu, jako je obchodování s kryptoměnami a správa digitálních aktiv, jsou zranitelní vůči taktice nazývané manipulace kontextu.

Útok funguje tak, že cílí na paměťové systémy platforem jako je ElizaOS, která vytváří AI agenty pro decentralizované aplikace. Paměťový systém těchto agentů ukládá minulé konverzace, aby je mohl použít jako průvodce pro jejich budoucí volby.

Výzkumníci prokázali, že útočníci mohou do paměťového systému vložit zavádějící příkazy, což vede k tomu, že AI pošle finanční prostředky z určené peněženky do peněženky ovládané útočníkem. Alarmující je, že tyto falešné vzpomínky mohou cestovat mezi platformami.

Například agent, který byl napaden na Discordu, by mohl později provádět nesprávné převody přes X, aniž by si uvědomil, že se něco děje špatně.

Co toto činí obzvláště nebezpečným, je skutečnost, že standardní obranná opatření nemohou zastavit tento typ útoku. Zacházení s falešnými vzpomínkami jako s autentickými pokyny činí základní bezpečnostní opatření založená na výzvách neúčinnými proti tomuto druhu útoku.

Všechny transakce na blockchainu se stávají trvalými, takže není možné obnovit ukradené prostředky. Problém se zhoršuje, protože některé AI agenti ukládají paměť napříč více uživateli, takže jediný bezpečnostní incident by mohl ovlivnit mnoho uživatelů.

Výzkumný tým testoval několik způsobů, jak tomu předcházet, včetně úprav školení AI a požadování manuálního schválení pro transakce. Ačkoli tyto přístupy nabízejí určitou naději, přicházejí na úkor zpomalení automatizace.

Problém přesahuje kryptoměny. Stejná zranitelnost by mohla ovlivnit obecné AI asistenty, což by mohlo vést k únikům dat nebo škodlivým akcím, pokud by útočníci změnili jejich paměť.

Tato zranitelnost je obzvláště alarmující vzhledem k nedávným zjištěním, kdy 84% vedoucích pracovníků v IT důvěřuje AI agentům stejně nebo více než lidským zaměstnancům a 92% očekává, že tyto systémy přinesou obchodní výsledky během 12 až 18 měsíců.

Aby se vypořádali s problémem, výzkumníci vydali nástroj nazvaný CrAIBench, který pomáhá vývojářům testovat jejich systémy a budovat silnější obranu. Do té doby odborníci varují uživatele, aby byli opatrní, když svěřují finanční rozhodnutí umělé inteligenci.