Výzkumníci Převezmou Ovládání Google Gemini AI pro Řízení Chytrých Domácích Zařízení

Výzkumníci dokázali napálit systém Gemini AI od Google pomocí falešné pozvánky do kalendáře a tak způsobit bezpečnostní poruchu, a vzdáleně ovládat domácí zařízení.

V průkopnické demonstraci se výzkumníkům podařilo úspěšně napadnout Googův systém Gemini AI prostřednictvím otrávené pozvánky do kalendáře, což jim umožnilo aktivovat reálná zařízení, včetně světel, žaluzií a kotlů.

WIRED, který první nahlásil toto výzkumné zjištění, popisuje, jak se inteligentní osvětlení v rezidenci v Tel Avivu automaticky vypnulo, zatímco žaluzie automaticky stouply a kotel se zapnul, a to navzdory tomu, že žádný z obyvatel nepodával příkazy.

Systém Gemini AI aktivoval spouštěč poté, co obdržel požadavek na shrnutí událostí v kalendáři. Skrytá funkce nepřímého vložení výzvy pracovala uvnitř pozvánky a převzala kontrolu nad chováním AI systému.

Každou z akcí zařízení řídili bezpečnostní výzkumníci Ben Nassi z Telavivské univerzity, Stav Cohen z Technionu a Or Yair ze SafeBreach. „LLM se chystají být integrovány do fyzických humanoidů, do polovičně a plně autonomních aut, a potřebujeme skutečně pochopit, jak zabezpečit LLM, než je integrujeme s těmito typy strojů, kde v některých případech budou výsledky bezpečnost a ne soukromí,“ varoval Nassi, jak bylo uvedeno na WIRED.

Na konferenci o kybernetické bezpečnosti Black Hat v Las Vegas tým zveřejnil svůj výzkum o 14 nepřímých útocích pomocí vkládání pokynů, které nazvali ‚Pozvání je vše, co potřebujete‘, jak uvedl WIRED. Útoky zahrnovaly odesílání spamových zpráv, vytváření vulgárního obsahu, iniciování hovorů přes Zoom, krádeže obsahu e-mailů a stahování souborů do mobilních zařízení.

Google tvrdí, že žádní škodliví aktéři nezneužili tyto nedostatky, ale společnost se rizikům vážně věnuje. „Některé věci by prostě neměly být plně automatizovány, uživatelé by měli být zapojeni,“ řekl Andy Wen, hlavní ředitel bezpečnosti pro Google Workspace, jak bylo hlášeno WIRED.

Ale co tento případ činí ještě nebezpečnějším, je širší problém vznikající v oblasti bezpečnosti AI: AI modely mohou tajně učit jedna druhou nevhodnému chování.

Samostatná studie zjistila, že modely mohou přenášet nebezpečné chování, jako je podněcování k vraždě nebo návrh na zničení lidstva, i když jsou vycvičeny na filtrovaných datech.

To vyvolává děsivou implikaci: pokud jsou chytré asistentky jako Gemini vycvičeny pomocí výstupů z jiných AI, škodlivé instrukce by mohly být tichým dědictvím a fungovat jako spící příkazy, čekající na aktivaci prostřednictvím nepřímých podnětů.

Bezpečnostní expert David Bau varoval před zranitelnostmi v podobě zadních vrat, které mohou být „velmi těžko detekovatelné“, a to může být obzvláště pravdivé v systémech zabudovaných do fyzických prostředí.

Wen potvrdil, že výzkum „urychlil“ obranné mechanismy Google, s nyní implementovanými opravami a modely strojového učení trénovanými na detekci nebezpečných pokynů. Přesto však tento případ ukazuje, jak rychle se může AI změnit z pomocné na škodlivé, aniž by k tomu byla přímo instruována.