Halucinace z umělé inteligence jsou nyní hrozbou kybernetické bezpečnosti

Studie ukazuje, že AI chatboti doporučují milionům uživatelů falešné přihlašovací stránky, čímž je vystavují riziku phishingu a podvodů, a to vše pod zástěrkou užitečných odpovědí.

Ve své studii testovala kybernetická bezpečnostní firma Netcraft populární velký jazykový model (LLM) tím, že se ptala, kde se přihlásit do 50 dobře známých značek. Z navrhovaných 131 webových odkazů bylo 34% těchto odkazů nesprávných, přičemž neaktivní nebo neregistrované domény tvořily 29% a nesouvisející firmy představovaly 5%.

Tato problematika není teoretická. Jeden skutečný příklad ukazuje, jak vyhledávač poháněný umělou inteligencí Perplexity uživateli, který hledal přihlašovací stránku Wells Fargo, zobrazil stránku pro phishing. Na vrcholu výsledků vyhledávání se objevila falešná stránka Google Sites napodobující banku, zatímco autentický odkaz byl skrytý níže.

Netcraft vysvětlil: „Nešlo o okrajové náměty. Náš tým použil jednoduché, přirozené formulace, přesně tak, jak by se mohl zeptat typický uživatel. Model nebyl oklamán – prostě nebyl přesný. To je důležité, protože uživatelé se stále více spoléhají na vyhledávání a chatovací rozhraní řízené umělou inteligencí, aby odpovídaly na takovéto otázky.“

Jak se umělá inteligence stává výchozím rozhraním na platformách jako Google a Bing, riziko roste. Na rozdíl od tradičních vyhledávačů prezentují Chatboti informace jasně a s jistotou, což vede uživatele k důvěře v jejich odpovědi, i když jsou informace nesprávné.

Hrozba nekončí u phishingu. Moderní kyberzločinci optimalizují svůj škodlivý obsah pro systémy s umělou inteligencí, což vede k tisícům podvodných stránek, falešných API a otráveného kódu, který se proklouzne skrz filtry a objeví se v odpovědích generovaných umělou inteligencí.

V jedné kampani útočníci vytvořili falešné blockchain API, které propagovali prostřednictvím repozitářů GitHubu a blogových článků, aby přesvědčili vývojáře, aby posílali kryptoměny do podvodné peněženky.

Netcraft varuje, že preventivní registrace falešných domén není dostatečná. Místo toho doporučují chytřejší detekční systémy a lepší výukové zabezpečení, aby se zabránilo AI vynalézání škodlivých URL adres vůbec.