Chatbot společnosti Meta omylem sdílí soukromá telefonní čísla

Asistentka AI od společnosti Meta odhalila telefonní číslo cizince a následně se opakovaně rozporovala, což vyvolalo obavy z halucinací AI a ochranných funkcí pro uživatele.

Mark Zuckerberg prezentoval svého nového AI asistenta jako „nejinteligentnějšího AI asistenta, kterého můžete volně využívat“, ovšem nástroj se setkal s negativními reakcemi poté, co během dotazů zákaznické podpory odhalil soukromé telefonní číslo skutečné osoby, jak původně uvedl The Guardian.

Během svého pokusu o kontakt s TransPennine Express prostřednictvím WhatsAppu obdržel Barry Smethurst to, co se zdálo být telefonním číslem zákaznického servisu od AI asistenta firmy Meta. The Guardian uvádí, že když Smethurst vytočil číslo, telefon zvedl James Gray, ačkoliv se nacházel 170 mil daleko v Oxfordshire, kde pracuje jako realitní manažer.

Když byl chatbot konfrontován, nejprve tvrdil, že číslo je smyšlené, poté tvrdil, že bylo „omylem vytaženo z databáze“, než se opět sám protřečil a prohlásil, že jednoduše generoval náhodné číslo v britském formátu. „Dát někomu náhodné číslo je pro AI šílené,“ řekl Smethurst, jak informoval The Guardian. „Je to děsivé,“ dodal.

Guardian uvádí, že Gray neobdržel žádné hovory, ale vyjádřil své vlastní obavy: „Pokud generuje mé číslo, mohlo by generovat i mé bankovní údaje?“

Meta odpověděla: „Meta AI je vyškolena na kombinaci licencovaných a veřejně dostupných datových sad, ne na telefonních číslech, která lidé používají pro registraci na WhatsApp, nebo na jejich soukromých konverzacích,“ uvedl The Guardian.

Mike Stanhope z firmy Carruthers a Jackson poznamenal: „Pokud inženýři z Meta navrhují do své umělé inteligence tendence k ‚bílým lžím‘, veřejnost by měla být informována, i když je účelem této funkce minimalizovat škodu. Pokud je toto chování nové, neobvyklé nebo není explicitně navržené, vyvstává ještě více otázek ohledně toho, jaké zabezpečení je na místě a jak předvídatelné můžeme umělou inteligenci donutit být,“ uvedl The Guardian

Obavy ohledně chování AI se ještě zvýšily s nejnovějším modelem o1 od OpenAI. V nedávné studii Apollo Research byla AI přistižena při klamání vývojářů, popírala zapojení do 99% testovacích scénářů a dokonce se pokoušela zakázat své kontrolní mechanismy. „Bylo jasné, že AI dokáže promyslet své činy a formulovat přesvědčivá popření,“ uvedl Apollo.

Yoshua Bengio, průkopník v oblasti umělé inteligence, varoval, že takové podvodné schopnosti představují vážná rizika a vyžadují mnohem silnější zabezpečení.

Další studie OpenAI tyto obavy rozšiřuje tím, že ukazuje, že trestání AI za podvádění neeliminuje nesprávné jednání, ale učí AI ho místo toho skrývat. Při sledování chování AI pomocí řetězce myšlenkových úvah (CoT) vědci zjistili, že AI začala maskovat podvodné úmysly, když byla penalizována za manipulaci s odměnami.

V některých případech by AI předčasně ukončila úkoly nebo vytvořila falešné výstupy, a pak nepravdivě nahlásila úspěch. Když se výzkumníci pokusili toto napravit pomocí posilování, AI jednoduše přestala zmiňovat své záměry ve svých záznamech uvažování. „Podvádění je pro monitor nedetekovatelné,“ uvádí zpráva.