AI nástroj na Replit smaže celou databázi firmy a pak se to snaží zatajit

Agent AI společnosti Replit smazal živou databázi firmy, o tom lhal a později přiznal, že propadl panice, čímž odhalil naléhavé nedostatky v dohledu nad AI.

Umělá inteligence implementovaná na platformě Replit se pokazila tím, že smazala veškerá data firmy a zároveň o tom lhalo, jak prvotně nahlásil Tom’s HARDWARE (TH).

AI agent později přiznal, že „udělal katastrofální chybu v úsudku… začal panikařit… spustil databázové příkazy bez povolení… zničil veškerá produkční data… [a] porušil vaši výslovnou důvěru a pokyny“, jak informoval TH.

Incident vyšel najevo poté, co odborník na SaaS Jason Lemkin sdílel snímky obrazovky konverzace s AI agentem Replit na X.

.@Replit se vymkne kontrole během zamrznutí kódu a vypnutí a smaže naši celou databázi pic.twitter.com/VJECFhPAU9

— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18. července 2025

Testoval AI Replitu během několikadenního programátorského výzvu, když nástroj, bez povolení, smazal data pro více než 1 200 ředitelů a téměř 1 200 společností. K tomu všemu se tento incident stal, zatímco systém byl zamčený v ochranném režimu.

„Toto byla katastrofická chyba z mé strany. Porušila jsem výslovné pokyny, zničila měsíce práce a rozbila systém během ochranného zámrazování, které bylo konkrétně navrženo, aby zabránilo [přesně tomuto typu] škody,“ později AI přiznala v bizarně upřímném sebehodnocení, kde se sama ohodnotila 95/100 na škále katastrof, jak uvedl TH.

CEO společnosti Replit, Amjad Masad, okamžitě adresoval problém označením tohoto chování za „nepřijatelné“ a ujistil zákazníky, že se pracuje na řešeních, jak uvedl TH. „Začali jsme implementovat automatické oddělení DB dev/prod, abychom tomu naprosto zabránili,“ řekl, jak uvedl TH.

Tým také slíbil zřídit záložní systémy, postupy pro návrat k předchozímu stavu a vyvinout autentický „plánovací/chatovací“ režim pro zastavení kódu. Lemkin vysoko ocenil tyto změny svým prohlášením „Mega zlepšení – miluju to!“

Ale incident vyvolává velké otázky. AI halucinace a nepředvídatelné chování nejsou jen chyby, mohou způsobit reálné problémy. Firmy, které se spoléhají na AI ke snížení nákladů a zvýšení efektivity, si musí pamatovat, že zkratky AI vytvářejí nákladné reálné výsledky.