Cloudflare umožňuje stránkám účtovat AI boty pomocí ‚Pay Per Crawl‘

Cloudflare nabízí vydavatelům novou možnost: účtovat AI boty za procházení jejich stránek pomocí obnoveného systému platby HTTP 402.

Díky svému novému systému „Pay Per Crawl“ mohou majitelé webových stránek účtovat AI botům za přístup k jejich obsahu. Systém nabízí vydavatelům alternativní přístup k jejich současné politice dvou možností, která buď umožňuje AI datový scraping, nebo úplné blokování přístupu AI.

„Mnoho vydavatelů, tvůrců obsahu a majitelů webových stránek se v současné době cítí, jako by měli binární volbu – buď nechat přední dveře dokořán pro AI, aby konzumovala vše, co vytvoří, nebo vytvořit svou vlastní uzavřenou zahradu,“ řekl Cloudflare. „Ale co kdyby existovala jiná cesta?“

S Pay Per Crawl nyní tvůrci obsahu mohou rozhodnout, kdo se dostane dovnitř a za jakou cenu. Mohou některé AI crawlers pustit zdarma, jiné úplně blokovat nebo účtovat za přístup. „Chtěli jsme, aby tvůrci obsahu měli kontrolu nad tím, kdo přistupuje k jejich dílu,“ řekl Cloudflare. „Tvůrci by měli být za volantem.“

Tahle změna přichází v době rostoucích protestů proti tomu, jak firmy využívající umělou inteligenci využívají webový obsah bez souhlasu. Například YouTube byl kritizován za to, že umožnil Google vytěžit data z videí bez upozornění tvůrců. Navíc funkce AI Overviews od Google snížila návštěvnost zpravodajských webů jako jsou HuffPost a The Washington Post o více než 50%.

„Google si prostě bere obsah násilím a využívá ho bez jakékoliv návratnosti – to je definice krádeže,“ řekla Danielle Coffey, prezidentka News/Media Alliance.

Nástroj funguje pomocí staré webové funkce: HTTP odpovědního kódu 402, který znamená „Vyžaduje se platba“. Pokud se AI bot pokusí přistoupit na stránku, server nyní může odpovědět kódem 402 a připojit cenovku. Pokud bot souhlasí s platbou, server doručí obsah.

Cloudflare poskytuje technickou infrastrukturu a zajišťuje platby. Vydavatelé mohou nastavit pevnou cenu za požadavek na prohledání a dokonce uplatnit různá pravidla pro různé boty. I když bot není registrován u Cloudflare, stále může být „účtován“ – v podstatě se blokuje přístup, ale zůstává prostor pro budoucí dohody.

Tento systém by mohl v budoucnu vést k flexibilnějším licencím a dynamickému cenotvoření. Jak to formulují v Cloudflare: „Poskytnutím tvůrcům robustního, programovatelného mechanismu pro oceňování a řízení jejich digitálních aktiv jim dáváme moc pokračovat ve vytváření bohatého, rozmanitého obsahu, který dělá internet neocenitelným.“