Cloudflare blochează automat boții AI: ce înseamnă asta pentru viitorul internetului?
Într-o mișcare cu impact major asupra modului în care inteligența artificială este antrenată, compania Cloudflare – unul dintre cei mai importanți furnizori de servicii de livrare a conținutului online (CDN) – a anunțat că va bloca automat crawlerele AI care încearcă să acceseze conținutul de pe website-uri fără permisiunea explicită sau compensație pentru proprietarii de site-uri.
Ce se schimbă mai exact?
Începând de marți, fiecare nou domeniu web care se înregistrează pe platforma Cloudflare va fi întrebat dacă dorește să permită accesul boților AI. Implicit, această setare va fi dezactivată, ceea ce înseamnă că accesul acestor boți va fi blocat, cu excepția cazurilor în care se acordă permisiune explicită.
Mai mult, Cloudflare introduce un nou model de tip „pay-per-crawl”, permițând editorilor și creatorilor de conținut să taxeze accesul boților AI la conținutul lor.
Aici sunt câteva exemple din meniul de audit AI de la Cloudflare, care se află în prezent în stadiu Beta.
De ce face Cloudflare această schimbare?
Potrivit CEO-ului și co-fondatorului Matthew Prince, „Boții AI au extras conținut fără limite. Scopul nostru este să redăm controlul în mâinile creatorilor, dar fără să împiedicăm progresul AI.” El adaugă că acest pas este despre „protejarea viitorului unui internet liber și vibrant, printr-un model echitabil pentru toți.”
Ce sunt boții AI și cum funcționează?
Boții AI sunt programe automate create pentru a colecta cantități masive de date – texte, imagini, articole – de pe web. Aceste date sunt apoi utilizate pentru antrenarea modelor de limbaj mari (LLM), precum cele dezvoltate de OpenAI sau Google. Spre deosebire de motoarele de căutare tradiționale care direcționează utilizatorii spre sursele originale, AI-ul generează răspunsuri direct, ceea ce reduce traficul către website-urile de unde a fost extras conținutul.
Această practică, spune Cloudflare, subminează modelul economic al editorilor online, deoarece aceștia pierd atât vizitatori cât și venituri din publicitate.
Răspunsul industriei AI
OpenAI, susținută de Microsoft, a refuzat să participe la testul Cloudflare privind blocarea implicită a boților, argumentând că acest model adaugă un „intermediar” în procesul de colectare a datelor. Compania subliniază faptul că respectă standardele robots.txt – fișierul care dictează ce poate fi accesat de crawlere – și preferințele editorilor.
Totuși, experții juridici avertizează că, dacă această strategie de blocare funcționează, ar putea îngreuna semnificativ antrenarea modelelor AI și că, pe termen lung, ar putea chiar să afecteze viabilitatea acestora.
Un pas spre echilibru între tehnologie și etică
Această inițiativă vine în completarea unui instrument lansat de Cloudflare în septembrie 2024, care permitea editorilor să blocheze boții AI cu un singur click. Noua schimbare însă merge mai departe, făcând blocarea setarea implicită pentru toate site-urile noi.
Ce urmează?
Această decizie ar putea determina și alți furnizori de servicii web să adopte politici similare, ducând la o reglementare mai clară a accesului AI la conținutul digital. În același timp, este o oportunitate pentru creatorii de conținut să negocieze condiții mai echitabile în era digitală.
Concluzie: Cloudflare pune o frână importantă accesului necontrolat al inteligenței artificiale la conținutul web. În timp ce industria AI caută echilibrul între inovație și etică, această mișcare poate deveni un precedent pentru un internet mai echitabil și mai sustenabil.