Giganci AI poparli wspólny sposób blokowania scrapowania stron
OpenAI, Google, Microsoft i Anthropic zapowiedziały, że będą obsługiwać nowy standard, dzięki któremu wydawcy zakażą wykorzystywania swoich treści do trenowania AI jednym ustawieniem. Dotąd każdą firmę trzeba było informować osobno. Sygnał ma działać w pliku robots.txt.
Jeden sygnał zamiast wielu ustawień
Propozycja dotyczy tzw. „policy tokena”, czyli wspólnego znacznika umieszczanego w pliku robots.txt. To od lat używany plik, w którym właściciel strony wskazuje, które roboty internetowe mogą ją odwiedzać – czy to do indeksowania w wyszukiwarce, archiwizacji, czy trenowania modeli sztucznej inteligencji.
Standard zgłosił do organizacji Internet Engineering Task Force (IETF) Kevin Kelley, technical lead ds. standardów w Anthropic. Do tej pory wydawca, który nie chciał, by jego artykuły trafiały do modeli AI, musiał wpisywać osobne reguły dla robota każdej firmy. Nowy token ma to uprościć: raz określone preferencje będą obowiązywać u wielu dostawców jednocześnie.
Kto i kiedy wdroży nowy standard
OpenAI, Google, Microsoft i Anthropic deklarują, że ich roboty przestaną pobierać treści ze stron, na których znajdą wspólny token. Anthropic już go obsługuje. Google i Microsoft planują wsparcie w przyszłym roku, a OpenAI mówi o „najbliższych miesiącach”.
Meta też wyraziła poparcie, ale nie zadeklarowała, że będzie respektować sygnał. Rzecznik firmy Andy Stone powiedział:
„Uważamy, że stworzenie wspólnego sygnału, który przekazuje takie preferencje wielu dostawcom naraz, to ważny krok”.
Microsoft zapowiada bardziej szczegółowe opcje: wydawca będzie mógł zrezygnować osobno z trenowania modeli oraz z tzw. groundingu, czyli opierania odpowiedzi AI na zweryfikowanych źródłach, co ma ograniczać zmyślanie informacji. Strony i tak będą wyświetlane w wynikach Binga niezależnie od wyboru. Google wcześniej wprowadziło podobne rozwiązania – właściciele witryn decydują, czy treści mogą pojawiać się w funkcjach AI w wyszukiwarce lub służyć do trenowania, bez wpływu na widoczność w wynikach.
Tło: walka o treści i pieniądze
Zapowiedź wpisuje się w spór wydawców z firmami AI, których roboty masowo pobierają zawartość stron. Powstają też inne rozwiązania: standard Really Simple Licensing (RSL) pozwala pobierać opłaty od odwiedzających stronę robotów, a Cloudflare domyślnie blokuje crawlery AI.
Co to oznacza dla polskich właścicieli stron
Plik robots.txt działa globalnie, więc nowy sygnał w praktyce dotyczy także polskich serwisów, blogów i sklepów – jeśli tylko firmy rzeczywiście go wdrożą. Dla właściciela strony oznaczałoby to mniej pracy: zamiast śledzić nazwy kolejnych robotów, wystarczyłoby jedno ustawienie.
Warto jednak zachować ostrożność. Robots.txt opiera się na dobrowolnym przestrzeganiu zasad, więc sygnał zadziała tylko wobec firm, które się do niego zastosują. Standard jest ponadto dopiero na etapie wdrażania, a wsparcie największych graczy ma pojawić się stopniowo. W Unii Europejskiej kwestie wykorzystywania treści do trenowania AI regulują też przepisy o prawie autorskim, ale to, jak wspólny token wpisze się w te zasady, pozostaje na razie kwestią otwartą.
Źródło: The Verge – „The biggest names in AI are backing a new way to opt out of scraping”
