Start › Baza wiedzy › Tematy

Zablokować wszystkie roboty AI

Kto z zasady chce trzymać treści poza systemami AI, potrzebuje reguł dla każdego nazwanego bota — symbol wieloznaczny nie wystarczy, bo wiele botów go ignoruje lub oczekuje własnych bloków.

Lista botów

Trzeba uwzględnić co najmniej: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Osobny blok na bota z „Disallow: /”.

Czego robots.txt nie potrafi

robots.txt to prośba, nie przymus. Boty takie jak Bytespider czy Perplexity krytykowano za jej obchodzenie. Dla twardych blokad dodaj reguły WAF lub zapory na agenty użytkownika i, gdzie to możliwe, na zweryfikowane zakresy IP.

Cena

Pełna blokada usuwa Cię z odpowiedzi AI z linkiem do źródła — czyli z rosnącej części wyszukiwania informacji. Dla wielu stron sensowniejszy jest wariant bardziej ukierunkowany: zablokować trening, dopuścić wyszukiwanie.

Sprawdzenie skutku

citeglass pobiera Twoją stronę z każdym z tych agentów użytkownika i pokazuje w macierzy, który bot jest zablokowany zgodnie z robots.txt i czy serwer faktycznie egzekwuje blokadę.

Sprawdź własną stronę

citeglass pokazuje w około 30 sekund, gdzie Twoja strona jest nieczytelna dla systemów AI — za darmo i bez logowania.

Czytaj dalej

• Zakazać treningu, dopuścić wyszukiwanie
• Sterowanie robotami AI w robots.txt
• CCBot i Common Crawl

Informacja ogólna, nie porada prawna. GEO to młoda dziedzina — zalecenia mogą się zmieniać.