Forside › Vidensbase › Emner

Udeluk alle AI-crawlere

Den, der grundlæggende vil holde indhold ude af AI-systemer, har brug for regler for hver navngiven bot — et wildcard er ikke nok, fordi mange bots ignorerer det eller forventer egne blokke.

Listen over bots

Der skal som minimum tages højde for: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Pr. bot en egen blok med „Disallow: /“.

Hvad robots.txt ikke kan

robots.txt er en anmodning, ikke en tvang. Bots som Bytespider eller Perplexity har været kritiseret for at omgå den. Til hårde blokeringer desuden WAF- eller firewall-regler på user-agents og, hvor det er muligt, på verificerede IP-intervaller.

Prisen

En fuld blokering tager dig ud af AI-svar med kildelink — altså ud af en voksende del af informationssøgningen. For mange sider er den mere målrettede variant mere fornuftig: forbyd træning, tillad søgning.

Tjek effekten

citeglass henter din side med hver af disse user-agents og viser i en matrix, hvilken bot der er blokeret ifølge robots.txt, og om din server rent faktisk håndhæver blokeringen.

Tjek dit eget site

citeglass viser på cirka 30 sekunder, hvor dit website er ulæsbart for AI-systemer — gratis og uden login.

Læs videre

• Forbyd træning, tillad søgning
• Styr AI-crawlere i robots.txt
• CCBot og Common Crawl

Generel information, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan ændre sig.