Kezdőlap › Tudásbázis › Alapok
MI-robotok vezérlése a robots.txt-ben
Minden nagy MI-szolgáltató saját robotokat üzemeltet saját user agent nevekkel. A robots.txt-n keresztül robotonként döntesz, betöltheti-e a tartalmadat.
A legfontosabb MI-robotok
OpenAI: GPTBot (betanítás), OAI-SearchBot (ChatGPT-keresés), ChatGPT-User (letöltés a felhasználó kérésére). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini-betanítás) — a tényleges letöltés az MI-áttekintésekhez a normál Googleboton keresztül történik. Emellett Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended és Meta-ExternalAgent.
Célzott engedélyezés
A maximális MI-láthatósághoz a releváns robotoknak saját blokkot adsz „Allow: /”-val. Fontos: egy robotspecifikus blokk az adott robot esetében teljesen felváltja a „User-agent: *” blokkot — ismételd meg ott a szükséges disallow szabályokat.
Célzott kizárás
Ha elutasítod a betanítást, de láthatónak akarsz maradni az MI-keresésben, letilthatod a GPTBotot és a Google-Extendedet, és engedélyezheted az OAI-SearchBotot és a Googlebotot. Ez tartalmi döntés, nem pusztán technikai.
Miért nem elég gyakran a robots.txt
Sok webhely engedélyezi a robotokat a robots.txt-ben, de szerverszinten blokkolja őket: egy WAF-szabály, egy Cloudflare „Bot Fight Mode” vagy egy tűzfal 403-mal utasítja el a robotot. A robot betartja a robots.txt-t, mégsem jut be. A citeglass láthatóvá teszi ezt az eltérést.
Ellenőrzés
Az engedélyezőlistáknak ellenőrzött robotokat kell tartalmazniuk. Az OpenAI, az Anthropic, a Perplexity és a Google közzéteszik robotjaik IP-tartományait; ellenőrizd ezenkívül fordított DNS-sel, ahelyett hogy csak a user agent karakterláncra hagyatkoznál.
Ellenőrizd a saját webhelyedet
A citeglass körülbelül 30 másodperc alatt megmutatja, hol olvashatatlan a webhelyed az MI-rendszerek számára — ingyen és bejelentkezés nélkül.
Tovább olvasom
Általános tájékoztatás, nem jogi tanácsadás. A GEO fiatal terület — az ajánlások változhatnak.