Kezdőlap › Tudásbázis › Témák

Az összes MI-bejáró kizárása

Aki alapvetően távol akarja tartani a tartalmat az MI-rendszerektől, annak minden névvel nevezett bothoz szabály kell — egy helyettesítő karakter nem elég, mert sok bot figyelmen kívül hagyja, vagy saját blokkot vár.

A botok listája

Legalább ezeket kell figyelembe venni: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Botonként külön blokk „Disallow: /” beállítással.

Amit a robots.txt nem tud

A robots.txt kérés, nem kényszer. Az olyan botokat, mint a Bytespider vagy a Perplexity, kritika érte a megkerüléséért. Kemény blokkokhoz ezenkívül WAF- vagy tűzfalszabályok a user-agentekre, és ahol lehet, ellenőrzött IP-tartományokra.

Az ár

A teljes blokk kivesz az MI-válaszokból forráslinkkel — vagyis az információkeresés egyre nagyobb részéből. Sok oldalnak a célzottabb változat ésszerűbb: tiltsd a tanítást, engedd a keresést.

A hatás ellenőrzése

A citeglass lekéri az oldaladat mindegyik user-agenttel, és mátrixban megmutatja, hogy melyik bot van a robots.txt szerint blokkolva, és hogy a szervered valóban érvényesíti-e a blokkot.

Ellenőrizd a saját webhelyedet

A citeglass körülbelül 30 másodperc alatt megmutatja, hol olvashatatlan a webhelyed az MI-rendszerek számára — ingyen és bejelentkezés nélkül.

Tovább olvasom

• Tanítás tiltása, keresés engedélyezése
• MI-robotok vezérlése a robots.txt-ben
• CCBot és Common Crawl

Általános tájékoztatás, nem jogi tanácsadás. A GEO fiatal terület — az ajánlások változhatnak.