Kezdőlap › Tudásbázis › seo.cat.crawler

A ClaudeBot és az Anthropic bejárók

Az Anthropic három bejárót üzemeltet a Claude-hoz: egyet a betanításhoz, egyet a kereséshez és egyet a felhasználói kérésre történő lekéréshez.

A három bot

A ClaudeBot betanítási adatokat gyűjt. A Claude-SearchBot a Claude webkeresésének indexét építi. A Claude-User akkor hív le egy oldalt, ha a felhasználó a beszélgetésben kéri. Csak a ClaudeBot érinti a modell betanítását.

Hozzáférés szabályozása

Botonként egy saját robots.txt-blokk. Aki elutasítja a betanítást, de idézve szeretne lenni a Claude válaszaiban, az „Disallow: /”-vel blokkolja a ClaudeBotot, és továbbra is engedélyezi a Claude-SearchBotot és a Claude-Usert.

Gyakori hiba

Egyetlen „User-agent: Claude*” blokk nem működik — a robots.txt nem ismer helyettesítő karaktereket a user-agent nevében az önálló „*” kivételével. Minden botot külön nevezz meg.

Szerverválasz ellenőrzése

A citeglass a ClaudeBot, a Claude-SearchBot és a Claude-User valódi user-agentjeivel hívja le az oldaladat, és megjelöli, ha a robots.txt engedélyez egy botot, de a szerver elutasítja.

Ellenőrizd a saját webhelyedet

A citeglass körülbelül 30 másodperc alatt megmutatja, hol olvashatatlan a webhelyed az MI-rendszerek számára — ingyen és bejelentkezés nélkül.

Tovább olvasom

• GPTBot engedélyezése vagy blokkolása
• PerplexityBot és Perplexity-User
• MI-robotok vezérlése a robots.txt-ben

Általános tájékoztatás, nem jogi tanácsadás. A GEO fiatal terület — az ajánlások változhatnak.