Početna › Baza znanja › seo.cat.crawler

ClaudeBot i Anthropic alati za indeksiranje

Anthropic za Claude pokreće tri alata za indeksiranje: jedan za treniranje, jedan za pretraživanje i jedan za dohvat na zahtjev korisnika.

Tri bota

ClaudeBot prikuplja podatke za treniranje. Claude-SearchBot gradi indeks za web pretraživanje u Claudeu. Claude-User dohvaća stranicu kad je korisnik zatraži u razgovoru. Samo se ClaudeBot tiče treniranja modela.

Regulirati pristup

Po jedan vlastiti robots.txt blok po botu. Tko odbija treniranje, ali želi biti citiran u Claudeovim odgovorima, blokira ClaudeBot s „Disallow: /“ i i dalje dopušta Claude-SearchBot i Claude-User.

Česta pogreška

Jedan blok „User-agent: Claude*“ ne funkcionira — robots.txt ne poznaje zamjenske znakove u nazivu user-agenta osim samostalnog „*“. Navedite svakog bota pojedinačno.

Provjeriti odgovor poslužitelja

citeglass dohvaća vašu stranicu sa stvarnim user-agentima ClaudeBot-a, Claude-SearchBot-a i Claude-User-a i označava kad robots.txt dopušta bota, ali ga poslužitelj odbija.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

• Dopustiti ili blokirati GPTBot
• PerplexityBot i Perplexity-User
• Upravljanje UI robotima u robots.txt

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.