Domov › Baza znanja › seo.cat.crawler

ClaudeBot in pajki Anthropic

Anthropic za Claude upravlja tri pajke: enega za učenje, enega za iskanje in enega za pridobivanje na uporabnikovo zahtevo.

Trije boti

ClaudeBot zbira učne podatke. Claude-SearchBot gradi indeks za spletno iskanje v Claude. Claude-User pridobi stran, ko to uporabnik zahteva v pogovoru. Le ClaudeBot se nanaša na učenje modela.

Urediti dostop

Lasten blok robots.txt za vsakega bota. Kdor zavrača učenje, a želi biti citiran v Claudovih odgovorih, blokira ClaudeBot z „Disallow: /“ in še naprej dovoljuje Claude-SearchBot in Claude-User.

Pogosta napaka

En sam blok „User-agent: Claude*“ ne deluje — robots.txt ne pozna nadomestnih znakov v imenu uporabniškega agenta razen samostojnega „*“. Vsakega bota navedite posamično.

Preveriti odziv strežnika

citeglass pridobi vašo stran s pravimi uporabniškimi agenti ClaudeBot, Claude-SearchBot in Claude-User ter označi, ko robots.txt bota dovoljuje, a ga strežnik zavrne.

Preverite svoje spletno mesto

citeglass v približno 30 sekundah pokaže, kje je vaše spletno mesto za UI-sisteme neberljivo — brezplačno in brez prijave.

Preberite naprej

• Dovoliti ali blokirati GPTBot
• PerplexityBot in Perplexity-User
• Upravljanje UI-robotov v robots.txt

Splošne informacije, ne pravni nasvet. GEO je mlado področje — priporočila se lahko spremenijo.