Sākums › Zināšanu bāze › seo.cat.crawler

ClaudeBot un Anthropic rāpuļi

Anthropic Claude vajadzībām darbina trīs rāpuļus: vienu apmācībai, vienu meklēšanai un vienu izgūšanai pēc lietotāja pieprasījuma.

Trīs boti

ClaudeBot vāc apmācības datus. Claude-SearchBot veido indeksu tīmekļa meklēšanai Claude. Claude-User izgūst lapu, kad lietotājs to pieprasa sarunā. Tikai ClaudeBot attiecas uz modeļa apmācību.

Regulēt piekļuvi

Katram botam savs robots.txt bloks. Kas noraida apmācību, bet vēlas tikt citēts Claude atbildēs, bloķē ClaudeBot ar „Disallow: /“ un turpina atļaut Claude-SearchBot un Claude-User.

Bieža kļūda

Viens bloks „User-agent: Claude*“ nedarbojas — robots.txt nepazīst aizstājējzīmes lietotāja aģenta nosaukumā, izņemot atsevišķo „*“. Nosauciet katru botu atsevišķi.

Servera atbildes pārbaude

citeglass izgūst jūsu lapu ar īstajiem ClaudeBot, Claude-SearchBot un Claude-User lietotāja aģentiem un atzīmē, kad robots.txt botu atļauj, bet serveris to noraida.

Pārbaudiet savu vietni

citeglass aptuveni 30 sekundēs parāda, kur jūsu vietne MI sistēmām ir nelasāma — bez maksas un bez pieteikšanās.

Lasīt tālāk

• GPTBot atļaušana vai bloķēšana
• PerplexityBot un Perplexity-User
• MI robotu vadība robots.txt

Vispārīga informācija, nevis juridiska konsultācija. GEO ir jauna joma — ieteikumi var mainīties.