Sākums › Zināšanu bāze › seo.cat.crawler

CCBot un Common Crawl

Common Crawl veido brīvi pieejamu tīmekļa arhīvu, kas nonāk daudzu valodas modeļu apmācības datos.

Kāpēc CCBot ir īpašs

Ja bloķējat tikai GPTBot un ClaudeBot, jūsu saturs joprojām var nonākt modeļos caur Common Crawl datu kopu. Kas principiāli noraida apmācību, tam jāņem vērā arī CCBot.

Bloķēšana

„User-agent: CCBot“, kam seko „Disallow: /“. Common Crawl ievēro robots.txt nākamajā pārmeklēšanas reizē; esošie arhīva ieraksti paliek, līdz datu kopa tiek savākta no jauna.

Izsvēršana

Common Crawl izmanto arī pētniecībai, meklēšanas projektiem un arhivēšanai. Bloķēšana skar visus šos mērķus, ne tikai komerciālu MI apmācību.

Noteikuma pārbaude

citeglass parāda, vai jūsu robots.txt atļauj vai bloķē CCBot un vai noteikums ir specifisks botam vai darbojas tikai caur „User-agent: *“ bloku.

Pārbaudiet savu vietni

citeglass aptuveni 30 sekundēs parāda, kur jūsu vietne MI sistēmām ir nelasāma — bez maksas un bez pieteikšanās.

Lasīt tālāk

• GPTBot atļaušana vai bloķēšana
• Visu MI pārmeklētāju izslēgšana
• MI robotu vadība robots.txt

Vispārīga informācija, nevis juridiska konsultācija. GEO ir jauna joma — ieteikumi var mainīties.